Llama ai api: Quickstart-guide

Autentificering & Base URL

Forbind ved at opdatere din klientkonfiguration, så den peger på vores dedikerede endpoint. Din API-nøgle autentificerer hvert request, så hold den sikker, men tilgængelig for din applikation.

Base-URL er HTTPS://api.llamaaiapi.com/v1. Du behøver ikke at modificere headers ud over standard Authorization-headeren. Vores system validerer dine legitimationsoplysninger øjeblikkeligt. Hvis din nøgle mangler eller er udløbet, returnerer serveren en 401-fejl. En 402-respons betyder, at din forudbetalede kredit er opbrugt. En 429-respons indikerer, at du har ramt rate-limited på 300 anmodninger i minuttet.

Husk, at kredit er forudbetalt via crypto kun. Der er ingen månedlige abonnementer. Din kredit udløber aldrig, så du kan pause brugen uendeligt.

Chat Completions-endepunktet

Send din første anmodning til chat completion-endepunktet for at modtage tekstoutput. Brug model-id'et "uncensored" for at få adgang til vores specifikke open-weight-model. Det er ikke GPT, Claude eller en anden leverandørs model.

Endpointet accepterer standard JSON-payloads. Du angiver et systemprompt og brugermeddelelser. Modellen returnerer en completion. Dette er en tekst-ind, tekst-ud-grænseflade. Der er ingen embeddings, billeder eller lyd, der genereres her.

Konfigurer din anmodning med de nødvendige parametre. Modellen understøtter et context window på 100,000 tokens. Dette inkluderer både input-prompt og output-komplettering. Maks output er 16,000 tokens pr. anmodning.

Python SDK-integration

Brug det officielle OpenAI Python-bibliotek til at interagere med vores API. Det kræver minimale konfigurationsændringer. Du skal blot indstille base-URL'en og angive din API-nøgle.

Initialiser klienten med din nøgle. Indstil base-URL'en til vores endpoint. Overfør dine beskeder til chat.completions.create-metoden. Biblioteket håndterer serialisering og response-parsing.

Node SDK-integration

Integrer med din Node.js-applikation ved at installere OpenAI-pakken. Konfigurer klienten til at bruge vores base-URL. Dette giver dig mulighed for at bruge velkendte metoder i din JavaScript- eller TypeScript-kode.

Indstil apiKey- og baseURL-egenskaberne. Kald chat.completions.create-funktionen. Svaret indeholder den genererede tekst. Du kan håndtere fejl pænt inden i dine async-funktioner.

Streaming-svar via SSE

Aktivér streaming for realtidsgenerering af tokens. Dette er nyttigt til chatgrænseflader, der viser tekst, mens den produceres. Serveren sender Server-Sent Events (SSE) for hvert stykke.

Angiv stream-parameteren til true i din anmodning. Iterer over response-chunks. Sammenkæd indholdet for at opbygge den endelige besked. Den sidste chunk indeholder tokenforbrugsstatistikker.

JSON-tilstand og parametre

Anmod om struktureret output ved at indstille response_format til json_object. Dette tvinger modellen til at returnere gyldig JSON. Brug parametre som temperature og top_p til at kontrollere kreativitet. Stop-parameteren giver dig mulighed for at definere termineringsekvenser.

Function calling understøttes også. Du kan definere værktøjer og lade modellen vælge at kalde dem. Dette udvider nyttigheden af den uncensored-model til komplekse opgaver.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)