Llama ai api: Rychlý start

Ověření & základní URL

Připojte se úpravou konfigurace klienta tak, aby ukazoval na náš dedikovaný endpoint. Váš klíč API autentizuje každý požadavek, takže jej mějte zabezpečený, ale přístupný pro vaši aplikaci.

Základní URL je HTTPS://api.llamaaiapi.com/v1. Nemusíte upravovat hlavičky kromě standardní hlavičky Authorization. Náš systém okamžitě ověří vaše pověření. Pokud chybí nebo vypršela platnost klíče, server vrátí chybu 401. Odpověď 402 znamená, že jste vyčerpali předplacený kredit. Odpověď 429 znamená, že jste dosáhli limitu rychlosti 300 požadavků za minutu.

Pamatujte, že úvěr je předplacen pouze pomocí kryptoměn. Neexistují měsíční předplatná. Váš úvěr nikdy nevyprší, takže můžete používání kdykoli dočasně pozastavit.

Koncový bod Chat Completions

Pošlete svůj první požadavek na endpoint chat completions pro získání textového výstupu. Použijte ID modelu "uncensored" pro přístup k našemu specifickému open-weight modelu. Není to GPT, Claude ani žádný jiný model od jiného výrobce.

Endpoint přijímá standardní payloady ve formátu JSON. Poskytujete systémový prompt a zprávy uživatele. Model vrací dokončení. Toto je rozhraní text-vstup, text-výstup. Nejsou zde žádná vložení (embeddings), obrázky ani generované audio.

Nakonfigurujte požadavek s nezbytnými parametry. Model podporuje kontextové okno o velikosti 100 000 tokenů. To zahrnuje jak vstupní prompt, tak výstupní dokončení. Maximální výstup je 16 000 tokenů na požadavek.

Integrace Python SDK

Použijte oficiální knihovnu OpenAI pro Python pro komunikaci s naším API. Vyžaduje minimální změny konfigurace. Stačí nastavit základní URL a poskytnout svůj API klíč.

Inicializujte klienta pomocí klíče. Nastavte základní URL na náš endpoint. Předejte své zprávy metodě chat.completions.create. Knihovna řeší serializaci a parsování odpovědi.

Integrace SDK pro Node

Integrujte se svou aplikací Node.js instalací balíčku OpenAI. Nakonfigurujte klienta tak, aby používal naši základní URL. To vám umožní používat známé metody ve vašem kódu JavaScript nebo TypeScript.

Nastavte vlastnosti apiKey a baseURL. Zavolejte funkci chat.completions.create. Odpověď obsahuje vygenerovaný text. Chyby můžete zpracovat elegantně uvnitř svých async funkcí.

Streamované odpovědi přes SSE

Povolte streamování pro generování tokenů v reálném čase. To je užitečné pro chatová rozhraní, která zobrazují text, jak je vytvářen. Server odesílá Server-Sent Events (SSE) pro každou část.

Nastavte parametr stream na true ve svém požadavku. Iterujte přes části odpovědi. Spojte obsah a sestavte finální zprávu. Poslední část obsahuje statistiky o využití tokenů.

Režim JSON a parametry

Požadavek na strukturovaný výstup nastavením response_format na json_object. To donutí model vrátit platný JSON. Použijte parametry jako temperature a top_p pro ovládání kreativity. Parametr stop umožňuje definovat sekvence ukončení.

Volání funkcí je také podporováno. Můžete definovat nástroje a nechat model, aby si vybral, které má zavolat. To rozšiřuje užitečnost uncensored modelu pro složité úkoly.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)