Llama ai api: Gyors kezdési útmutató

Hitelesítés & Base URL

Csatlakozás az ügyfélkonfiguráció frissítésével a dedikált végpontunkra mutatva. Az API-kulcs hitelesíti az összes kérést, ezért tartsa biztonságban, de elérhetővé az alkalmazása számára.

Az alap URL: HTTPS://api.llamaaiapi.com/v1. Nem kell módosítania a fejléceket a szabványos Authorization fejléven túl. Rendszerünk azonnal ellenőrzi a hitelesítő adatait. Ha az API-kulcs hiányzik vagy lejárt, a szerver 401-es hibát ad vissza. A 402-as válasz azt jelenti, hogy a előre fizetett kreditje elfogyott. A 429-es válasz azt jelzi, hogy elérte a percenkénti 300 kéréses sebességkorlátot.

Emlékezzen, hogy a hitel előre fizetett, kizárólag kriptovalutával. Nincsenek havi előfizetések. A hitel sosem jár le, így bármikor szüneteltetheti a használatot.

A Chat Completions végpont

Küldje el az első kérését a chat completions végpontra a szöveges kimenet érdekében. Használja az "uncensored" modellazonosítót a saját, nyílt súlyú modellünk eléréséhez. Ez nem GPT, Claude vagy más gyártó modellje.

A végpont standard paramétereket fogad. Rendszerüzenetet és felhasználói üzeneteket ad meg. A modell kiegészítést ad vissza. Ez egy szöveg bemenet, szöveg kimenet interfész. Nincsenek beágyazások, képek vagy hangok generálva itt.

Konfigurálja a kérést a szükséges paraméterekkel. A modell 100,000 tokenes kontextusablakot támogat. Ez magában foglalja a bemeneti promptot és a kimeneti kiegészítést. A maximális kimenet 16,000 token kérésenként.

Python SDK Integráció

Használja a hivatalos OpenAI Python könyvtárat az API-nkhoz való kapcsolódáshoz. Minimális konfigurációs módosításokat igényel. Egyszerűen be kell állítania az alap URL-t, és megadnia az API-kulcsot.

Inicializálja a klienst a kulccsal. Állítsa be a base URL-címet a végpontunkra. Adja át az üzeneteit a chat.completions.create metódusnak. A könyvtár kezeli a szerializációt és a válaszfeldolgozást.

Node SDK integráció

Integráció a Node.js alkalmazásodba az OpenAI csomag telepítésével. Konfiguráld a klienst, hogy a base URL-t használja. Ez lehetővé teszi a jól ismert módszerek használatát JavaScript vagy TypeScript kódban.

Állítsa be az apiKey és baseURL tulajdonságokat. Hívja meg a chat.completions.create függvényt. A válasz tartalmazza a generált szöveget. Hibákat gracefully kezelhet az async függvényeiben.

Streamelési válaszok SSE-n keresztül

Streamelés engedélyezése valós idejű token-generáláshoz. Ez hasznos chat felületekhez, amelyek generálás közben jelenítik meg a szöveget. A szerver Server-Sent Events (SSE) eseményeket küld minden adatdarabhoz.

Állítsa be a stream paramétert true értékre a kérésben. Iteráljon a válaszdarabokon. Fűzze össze a tartalmat a végső üzenet felépítéséhez. Az utolsó darab tartalmazza a token-használati statisztikákat.

JSON mód és paraméterek

Strukturált kimenet kérése a response_format json_object-re állításával. Ez kényszeríti a modellt, hogy érvényes JSON-t adjon vissza. Használjon olyan paramétereket, mint a temperature és a top_p a kreativitás szabályozására. A stop paraméter lehetővé teszi a leállítási szekvenciák meghatározását.

A function calling is támogatott. Definiálhat eszközöket, és hagyhatja, hogy a modell válassza ki, melyiket hívja meg. Ez bővíti az uncensored modell használati értékét összetett feladatokhoz.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamelés

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)