Llama ai api: Przewodnik Szybkiego Startu

Uwierzytelnianie & URL bazowy

Połącz się, aktualizując konfigurację klienta, aby wskazywał na nasz dedykowany endpoint. Twój klucz API uwierzytelnia każde żądanie, więc zachowaj go w sekrecie, ale zapewniaj do niego dostęp dla swojej aplikacji.

Podstawowy adres URL to HTTPS://api.llamaaiapi.com/v1. Nie musisz modyfikować nagłówków poza standardowym nagłówkiem Authorization. Nasz system weryfikuje Twoje dane logowania natychmiast. Jeśli Twój klucz jest nieobecny lub wygasł, serwer zwraca błąd 401. Odpowiedź 402 oznacza, że Twoje prepaydowane środki zostały wyczerpane. Odpowiedź 429 oznacza, że przekroczyłeś limit szybkości wynoszący 300 żądań na minutę.

Pamiętaj, że kredyt jest prepayowany tylko za pomocą kryptowalut. Nie ma miesięcznych subskrypcji. Twój kredyt nigdy nie wygasa, więc możesz wstrzymać używanie go w nieskończoność.

Endpoint Chat Completions

Wyślij swoje pierwsze zapytanie do endpointu chat completions, aby otrzymać wyjście tekstowe. Użyj identyfikatora modelu "uncensored", aby uzyskać dostęp do naszego konkretnego modelu open-weight. Nie jest to GPT, Claude ani żaden inny model dostawcy.

Punkt końcowy akceptuje standardowe ładunki JSON. Podajesz podpowiedź systemową i wiadomości użytkownika. Model zwraca uzupełnienie. Jest to interfejs tekst-w-wejściu, tekst-w-wyjściu. Nie ma tu embeddingów, obrazów ani generowanego audio.

Skonfiguruj żądanie, podając niezbędne parametry. Model obsługuje okno kontekstowe o rozmiarze 100,000 tokenów. Obejmuje to zarówno prompt wejściowy, jak i uzupełnienie wyjściowe. Maksymalna liczba tokenów wyjściowych to 16,000 na żądanie.

Integracja SDK Python

Użyj oficjalnej biblioteki Python OpenAI do interakcji z naszym API. Wymaga ona minimalnych zmian w konfiguracji. Wystarczy ustawić URL bazowy i dostarczyć swój klucz API.

Zainicjuj klienta, podając klucz. Ustaw adres bazowy na nasz punkt końcowy. Przekaż swoje wiadomości do metody chat.completions.create. Biblioteka obsługuje serializację i parsowanie odpowiedzi.

Integracja SDK Node

Zintegruj z swoją aplikacją Node.js, instalując pakiet OpenAI. Skonfiguruj klienta tak, aby używał naszego URL bazowego. Pozwala to na używanie znanych metod w kodzie JavaScript lub TypeScript.

Ustaw właściwości apiKey i baseURL. Wywołaj funkcję chat.completions.create. Odpowiedź zawiera wygenerowany tekst. Możesz obsłużyć błędy w sposób elegancki wewnątrz swoich funkcji async.

Odpowiedzi strumieniowe przez SSE

Włącz strumieniowanie dla generowania tokenów w czasie rzeczywistym. Jest to przydatne dla interfejsów czatu, które wyświetlają tekst w miarę jego powstawania. Serwer wysyła Server-Sent Events (SSE) dla każdej cząstki.

Ustaw parametr stream na true w żądaniu. Iteruj przez fragmenty odpowiedzi. Połącz zawartość, aby zbudować końcową wiadomość. Ostatni fragment zawiera statystyki użycia tokenów.

Tryb JSON i parametry

Żądaj wyjścia strukturalnego, ustawiając response_format na json_object. To wymusza na modelu zwrócenie poprawnego JSON. Użyj parametrów takich jak temperature i top_p, aby kontrolować kreatywność. Parametr stop pozwala zdefiniować sekwencje zakończenia.

Wywoływanie funkcji jest również obsługiwane. Możesz zdefiniować narzędzia i pozwolić modelowi wybrać ich wywołanie. Rozszerza to użyteczność modelu uncensored w przypadku złożonych zadań.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strumieniowanie

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)