Llama ai api: Швидкий старт

Автентифікація & базовий URL

Підключіться, оновивши конфігурацію клієнта, щоб вказати на наш виділений ендпоінт. Ваш API-ключ автентифікує кожен запит, тому зберігайте його в безпеці, але забезпечте доступ до нього для вашого додатка.

Базовий URL: HTTPS://api.llamaaiapi.com/v1. Вам не потрібно змінювати заголовки, окрім стандартного заголовка Authorization. Наша система миттєво перевіряє ваші облікові дані. Якщо ваш ключ відсутній або прострочений, сервер повертає помилку 401. Відповідь 402 означає, що ваші передоплачені кошти вичерпано. Відповідь 429 вказує на те, що ви досягли ліміту швидкості — 300 запитів на хвилину.

Запам’ятайте, що кредит передоплачується лише через крипто. Щомісячних підписок немає. Ваш кредит ніколи не закінчується, тому ви можете призупинити використання на невизначений термін.

Чат-ендпоінт (Chat Completions Endpoint)

Надішліть свій перший запит до кінцевої точки chat completion для отримання текстового виводу. Використовуйте ідентифікатор моделі "uncensored", щоб отримати доступ до нашої конкретної моделі з відкритими вагами. Це не GPT, Claude або інша модель постачальника.

Ендпоінт приймає стандартні JSON-пакети. Ви надаєте системний промпт та повідомлення користувача. Модель повертає завершення. Це інтерфейс «текст у, текст в». Тут немає вбудовувань, зображень або аудіо.

Налаштуйте ваш запит з необхідними параметрами. Модель підтримує вікно контексту обсягом 100,000 токенів. Це включає як вхідний промпт, так і вихідне завершення. Максимальний обсяг виводу — 16,000 токенів за запит.

Інтеграція SDK Python

Використовуйте офіційну Python-бібліотеку OpenAI для взаємодії з нашим API. Вимагає мінімальних змін у конфігурації. Вам просто потрібно встановити базовий URL та надати свій API-ключ.

Ініціалізуйте клієнта, вказавши свій ключ. Встановіть базовий URL на наш ендпоінт. Передайте свої повідомлення методу chat.completions.create. Бібліотека обробляє серіалізацію та парсинг відповіді.

Інтеграція Node SDK

Інтегруйтеся у свій додаток Node.js, встановивши пакет OpenAI. Налаштуйте клієнт на використання нашого базового URL. Це дозволить вам використовувати знайомі методи у коді JavaScript або TypeScript.

Встановіть властивості apiKey та baseURL. Викличте функцію chat.completions.create. У відповіді міститься згенерований текст. Ви можете обробляти помилки коректно всередині ваших async-функцій.

Потокові відповіді через SSE

Увімкніть потокове передавання для генерації токенів у реальному часі. Це корисно для чат-інтерфейсів, які відображають текст по мірі його створення. Сервер надсилає Server-Sent Events (SSE) для кожного фрагмента.

Встановіть параметр stream у true в своєму запиті. Перебирайте фрагменти відповіді. Об'єднайте вміст, щоб створити остаточне повідомлення. Останній фрагмент містить статистику використання токенів.

Режим JSON та параметри

Запити структурованого виводу шляхом встановлення response_format у json_object. Це змушує модель повертати дійсний JSON. Використовуйте такі параметри, як temperature та top_p, для контролю креативності. Параметр stop дозволяє визначити послідовності завершення.

Підтримується виклик функцій. Ви можете визначити інструменти та дозволити моделі вирішувати, коли їх викликати. Це розширює корисність uncensored моделі для складних завдань.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потокова передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)