Llama ai api: Быстрый старт

Аутентификация & базовый URL

Подключитесь, обновив конфигурацию клиента, чтобы он указывал на наш выделенный эндпоинт. Ваш ключ API аутентифицирует каждый запрос, поэтому храните его в безопасности, но делайте доступным для вашего приложения.

Базовый URL: HTTPS://api.llamaaiapi.com/v1. Вам не нужно изменять заголовки, кроме стандартного заголовка Authorization. Наша система мгновенно проверяет ваши учетные данные. Если ключ отсутствует или истек, сервер возвращает ошибку 401. Ответ 402 означает, что ваш предоплаченный кредит исчерпан. Ответ 429 указывает на то, что вы достигли лимита частоты запросов — 300 запросов в минуту.

Помните, что кредит предоплачивается только криптовалютой. Ежемесячных подписок нет. Ваш кредит никогда не истекает, поэтому вы можете приостановить использование на неопределенный срок.

Эндпоинт Chat Completions

Отправьте свой первый запрос в конечную точку chat completions для получения текстового вывода. Используйте идентификатор модели "uncensored" для доступа к нашей конкретной open-weight модели. Это не GPT, Claude или какая-либо другая модель вендора.

Конечная точка принимает стандартные параметры. Вы предоставляете системный промпт и сообщения пользователя. Модель возвращает завершение. Это интерфейс «текст на вход, текст на выход». Здесь нет генерации эмбеддингов, изображений или аудио.

Настройте запрос, указав необходимые параметры. Модель поддерживает контекстное окно в 100,000 токенов. Это включает как входной промпт, так и выходное завершение. Максимальный объем вывода — 16,000 токенов за запрос.

Интеграция Python SDK

Используйте официальную библиотеку OpenAI для Python для взаимодействия с нашим API. Требуется минимальная настройка. Просто укажите базовый URL и предоставьте свой API-ключ.

Инициализируйте клиент, передав ключ. Установите базовый URL на наш конечный пункт. Передайте ваши сообщения в метод chat.completions.create. Библиотека обрабатывает сериализацию и парсинг ответа.

Интеграция Node SDK

Интеграция с вашим приложением Node.js путем установки пакета OpenAI. Настройте клиент для использования нашего базового URL. Это позволяет использовать знакомые методы в вашем коде на JavaScript или TypeScript.

Установите свойства apiKey и baseURL. Вызовите функцию chat.completions.create. В ответе содержится сгенерированный текст. Ошибки можно обрабатывать корректно внутри асинхронных функций.

Потоковые ответы через SSE

Включите потоковую передачу для генерации токенов в реальном времени. Это полезно для чат-интерфейсов, которые отображают текст по мере его создания. Сервер отправляет Server-Sent Events (SSE) для каждого фрагмента.

Установите параметр stream в true в запросе. Итерируйте по чанкам ответа. Сконкатенируйте контент, чтобы построить финальное сообщение. Последний чанк содержит статистику использования токенов.

Режим JSON и параметры

Запрос структурированного вывода путем установки response_format в json_object. Это заставляет модель возвращать валидный JSON. Используйте параметры temperature и top_p для управления креативностью. Параметр stop позволяет определить последовательности завершения.

Вызов функций также поддерживается. Вы можете определить инструменты и позволить модели выбрать, когда их вызывать. Это расширяет возможности uncensored модели для сложных задач.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потоковая передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)