Llama ai api: Hướng dẫn bắt đầu nhanh

Xác thực & Base URL

Kết nối bằng cách cập nhật cấu hình máy khách để trỏ đến điểm cuối chuyên dụng của chúng tôi. Khóa API của bạn xác thực mọi yêu cầu, vì vậy hãy giữ nó bảo mật nhưng vẫn dễ truy cập cho ứng dụng của bạn.

URL cơ sở là HTTPS://api.llamaaiapi.com/v1. Bạn không cần phải sửa đổi các tiêu đề ngoài tiêu đề Authorization tiêu chuẩn. Hệ thống của chúng tôi xác thực thông tin xác thực của bạn ngay lập tức. Nếu khóa của bạn bị thiếu hoặc hết hạn, máy chủ sẽ trả về lỗi 401. Phản hồi 402 có nghĩa là số dư trả trước của bạn đã cạn kiệt. Phản hồi 429 cho biết bạn đã đạt giới hạn tốc độ 300 yêu cầu mỗi phút.

Hãy nhớ rằng tín dụng được trả trước chỉ bằng tiền điện tử. Không có gói đăng ký hàng tháng. Tín dụng của bạn không bao giờ hết hạn, vì vậy bạn có thể tạm dừng sử dụng vô thời hạn.

Điểm cuối Chat Completions

Gửi yêu cầu đầu tiên của bạn đến điểm cuối hoàn thành trò chuyện để nhận đầu ra văn bản. Sử dụng id mô hình "uncensored" để truy cập mô hình trọng lượng mở cụ thể của chúng tôi. Nó không phải là GPT, Claude hoặc bất kỳ mô hình của nhà cung cấp nào khác.

Điểm cuối chấp nhận các tham số tiêu chuẩn. Bạn cung cấp prompt hệ thống và tin nhắn của người dùng. Mô hình trả về một bản hoàn thành. Đây là giao diện văn bản vào, văn bản ra. Không có embedding, hình ảnh hoặc âm thanh được tạo ra ở đây.

Cấu hình yêu cầu của bạn với các tham số cần thiết. Mô hình hỗ trợ cửa sổ ngữ cảnh 100,000 token. Điều này bao gồm cả lời nhắc đầu vào và phần hoàn thiện đầu ra. Đầu ra tối đa là 16,000 token mỗi yêu cầu.

Tích hợp SDK Python

Sử dụng thư viện Python chính thức của OpenAI để tương tác với API của chúng tôi. Nó yêu cầu các thay đổi cấu hình tối thiểu. Bạn chỉ cần đặt URL cơ sở và cung cấp khóa API của bạn.

Khởi tạo client với khóa của bạn. Đặt URL cơ sở thành điểm cuối của chúng tôi. Truyền tin nhắn của bạn đến phương thức chat.completions.create. Thư viện xử lý việc tuần tự hóa và phân tích phản hồi.

Tích hợp SDK Node

Tích hợp với ứng dụng Node.js của bạn bằng cách cài đặt gói OpenAI. Cấu hình client để sử dụng base URL của chúng tôi. Điều này cho phép bạn sử dụng các phương thức quen thuộc trong mã JavaScript hoặc TypeScript của mình.

Đặt các thuộc tính apiKey và baseURL. Gọi hàm chat.completions.create. Phản hồi chứa văn bản được tạo. Bạn có thể xử lý lỗi một cách duyên dáng trong các hàm async của mình.

Phản hồi luồng qua SSE

Bật chế độ streaming để tạo token theo thời gian thực. Điều này hữu ích cho các giao diện trò chuyện hiển thị văn bản ngay khi nó được tạo ra. Máy chủ gửi Server-Sent Events (SSE) cho mỗi chunk.

Đặt tham số stream thành true trong yêu cầu của bạn. Duyệt qua các chunk phản hồi. Nối nội dung để xây dựng tin nhắn cuối cùng. Chunk cuối cùng chứa thống kê sử dụng token.

Chế độ JSON và tham số

Yêu cầu đầu ra có cấu trúc bằng cách đặt response_format thành json_object. Điều này buộc mô hình trả về JSON hợp lệ. Sử dụng các tham số như temperature và top_p để kiểm soát tính sáng tạo. Tham số stop cho phép bạn xác định các chuỗi kết thúc.

Gọi hàm cũng được hỗ trợ. Bạn có thể định nghĩa các công cụ và để mô hình chọn gọi chúng. Điều này mở rộng khả năng sử dụng của mô hình không kiểm duyệt cho các nhiệm vụ phức tạp.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)