Llama ai api: 빠른 시작 가이드

인증 및 Base URL

클라이언트 구성을 업데이트하여 전용 엔드포인트를 가리키도록 연결하세요. API 키는 모든 요청을 인증하므로 안전하게 보관하되 애플리케이션에서 접근 가능하게 유지하세요.

기본 URL은 HTTPS://api.llamaaiapi.com/v1입니다. 표준 Authorization 헤더 외에 헤더를 수정할 필요가 없습니다. 당사 시스템은 자격 증명을 즉시 검증합니다. 키가 없거나 만료된 경우 서버는 401 오류를 반환합니다. 402 응답은 선불 크레딧이 고갈되었음을 의미합니다. 429 응답은 분당 300회의 요청 제한에 도달했음을 나타냅니다.

크레딧은 오직 암호화폐를 통해 선불로 충전된다는 점을 기억하세요. 월 구독료는 없습니다. 크레딧은 만료되지 않으므로 무기한 사용 중단을 할 수 있습니다.

Chat Completions 엔드포인트

채팅 완료 엔드포인트에 첫 요청을 보내 텍스트 출력을 받으세요. 전용 오픈 웨이트 모델에 액세스하려면 모델 ID "uncensored"를 사용하세요. 이는 GPT, Claude 또는 기타 벤더의 모델이 아닙니다.

엔드포인트는 표준 매개변수를 받습니다. 시스템 프롬프트와 사용자 메시지를 제공합니다. 모델은 완성을 반환합니다. 이는 텍스트 입력, 텍스트 출력 인터페이스입니다. 여기에서는 임베딩, 이미지 또는 오디오가 생성되지 않습니다.

필요한 매개변수로 요청을 구성하세요. 이 모델은 100,000개의 토큰 컨텍스트 윈도우를 지원합니다. 여기에는 입력 프롬프트와 출력 완료가 모두 포함됩니다. 요청당 최대 출력은 16,000개의 토큰입니다.

Python SDK 통합

공식 OpenAI Python 라이브러리를 사용하여 당사 API와 상호작용하세요. 최소한의 구성 변경만 필요합니다. base URL을 설정하고 API 키를 제공하기만 하면 됩니다.

키로 클라이언트를 초기화합니다. 기본 URL을 우리 엔드포인트로 설정합니다. 메시지를 chat.completions.create 메서드에 전달합니다. 라이브러리는 직렬화와 응답 파싱을 처리합니다.

Node SDK 통합

OpenAI 패키지를 설치하여 Node.js 애플리케이션과 통합합니다. 클라이언트를 당사 기본 URL을 사용하도록 구성합니다. 이를 통해 JavaScript 또는 TypeScript 코드에서 익숙한 메서드를 사용할 수 있습니다.

apiKey와 baseURL 속성을 설정하세요. chat.completions.create 함수를 호출하세요. 응답에는 생성된 텍스트가 포함됩니다. async 함수 내에서 오류를 우아하게 처리할 수 있습니다.

SSE를 통한 스트리밍 응답

실시간 토큰 생성을 위한 스트리밍 활성화. 이는 생성되는 대로 텍스트를 표시하는 채팅 인터페이스에 유용합니다. 서버는 각 청크에 대해 서버 전송 이벤트(SSE)를 전송합니다.

요청에서 stream 매개변수를 true로 설정하세요. 응답 청크를 반복합니다. 내용을 연결하여 최종 메시지를 빌드합니다. 마지막 청크에는 토큰 사용량 통계가 포함됩니다.

JSON 모드 및 매개변수

응답 형식을 json_object로 설정하여 구조화된 출력을 요청합니다. 이는 모델이 유효한 JSON을 반환하도록 강제합니다. temperature와 top_p과 같은 매개변수를 사용하여 창의성을 제어하세요. stop 매개변수를 사용하여 종료 시퀀스를 정의할 수 있습니다.

함수 호출이 지원됩니다. 도구를 정의하고 모델이 호출할지 선택하게 하세요. 이는 제한 없는 모델의 복잡한 작업에 대한 유용성을 확장합니다.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

스트리밍

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)