Llama ai api: מדריך התחלה מהירה

אימות & כתובת הבסיס

התחבר על ידי עדכון תצורת הלקוח שלך כך שתצביע על נקודת הקצה הייעודית שלנו. מפתח ה-API שלך מאמת כל בקשה, כך ששמור אותו מאובטח אך נגיש לאפליקציה שלך.

כתובת הבסיס היא HTTPS://api.llamaaiapi.com/v1. אין צורך לשנות כותרות מעבר לכותרת ה-Authorization הסטנדרטית. המערכת שלנו מאמתת את האישורים שלכם מיידית. אם המפתח שלכם חסר או פג תוקף, השרת מחזיר שגיאת 401. תגובת 402 משמעה שהקרדיט המשולם מראש שלך אזל. תגובת 429 מציינת שהגעת למגבלת הקצב של 300 בקשות לדקה.

זכור שהאשראי הוא בתשלום מראש באמצעות קריפטו בלבד. אין מנויים חודשיים. האשראי שלך לא פג תוקל לעולם, כך שתוכל להשהות שימוש ללא הגבלת זמן.

נקודת הקצה להשלמת צ'אט

שלחו את הבקשה הראשונה אל נקודת הקצה להשלמת צ'אט כדי לקבל פלט טקסט. השתמשו במזהה המודל "uncensored" כדי לגשת למודל בעל משקל פתוח הספציפי שלנו. זהו לא GPT, Claude או כל מודל אחר של ספק.

נקודת הקצה מקבלת פרמטרים סטנדרטיים. אתם מספקים פקודת מערכת והודעות משתמש. המודל מחזיר השלמה. זהו ממשק טקסט-קלט, טקסט-פלט. אין כאן יצירת Embeddings, תמונות או אודיו.

הגדר את הבקשה שלך עם הפרמטרים הנדרשים. המודל תומך בחלון הקשר של 100,000 טוקנים. זה כולל גם את הפרומפט הקלט וגם את ההשלמה בפלט. פלט מקסימלי הוא 16,000 טוקנים לבקשה.

אינטגרציית SDK Python

השתמשו בספריית הפיתון הרשמית של OpenAI כדי ליצור אינטראקציה עם ה-API שלנו. זה דורש שינויי תצורה מינימליים. עליכם פשוט להגדיר את כתובת ה-Base URL ולספק את מפתח ה-API שלכם.

אתחל את הלקוח עם המפתח שלך. הגדר את כתובת הבסיס לנקודת הקצה שלנו. העבר את ההודעות שלך לשיטת chat.completions.create. הספרייה מטפלת ברישור ובניתוח התגובה.

שילוב Node SDK

שילוב עם יישום ה-Node.js שלך על ידי התקנת החבילה של OpenAI. הגדר את הלקוח להשתמש בכתובת הבסיס שלנו. זה מאפשר לך להשתמש בשיטות מוכרות בקוד JavaScript או TypeScript שלך.

הגדר את המאפיינים apiKey ו-baseURL. קרא לפונקציה chat.completions.create. התגובה מכילה את הטקסט שנוצר. אתה יכול לטפל בשגיאות בצורה הגיונית בתוך הפונקציות ה-async שלך.

תגובות בסטרימינג באמצעות SSE

אפשרו זרימה ליצירת טוקנים בזמן אמת. זה שימושי לממשקי צ'אט המציגים טקסט כפי שהוא מיוצר. השרת שולו Server-Sent Events (SSE) עבור כל חלק.

הגדירו את פרמטר stream ל- true בבקשה שלכם. עברו על נתחי התגובה. חברו את התוכן כדי לבנות את ההודעה הסופית. הנתח האחרון מכיל סטטיסטיקות שימוש בטוקנים.

מצב JSON ופרמטרים

בקשת פלט מבני על ידי הגדרת response_format ל-json_object. זה מכריח את המודל להחזיר JSON תקף. השתמשו בפרמטרים כמו temperature ו-top_p כדי לשלוט ביצירתיות. פרמטר ה-stop מאפשר לכם להגדיר רצפי הפסקה.

תמיכה ב-Function calling. ניתן להגדיר כלים ולתת למודל לבחור לקרוא להם. זה מרחיב את היעילות של המודל ה-un-censored למשימות מורכבות.

cURL

Copycurl https://api.llamaaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me a list of 5 recent server errors."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaaiapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

זרימה

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)