Hướng dẫn nhanh: API LLM không kiểm duyệt

Cài đặt và định cấu hình SDK

Bắt đầu bằng cách cài đặt SDK chính thức của OpenAI cho ngôn ngữ của bạn. API của chúng tôi hoạt động với bất kỳ máy khách tương thích OpenAI tiêu chuẩn nào, vì vậy bạn không cần một thư viện tùy chỉnh. Đặt base_url để HTTPS://api.ollamaapipricing.com/v1 và cung cấp khóa API từ bảng điều khiển tài khoản của bạn. Mã định danh mô hình là uncensored. Mô hình đơn lẻ này xử lý tất cả nhu cầu tạo văn bản của bạn mà không có logic định tuyến.

Xác thực yêu cầu một khóa hợp lệ. Nếu bạn thấy lỗi 401, khóa của bạn không hợp lệ. Nếu bạn thấy lỗi 402, bạn không có tín dụng. Nạp tiền bằng USDT hoặc USDC để tiếp tục. URL cơ sở đảm bảo các yêu cầu của bạn đến trực tiếp máy chủ của chúng tôi.

Gửi Yêu cầu đầu tiên của bạn

Thực hiện yêu cầu POST đến /v1/chat/completions với lời nhắc của bạn. Mô hình chỉ trả về văn bản. Bạn có thể kiểm soát độ dài phản hồi bằng cách sử dụng max_tokens. Đầu ra tối đa mặc định là 2,048 token trừ khi bạn chỉ định khác. Cửa sổ ngữ cảnh hỗ trợ tối đa 100,000 token cho cả prompt và hoàn thiện kết hợp.

Sử dụng ví dụ sau để xác minh kết nối và chất lượng phản hồi. Điều chỉnh messages mảng để phù hợp với trường hợp sử dụng của bạn.

Copycurl https://api.ollamaapipricing.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "calculate total cost for 100m tokens"}]
  }'

Bật phát trực tiếp và Công cụ

Streaming trả về các token qua Server-Sent Events (SSE). Chunk cuối cùng chứa thống kê sử dụng token tổng cộng. Điều này cho phép bạn hiển thị phản hồi theo thời gian thực trong khi theo dõi chi phí chính xác. Gọi hàm cũng được hỗ trợ. Bạn có thể xác định các công cụ trong yêu cầu của mình và để mô hình chọn công cụ nào sẽ sử dụng.

Đặt stream để true trong cấu hình SDK của bạn. Phản hồi sẽ đến dưới dạng một chuỗi các chunk. Xử lý từng chunk một cách phù hợp trong logic ứng dụng của bạn. Cách tiếp cận này giảm độ trễ cảm nhận đối với người dùng đang chờ các phản hồi dài.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Xử lý Phản hồi Chế độ JSON

Sử dụng response_format được đặt thành {"type": "json_object"} để bắt buộc đầu ra có cấu trúc. Điều này hữu ích cho việc phân tích dữ liệu hoặc tạo mã. Mô hình tuân thủ lược đồ JSON được cung cấp trong prompt. Nếu đầu ra không hợp lệ, yêu cầu có thể thất bại hoặc trả về JSON bị lỗi.

Kết hợp chế độ JSON với gọi hàm để tích hợp công cụ mạnh mẽ. Đảm bảo các prompt của bạn xác định rõ cấu trúc dự kiến. Điều này giảm nhu cầu xử lý lỗi sau khi tạo. API không tự xác thực cấu trúc JSON, vì vậy hãy dựa vào quá trình huấn luyện của mô hình.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapipricing.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Hiểu cách sử dụng token

Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Lỗi và từ chối miễn phí. Tín dụng chỉ được tính phí cho việc tạo token thành công. Tín dụng trả trước không bao giờ hết hạn. Mô hình này không kiểm duyệt cho việc sử dụng người trưởng thành hợp pháp, nghĩa là ít từ chối hơn cho các chủ đề tiêu chuẩn.

Theo dõi mức sử dụng qua chunk SSE cuối cùng hoặc các tiêu đề phản hồi API. Theo dõi số dư của bạn để tránh gián đoạn dịch vụ. Bạn có thể nạp tiền bất cứ lúc nào bằng tiền điện tử. Hệ thống minh bạch về chi phí cho mỗi yêu cầu. Không có phí ẩn.

Giới hạn và Lỗi

Giới hạn tốc độ là 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời trên mỗi khóa. Giới hạn kích thước thân yêu cầu là 8 MB. Nếu vượt quá các giới hạn này, bạn sẽ nhận được lỗi 429. Sử dụng độ trễ tăng dần theo cấp số nhân để xử lý các lần thử lại. Mỗi tài khoản có một khóa hoạt động. Tạo khóa mới sẽ thay thế khóa cũ ngay lập tức.

Xử lý lỗi một cách mượt mà. Lỗi 401 có nghĩa là khóa không hợp lệ. Lỗi 402 cho biết số dư không đủ. Lỗi 429 báo hiệu bạn đã bị giới hạn tốc độ. API không cung cấp các cam kết về hiệu suất (SLA) hoặc thời gian hoạt động. Hãy lập kế hoạch thử lại cho phù hợp.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)