Điểm chính
- Không kiểm duyệt không có nghĩa là không giới hạn: có các giới hạn về yêu cầu mỗi phút, yêu cầu đồng thời và ngữ cảnh.
- Khóa đầy đủ: 8 yêu cầu đồng thời và 300 mỗi phút. Khóa dùng thử: 2 và 60.
- Ngữ cảnh là 100.000 token bao gồm prompt và phản hồi; tín dụng không bao giờ hết hạn.
- Lỗi 429 được xử lý bằng cách chờ đợi và thử lại, và các yêu cầu thất bại không phải trả tiền.
Hai điều khác biệt: không từ chối và không giới hạn
Khi tìm kiếm ai không giới hạn, hai ý tưởng bị trộn lẫn. Thứ nhất là không từ chối nội dung: mô hình được huấn luyện để trả lời không chặn cho mục đích người trưởng thành hợp pháp. Thứ hai là không có giới hạn kỹ thuật, điều này không tồn tại trong bất kỳ dịch vụ nghiêm túc nào. Có giới hạn về tốc độ yêu cầu, số lượng cuộc gọi song song, độ dài ngữ cảnh và kích thước thân yêu cầu.
Nên biết chúng trước khi xây dựng gì đó, vì chúng có thể dự đoán và hầu hết có thể vượt qua bằng một chút mã. Một giới hạn là tuyệt đối và không phụ thuộc vào cài đặt nào: không có nội dung tình dục liên quan đến người chưa thành niên.
Các giới hạn trong bảng
| Giới hạn | Khóa đầy đủ | Khóa dùng thử |
|---|---|---|
| Yêu cầu đồng thời | 8 | 2 |
| Yêu cầu mỗi phút | 300 | 60 |
| Ngữ cảnh (prompt + phản hồi) | 100.000 token | 100.000 token |
| Kích thước thân tối đa | 8 MB | 8 MB |
| Hết hạn | Tín dụng không hết hạn | 7 ngày |
Phản hồi trả về các tiêu đề X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency, để mã của bạn có thể đọc giới hạn thay vì mã hóa cứng chúng. Bạn cũng tìm thấy X-Request-Id, hữu ích nếu viết cho hỗ trợ, và X-Balance-USD với số dư tín dụng.
Tham số max_tokens là tùy chọn: phản hồi có thể sử dụng không gian còn lại trong cửa sổ. Nếu prompt và không gian phản hồi vượt quá cửa sổ, max_tokens bị giảm xuống phần còn lại; lỗi 400 chỉ xảy ra khi prompt đơn lẻ không vừa trong 100.000 token. Thực tế nên tóm tắt hoặc xóa phần cũ của lịch sử dài, để lại không gian cho phản hồi.
Chi phí để nằm trong giới hạn
Giá là $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra. Một số tính toán cụ thể, đều có thể kiểm tra được.
Một yêu cầu điển hình
Prompt 3.000 token và phản hồi 800:
- đầu vào: 3.000 × $0,15 / 1.000.000 = $0,00045;
- đầu ra: 800 × $0,50 / 1.000.000 = $0,0004;
- tổng cộng: $0,00085 cho mỗi yêu cầu, tức $0,85 cho mỗi 1.000 yêu cầu.
Trường hợp cực đoan
Một yêu cầu làm đầy cửa sổ ngữ cảnh, ví dụ 90.000 token cho prompt và 10.000 token cho phản hồi, tốn 90.000 × $0,15 / 1 triệu = $0,0135 cộng 10.000 × $0,50 / 1 triệu = $0,005, tức là $0,0185. Một nghìn yêu cầu như vậy tốn $18,50. Một prompt 100.000 token với phản hồi nhỏ tốn khoảng $0,015.
Bạn mua được gì với các lần nạp tiền
Với $20, mức nạp tối thiểu, ở mức $0,00085 mỗi yêu cầu bạn nhận được khoảng 23.529 yêu cầu ($20 / $0,00085 = 23.529,4). Tín dụng dùng thử $0,50 đủ cho khoảng 588 yêu cầu cùng loại. Nếu nạp $100 bạn nhận $110 tín dụng, với $200 bạn nhận $230. Nạp từ $20 đến $500 và thanh toán bằng crypto USDT trên TRC20 hoặc USDC trên Base. Xem chi tiết trong giá cả.
Điều gì thực sự giới hạn tốc độ
Con số quan trọng thường không phải là 300 mỗi phút, mà là 8 yêu cầu đồng thời. Giả sử: bạn xử lý 10.000 tài liệu, mỗi tài liệu có 2.000 token đầu vào và 300 token đầu ra, và mỗi yêu cầu mất trung bình 10 giây (thời gian thực phụ thuộc vào tải và độ dài, hãy tự đo).
- Với 8 yêu cầu đồng thời, bạn hoàn thành 0,8 yêu cầu mỗi giây, tức 48 mỗi phút, thấp hơn nhiều so với giới hạn 300.
- 10.000 / 0,8 = 12.500 giây, khoảng 3,5 giờ.
- Chi phí: 20M token đầu vào = $3,00, 3M token đầu ra = $1,50, tổng cộng $4,50.
Vì vậy, ràng buộc là độ đồng thời, không phải tốc độ. Để rút ngắn thời gian cần các yêu cầu ngắn hơn, không phải tốc độ cao hơn. Một chi tiết gây bất ngờ: một yêu cầu truyền phát chiếm vị trí của nó cho đến khi luồng kết thúc, vì vậy nếu bạn để một stream bị lãng quên mở, bạn sẽ khóa một trong 8 slot.
Xử lý lỗi 429
Vượt quá giới hạn, API trả về HTTP 429. Mã lỗi cho biết loại: rate_limited cho yêu cầu mỗi phút, concurrency cho yêu cầu đồng thời. Trong trường quá tải tạm thời luôn có 429, với tiêu đề Retry-After: 5. Trong cả ba trường hợp, quy tắc là giống nhau: chờ và thử lại. Các yêu cầu bị lỗi không bị tính phí.
Ví dụ này giới hạn độ đồng thời ở 8 với một semaphore và thử lại với chờ đợi tăng dần.
import asyncio, os
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
max_retries=0,
)
slot = asyncio.Semaphore(8) # usa 2 con la chiave di prova
async def chiedi(testo, tentativi=5):
for n in range(tentativi):
async with slot:
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": testo}],
)
return r.choices[0].message.content
except RateLimitError:
pass
await asyncio.sleep(5 * (n + 1))
raise RuntimeError("troppi tentativi")
async def main():
testi = [f"Riassumi in una frase il documento {i}" for i in range(20)]
risultati = await asyncio.gather(*(chiedi(t) for t in testi))
print(len(risultati), "risposte")
asyncio.run(main())
Thời gian chờ diễn ra bên ngoài semaphore, vì vậy một slot đang chờ không khóa các slot khác. Để biết chi tiết về định dạng lỗi, hãy xem tài liệu.
Kiểm tra tín dụng khi làm việc
Vì chi phí theo token, một vòng lặp viết sai có thể tiêu tốn tín dụng nhanh hơn dự kiến. Hai mẹo tiết kiệm: đọc số dư và tự đặt giới hạn.
curl -i https://api.apiiasenzacensura.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Ciao"}],"max_tokens":20}'
Trong các tiêu đề phản hồi, bạn tìm thấy X-Balance-USD. Bạn cũng có thể gọi GET /v1/balance với cùng khóa, hoặc sử dụng endpoint kiểu OpenAI /v1/dashboard/billing/credit_grants. Việc kiểm tra sau mỗi một số yêu cầu nhất định cho phép bạn dừng batch khi số dư giảm xuống dưới ngưỡng do bạn đặt. Hãy đặt max_tokens cho các công việc tuần tự để tránh các phản hồi quá dài không cần thiết.
Cách để tín dụng của bạn kéo dài hơn
Vì chi phí phụ thuộc vào token, cách hiệu quả nhất để chi tiêu ít hơn là gửi ít token hơn. Ba thói quen hoạt động gần như luôn luôn.
- Rút ngắn lịch sử. Trong một cuộc trò chuyện, mỗi lượt chuyển toàn bộ quá khứ đến mô hình. Sau 20 lượt 350 token mỗi lượt, chỉ lịch sử nặng 7.000 token đầu vào mỗi câu hỏi mới, tức $0,00105 chỉ để đọc lại (7.000 × $0,15 / 1M). Tóm tắt các lượt cũ thành vài dòng cắt chi phí này.
- Giữ prompt hệ thống ngắn. Một prompt 1.500 token lặp lại trong 10.000 yêu cầu bằng 15M token đầu vào, tức $2,25. Giảm xuống 500 token bạn giảm xuống $0,75.
- Đặt giới hạn cho phản hồi. Token đầu ra đắt hơn ba lần so với token đầu vào ($0.50 so với $0.15). Yêu cầu phản hồi ngắn gọn hoặc đặt
max_tokenscho các nhiệm vụ chỉ cần hai dòng là cách tiết kiệm trực tiếp nhất.
Nhiệt độ và các tham số lấy mẫu khác như top_p hoặc seed cũng được chuyển đến mô hình. Tham số seed hữu ích nếu bạn muốn lặp lại một bài kiểm tra và so sánh hai prompt một cách sạch sẽ hơn.
Nói gì với những ai hứa hẹn không giới hạn
Khi một dịch vụ hứa hẹn yêu cầu không giới hạn mà không giải thích các giới hạn, bạn luôn nên hỏi rõ. Một mô hình có giới hạn được công bố và giá theo token dễ lên kế hoạch hơn. Tại đây, bạn biết trước số lượng yêu cầu có thể thực hiện và số tiền chi tiêu, không cần đăng ký và không có hạn sử dụng tín dụng. Nếu muốn bắt đầu, lấy khóa API của bạn và sử dụng tín dụng dùng thử $0,50, yêu cầu chỉ bằng một cú nhấp chuột sau khi đăng ký và không cần thanh toán.

