Poin utama
- Tanpa sensor bukan berarti tanpa batas: ada batas untuk permintaan per menit, permintaan paralel, dan konteks.
- Kunci lengkap: 8 permintaan paralel dan 300 per menit. Kunci uji coba: 2 dan 60.
- Konteksnya adalah 100.000 token termasuk prompt dan respons; kredit tidak pernah kedaluwarsa.
- Error 429 ditangani dengan menunggu dan mencoba lagi, dan permintaan yang gagal tidak dibayar.
Dua hal berbeda: tanpa penolakan dan tanpa batas
Saat mencari ai tanpa batas penggunaan, dua ide bercampur. Pertama adalah tidak adanya penolakan konten: model yang digunakan di sini dilatih untuk menjawab tanpa pemblokiran untuk penggunaan dewasa yang sah. Kedua adalah tidak adanya batas teknis, dan ini tidak ada di layanan serius mana pun. Ada batas pada laju permintaan, jumlah panggilan paralel, panjang konteks, dan ukuran tubuh permintaan.
Penting untuk mengetahuinya sebelum membangun sesuatu, karena dapat diprediksi dan hampir semua dapat diatasi dengan sedikit kode. Satu batas tetap mutlak dan tidak bergantung pada pengaturan apa pun: tidak ada konten seksual yang melibatkan anak di bawah umur.
Batas-batasnya, dalam tabel
| Batas | Kunci lengkap | Kunci uji coba |
|---|---|---|
| Permintaan paralel | 8 | 2 |
| Permintaan per menit | 300 | 60 |
| Konteks (prompt + respons) | 100.000 token | 100.000 token |
| Ukuran tubuh maksimum | 8 MB | 8 MB |
| Kedaluwarsa | Kredit tidak kedaluwarsa | 7 hari |
Respons menyertakan header X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency, sehingga kode Anda dapat membaca batasnya daripada menulisnya secara manual. Anda juga menemukan X-Request-Id, berguna jika Anda menghubungi dukungan, dan X-Balance-USD dengan sisa kredit.
Parameter max_tokens bersifat opsional: respons dapat menggunakan seluruh ruang yang tersisa di jendela konteks. Jika prompt dan ruang untuk respons melebihi jendela, max_tokens akan dikurangi hingga sisa yang tersedia; error 400 hanya muncul jika prompt saja melebihi 100.000 token. Pada praktiknya, lebih baik meringkas atau menghapus bagian lama dari riwayat panjang, agar respons tetap memiliki ruang.
Berapa biaya tetap berada dalam batas
Tarifnya adalah $0,15 per 1M token masuk dan $0,50 per 1M token keluar. Beberapa perhitungan konkret, semuanya dapat diverifikasi.
Permintaan tipikal
Prompt 3.000 token dan respons 800:
- masuk: 3.000 × $0,15 / 1.000.000 = $0,00045;
- keluar: 800 × $0,50 / 1.000.000 = $0,0004;
- total: $0,00085 per permintaan, jadi $0,85 setiap 1.000 permintaan.
Kasus ekstrem
Permintaan yang mengisi jendela, misalnya 90.000 token prompt dan 10.000 token respons, biaya 90.000 × $0,15 / 1M = $0,0135 plus 10.000 × $0,50 / 1M = $0,005, yaitu $0,0185. Seribu permintaan seperti itu biaya $18,50. Prompt 100.000 token dengan respons kecil biaya sekitar $0,015.
Apa yang Anda beli dengan pengisian ulang
Dengan $20, pengisian ulang minimum, pada $0,00085 per permintaan Anda mendapatkan sekitar 23.529 permintaan ($20 / $0,00085 = 23.529,4). Kredit uji coba senilai $0,50 cukup untuk sekitar 588 permintaan jenis yang sama. Jika Anda mengisi $100 Anda menerima $110 kredit, dengan $200 Anda menerima $230. Pengisian ulang berkisar dari $20 hingga $500 dan dibayar dengan kripto menggunakan USDT di TRC20 atau USDC di Base. Lihat detailnya di harga.
Apa yang benar-benar membatasi kecepatan
Angka yang biasanya penting bukanlah 300 per menit, melainkan 8 permintaan paralel. Asumsi: Anda memproses 10.000 dokumen, masing-masing dengan 2.000 token masuk dan 300 token keluar, dan setiap permintaan rata-rata memakan waktu 10 detik (waktu nyata tergantung pada beban dan panjangnya, ukur sendiri).
- Dengan 8 permintaan paralel, Anda menyelesaikan 0,8 permintaan per detik, yaitu 48 per menit, jauh di bawah batas 300.
- 10.000 / 0,8 = 12.500 detik, sekitar 3,5 jam.
- Biaya: 20M token masuk = $3,00, 3M token keluar = $1,50, total biaya $4,50.
Jadi kendalinya adalah konkurensi, bukan laju. Untuk memperpendek waktu diperlukan permintaan yang lebih pendek, bukan laju yang lebih tinggi. Detail yang mengejutkan: permintaan streaming menempati slotnya hingga akhir aliran, jadi jika Anda membiarkan stream yang terlupa terbuka, Anda memblokir salah satu dari 8 slot.
Menangani error 429
Melebihi batas API merespons dengan HTTP 429. Kode error menunjukkan mana: rate_limited untuk permintaan per menit, concurrency untuk permintaan paralel. Dalam kasus overload sementara selalu ada 429, dengan header Retry-After: 5. Dalam ketiga kasus tersebut aturannya sama: tunggu dan coba lagi. Permintaan yang gagal tidak dikenakan biaya.
Contoh ini membatasi konkurensi menjadi 8 dengan semaphore dan mencoba lagi dengan penundaan yang meningkat.
import asyncio, os
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
max_retries=0,
)
slot = asyncio.Semaphore(8) # usa 2 con la chiave di prova
async def chiedi(testo, tentativi=5):
for n in range(tentativi):
async with slot:
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": testo}],
)
return r.choices[0].message.content
except RateLimitError:
pass
await asyncio.sleep(5 * (n + 1))
raise RuntimeError("troppi tentativi")
async def main():
testi = [f"Riassumi in una frase il documento {i}" for i in range(20)]
risultati = await asyncio.gather(*(chiedi(t) for t in testi))
print(len(risultati), "risposte")
asyncio.run(main())
Penundaan terjadi di luar semaphore, sehingga slot yang sedang jeda tidak memblokir yang lain. Untuk detail format error lihat dokumentasi.
Memeriksa kredit saat bekerja
Karena biayanya per token, loop yang salah dapat menghabiskan kredit lebih cepat dari yang diharapkan. Dua langkah hemat biaya: baca saldo dan tetapkan batas Anda sendiri.
curl -i https://api.apiiasenzacensura.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Ciao"}],"max_tokens":20}'
Di header respons, Anda akan menemukan X-Balance-USD. Anda juga dapat memanggil GET /v1/balance dengan kunci yang sama, atau endpoint gaya OpenAI /v1/dashboard/billing/credit_grants. Melakukan pengecekan setiap sejumlah permintaan memungkinkan Anda menghentikan batch saat saldo turun di bawah ambang batas Anda. Atur juga max_tokens pada pekerjaan berurutan untuk menghindari respons yang terlalu panjang yang tidak Anda butuhkan.
Cara membuat saldo bertahan lebih lama
Karena biaya bergantung pada token, cara paling efektif untuk mengurangi pengeluaran adalah mengirim lebih sedikit token. Tiga kebiasaan yang hampir selalu berhasil.
- Pendekkan riwayat. Dalam setiap percakapan, setiap giliran mengirimkan seluruh konteks sebelumnya ke model. Setelah 20 giliran masing-masing 350 token, riwayat saja membutuhkan 7.000 token sebagai input untuk setiap pertanyaan baru, yaitu $0,00105 hanya untuk membacanya kembali (7.000 × $0,15 / 1M). Merangkum giliran lama menjadi beberapa baris akan memangkas biaya ini.
- Jaga agar prompt sistem tetap singkat. Prompt 1.500 token yang diulang dalam 10.000 permintaan bernilai 15 juta token input, yaitu $2,25. Menguranginya menjadi 500 token menurunkan biaya menjadi $0,75.
- Batasi panjang respons. Token output lebih mahal tiga kali lipat daripada token input ($0.50 dibandingkan $0.15). Meminta respons yang ringkas atau mengatur
max_tokensuntuk tugas yang hanya membutuhkan dua baris adalah cara penghematan paling langsung.
Parameter seperti suhu dan parameter sampling lainnya, seperti top_p atau seed, juga diteruskan ke model. Parameter seed berguna jika Anda ingin mengulang pengujian dan membandingkan dua prompt dengan lebih bersih.
Apa yang harus dikatakan kepada yang menjanjikan tanpa batas
Ketika layanan menjanjikan permintaan tanpa batas tanpa menjelaskan batasnya, selalu tanyakan batas tersebut. Model dengan batas yang dinyatakan jelas dan harga per token lebih mudah untuk direncanakan. Di sini Anda tahu sebelumnya berapa banyak permintaan yang dapat Anda lakukan dan berapa yang akan Anda keluarkan, tanpa langganan dan tanpa batas waktu saldo. Jika ingin memulai, dapatkan kunci Anda dan gunakan kredit uji coba senilai $0,50, yang dapat diminta dengan satu klik setelah pendaftaran dan tidak memerlukan pembayaran.

