Poin utama
- Di lokal Anda membayar perangkat keras sekarang dan pemeliharaan terus-menerus; via API Anda hanya membayar token yang digunakan.
- Dengan $0,15 per 1M token masuk dan $0,50 per 1M token keluar, $20 mencakup puluhan juta token.
- Lokal menang untuk penggunaan intensif berkelanjutan, kerja offline, dan kontrol total atas bobot.
- API menang bagi yang memulai hari ini, memiliki GPU sedikit, atau menginginkan endpoint yang kompatibel dengan OpenAI.
Jawaban singkat
Jika Anda mencari llm tanpa sensor dan belum memiliki GPU dengan memori besar, API hampir selalu titik awal yang paling masuk akal. Jika Anda menghasilkan teks sepanjang hari, bekerja offline, atau ingin memilih dan memodifikasi bobot, lokal memberikan imbalan atas investasi tersebut. Berikut perbandingannya dalam tabel.
| Aspek | Di lokal | Via API |
|---|---|---|
| Biaya awal | GPU, catu daya, pendingin | Tidak ada, isi saldo mulai dari $20 |
| Biaya berulang | Listrik, keausan, waktu Anda | Hanya token yang digunakan |
| Waktu untuk memulai | Jam atau hari antara unduhan dan pengujian | Beberapa menit |
| Pilihan model | Bebas, Anda dapat menyimpan banyak model | Satu saja, dipilih oleh penyedia |
| Konteks maksimum | Tergantung pada memori yang Anda miliki | 100.000 token |
| Bekerja offline | Ya | Tidak |
| Permintaan paralel | Yang didukung oleh GPU Anda | 8 dengan kunci penuh |
Tidak ada pilihan yang benar secara mutlak. Bagian-bagian di bawah ini membantu Anda memahami dari sisi mana Anda berada.
Apa yang benar-benar dibutuhkan untuk menjalankannya di rumah
Hambatan utamanya adalah memori video. Bobot model harus muat di VRAM, jika tidak akan pindah ke RAM sistem dan kecepatannya turun drastis. Sebagai perkiraan kasar, model kecil yang dikuantisasi 4 bit biasanya memakan beberapa gigabyte, sedangkan model yang sangat besar bisa membutuhkan puluhan gigabyte. Nilai pastinya bergantung pada model dan kuantisasi, jadi selalu periksa spesifikasi model individual dan dokumentasi alatnya.
Ini ditambah dengan cache konteks: semakin panjang percakapan, semakin banyak memori yang dikonsumsi selain bobot. Konteks puluhan ribu token pada model besar mungkin membutuhkan beberapa gigabyte lagi.
Perangkat lunak
Untuk inferensi lokal ada alat terkenal seperti llama.cpp, Ollama, dan vLLM. Ollama dan vLLM juga mengekspos endpoint yang kompatibel dengan format OpenAI, sehingga kode yang Anda tulis hari ini untuk server lokal dapat dipindahkan ke API jarak jauh dengan mengubah dua baris. Untuk detail instalasi, lihat dokumentasi masing-masing proyek.
Menemukan model
Model bobot terbuka dengan tingkat penolakan rendah diterbitkan oleh berbagai komunitas, tetapi kualitasnya sangat tidak konsisten. Beberapa kehilangan koherensi setelah dimodifikasi, yang lain hanya merespons dengan baik dengan format prompt tertentu. Anda perlu mencoba beberapa sebelum menemukan yang sesuai.
Berapa biaya API, dengan perhitungan yang jelas
Tarifnya adalah $0,15 per 1M token masuk dan $0,50 per 1M token keluar, dalam saldo prabayar, tanpa langganan. Permintaan yang gagal atau ditolak tidak dikenakan biaya dan saldo prabayar tidak kedaluwarsa. Mari kita lihat tiga skenario.
- Penggunaan ringan. 2M token masuk dan 500.000 token keluar per bulan: 2 × $0,15 = $0,30 ditambah 0,5 × $0,50 = $0,25, total $0,55.
- Penggunaan sedang. 50M masuk dan 10M keluar: 50 × $0,15 = $7,50 ditambah 10 × $0,50 = $5,00, total $12,50.
- Penggunaan berat. 400M masuk dan 80M keluar: 400 × $0,15 = $60 ditambah 80 × $0,50 = $40, total $100.
Isi saldo minimum adalah $20, jadi dalam kasus rata-rata satu setoran saja mencakup lebih dari satu bulan. Di atas ambang batas tertentu ada bonus: +5% dari $50, +10% dari $100, +15% dari $200. Misalnya $100 menjadi $110 kredit. Daftar harga lengkap ada di halaman harga API.
Untuk lokal, perhitungannya kurang langsung. Mulailah dari harga GPU, bagi dengan jumlah bulan yang Anda rencanakan untuk menggunakannya, lalu tambahkan biaya listrik: daya dalam kW dikalikan jam penggunaan dikalikan harga kontrak Anda. Hasilnya, dibagi dengan token yang benar-benar Anda hasilkan, adalah biaya Anda per juta token. Lakukan perhitungan dengan angka Anda sendiri dan bandingkan dengan $0,50 per juta token keluaran.
Pemeliharaan yang sering terlupakan
Siapa pun yang memilih lokal juga mengurus semuanya. Driver dan pustaka CUDA yang rusak setelah pembaruan, versi baru mesin inferensi, format kuantisasi yang berubah, model yang perlu diunduh ulang. Jika layanan digunakan oleh orang lain, tambahkan pemantauan, restart otomatis, dan manajemen antrian ketika lebih banyak permintaan masuk daripada yang dapat ditangani GPU.
Tidak ada yang rumit, tetapi memerlukan waktu berulang. Jika waktu Anda berharga, hitunglah: beberapa jam per bulan lebih mahal daripada $12,50 pada skenario rata-rata di atas.
Dengan API, pemeliharaan di sisi Anda berkurang menjadi satu kunci, satu URL dasar, dan penanganan error 429, yang dijelaskan dalam dokumentasi. Sebagai gantinya, Anda bergantung pada penyedia: jika penyedia mengalami masalah, Anda tidak dapat mengatasinya.
Kapan lokal menguntungkan dan kapan API
Pilih model lokal jika
- Anda sudah memiliki GPU yang sesuai dan biaya marjinalnya hanya listrik;
- Anda menghasilkan teks secara terus-menerus, selama berjam-jam, setiap hari;
- Anda perlu bekerja tanpa jaringan atau dengan data yang tidak boleh keluar dari mesin Anda;
- Anda ingin sering mengganti model, melakukan fine-tuning, atau bereksperimen dengan bobot.
Pilih API jika
- Anda menginginkan endpoint yang berfungsi hari ini, tanpa membeli apa pun;
- penggunaan Anda bersifat bursty: bot, skrip malam hari, prototipe;
- Anda membutuhkan konteks panjang (di sini 100.000 token) tanpa harus memperhitungkan memori;
- Anda ingin melakukan skalasi hingga 8 permintaan simultan tanpa memikirkan perangkat keras.
Banyak tim menggunakan kedua pendekatan: API untuk memulai dan menangani puncak, lokal untuk beban kerja stabil. Karena formatnya sama, beralih dari satu ke yang lain tidak memerlukan penulisan ulang aplikasi.
Metode sederhana untuk memutuskan
Sebelum membeli apa pun, ukur. Selama seminggu, catat berapa banyak token yang Anda konsumsi, yang dapat Anda peroleh dari bidang usage dalam respons atau dari penghitung alat Anda. Kemudian lakukan tiga perhitungan.
- Kalikan token masukan mingguan dengan 4 dan dengan $0,15 dibagi satu juta.
- Lakukan hal yang sama dengan token keluaran dan $0,50.
- Jumlahkan kedua hasil tersebut dan bandingkan dengan cicilan bulanan perangkat keras ditambah listrik.
Jika total API tetap di bawah beberapa puluh dolar per bulan, membeli GPU hanya untuk ini jarang masuk akal. Jika sebaliknya jauh melampaui cicilan, model lokal mulai menjadi menarik. Kasus khusus adalah latensi: pada mesin Anda sendiri Anda tidak melewati jaringan, tetapi GPU rumah dengan model besar mungkin lebih lambat daripada layanan yang di-host. Coba keduanya pada beban kerja Anda, karena perbedaannya bergantung pada model dan panjang prompt.
Perhatikan juga pertumbuhan. Prototipe yang hari ini mengonsumsi sedikit dapat berlipat ganda ketika digunakan oleh orang lain. API menangani hingga 8 permintaan simultan dengan kunci penuh, sedangkan di lokal setiap pengguna tambahan akan memperlambat semua proses lain hingga Anda menambahkan perangkat keras.
Coba API dalam lima menit
Untuk menguji, diperlukan kunci. Setelah masuk dengan Google atau dengan email dan kata sandi, di halaman kunci Anda dapat meminta $0,50 kredit uji coba gratis dengan satu klik, berlaku selama 7 hari dan tanpa perlu membayar. Kunjungi dapatkan kunci API. Kunci uji coba memiliki batas 2 permintaan simultan dan 60 per menit.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
Jika di masa depan Anda ingin beralih ke server lokal dengan endpoint yang kompatibel, cukup ubah base_url dan nama model.
Apa yang tidak dilakukan
Ini adalah satu model bobot terbuka, dikelola oleh penyedia independen dan dilatih untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari laboratorium besar mana pun, tidak menghasilkan gambar, audio, atau video, dan tidak menawarkan embedding maupun fine-tuning. Tetap ada batas mutlak: tidak ada konten seksual yang melibatkan anak di bawah umur. Untuk gambaran lebih luas, lihat halaman AI tanpa sensor. Prompt tidak digunakan untuk pelatihan.

