ID ▾

LLM tanpa sensor: di lokal atau via API, mana yang dipilih

LLM tanpa sensor dapat dijalankan di PC Anda sendiri atau dipanggil via API. Di sini Anda menemukan perangkat keras, biaya, dan pemeliharaan dari kedua jalur tersebut, dengan angka yang dapat diverifikasi.

LLM Tanpa Sensor: Analisis Opsi yang Tersedia

Diperbarui:

Timbangan isometrik: di satu sisi workstation dengan GPU lokal, di sisi lain server cloud yang terhubung melalui kabel.

Poin utama

  • Di lokal Anda membayar perangkat keras sekarang dan pemeliharaan terus-menerus; via API Anda hanya membayar token yang digunakan.
  • Dengan $0,15 per 1M token masuk dan $0,50 per 1M token keluar, $20 mencakup puluhan juta token.
  • Lokal menang untuk penggunaan intensif berkelanjutan, kerja offline, dan kontrol total atas bobot.
  • API menang bagi yang memulai hari ini, memiliki GPU sedikit, atau menginginkan endpoint yang kompatibel dengan OpenAI.

Jawaban singkat

Jika Anda mencari llm tanpa sensor dan belum memiliki GPU dengan memori besar, API hampir selalu titik awal yang paling masuk akal. Jika Anda menghasilkan teks sepanjang hari, bekerja offline, atau ingin memilih dan memodifikasi bobot, lokal memberikan imbalan atas investasi tersebut. Berikut perbandingannya dalam tabel.

AspekDi lokalVia API
Biaya awalGPU, catu daya, pendinginTidak ada, isi saldo mulai dari $20
Biaya berulangListrik, keausan, waktu AndaHanya token yang digunakan
Waktu untuk memulaiJam atau hari antara unduhan dan pengujianBeberapa menit
Pilihan modelBebas, Anda dapat menyimpan banyak modelSatu saja, dipilih oleh penyedia
Konteks maksimumTergantung pada memori yang Anda miliki100.000 token
Bekerja offlineYaTidak
Permintaan paralelYang didukung oleh GPU Anda8 dengan kunci penuh

Tidak ada pilihan yang benar secara mutlak. Bagian-bagian di bawah ini membantu Anda memahami dari sisi mana Anda berada.

Apa yang benar-benar dibutuhkan untuk menjalankannya di rumah

Hambatan utamanya adalah memori video. Bobot model harus muat di VRAM, jika tidak akan pindah ke RAM sistem dan kecepatannya turun drastis. Sebagai perkiraan kasar, model kecil yang dikuantisasi 4 bit biasanya memakan beberapa gigabyte, sedangkan model yang sangat besar bisa membutuhkan puluhan gigabyte. Nilai pastinya bergantung pada model dan kuantisasi, jadi selalu periksa spesifikasi model individual dan dokumentasi alatnya.

Ini ditambah dengan cache konteks: semakin panjang percakapan, semakin banyak memori yang dikonsumsi selain bobot. Konteks puluhan ribu token pada model besar mungkin membutuhkan beberapa gigabyte lagi.

Perangkat lunak

Untuk inferensi lokal ada alat terkenal seperti llama.cpp, Ollama, dan vLLM. Ollama dan vLLM juga mengekspos endpoint yang kompatibel dengan format OpenAI, sehingga kode yang Anda tulis hari ini untuk server lokal dapat dipindahkan ke API jarak jauh dengan mengubah dua baris. Untuk detail instalasi, lihat dokumentasi masing-masing proyek.

Menemukan model

Model bobot terbuka dengan tingkat penolakan rendah diterbitkan oleh berbagai komunitas, tetapi kualitasnya sangat tidak konsisten. Beberapa kehilangan koherensi setelah dimodifikasi, yang lain hanya merespons dengan baik dengan format prompt tertentu. Anda perlu mencoba beberapa sebelum menemukan yang sesuai.

Berapa biaya API, dengan perhitungan yang jelas

Tarifnya adalah $0,15 per 1M token masuk dan $0,50 per 1M token keluar, dalam saldo prabayar, tanpa langganan. Permintaan yang gagal atau ditolak tidak dikenakan biaya dan saldo prabayar tidak kedaluwarsa. Mari kita lihat tiga skenario.

  • Penggunaan ringan. 2M token masuk dan 500.000 token keluar per bulan: 2 × $0,15 = $0,30 ditambah 0,5 × $0,50 = $0,25, total $0,55.
  • Penggunaan sedang. 50M masuk dan 10M keluar: 50 × $0,15 = $7,50 ditambah 10 × $0,50 = $5,00, total $12,50.
  • Penggunaan berat. 400M masuk dan 80M keluar: 400 × $0,15 = $60 ditambah 80 × $0,50 = $40, total $100.

Isi saldo minimum adalah $20, jadi dalam kasus rata-rata satu setoran saja mencakup lebih dari satu bulan. Di atas ambang batas tertentu ada bonus: +5% dari $50, +10% dari $100, +15% dari $200. Misalnya $100 menjadi $110 kredit. Daftar harga lengkap ada di halaman harga API.

Untuk lokal, perhitungannya kurang langsung. Mulailah dari harga GPU, bagi dengan jumlah bulan yang Anda rencanakan untuk menggunakannya, lalu tambahkan biaya listrik: daya dalam kW dikalikan jam penggunaan dikalikan harga kontrak Anda. Hasilnya, dibagi dengan token yang benar-benar Anda hasilkan, adalah biaya Anda per juta token. Lakukan perhitungan dengan angka Anda sendiri dan bandingkan dengan $0,50 per juta token keluaran.

Pemeliharaan yang sering terlupakan

Siapa pun yang memilih lokal juga mengurus semuanya. Driver dan pustaka CUDA yang rusak setelah pembaruan, versi baru mesin inferensi, format kuantisasi yang berubah, model yang perlu diunduh ulang. Jika layanan digunakan oleh orang lain, tambahkan pemantauan, restart otomatis, dan manajemen antrian ketika lebih banyak permintaan masuk daripada yang dapat ditangani GPU.

Tidak ada yang rumit, tetapi memerlukan waktu berulang. Jika waktu Anda berharga, hitunglah: beberapa jam per bulan lebih mahal daripada $12,50 pada skenario rata-rata di atas.

Dengan API, pemeliharaan di sisi Anda berkurang menjadi satu kunci, satu URL dasar, dan penanganan error 429, yang dijelaskan dalam dokumentasi. Sebagai gantinya, Anda bergantung pada penyedia: jika penyedia mengalami masalah, Anda tidak dapat mengatasinya.

Kapan lokal menguntungkan dan kapan API

Pilih model lokal jika

  • Anda sudah memiliki GPU yang sesuai dan biaya marjinalnya hanya listrik;
  • Anda menghasilkan teks secara terus-menerus, selama berjam-jam, setiap hari;
  • Anda perlu bekerja tanpa jaringan atau dengan data yang tidak boleh keluar dari mesin Anda;
  • Anda ingin sering mengganti model, melakukan fine-tuning, atau bereksperimen dengan bobot.

Pilih API jika

  • Anda menginginkan endpoint yang berfungsi hari ini, tanpa membeli apa pun;
  • penggunaan Anda bersifat bursty: bot, skrip malam hari, prototipe;
  • Anda membutuhkan konteks panjang (di sini 100.000 token) tanpa harus memperhitungkan memori;
  • Anda ingin melakukan skalasi hingga 8 permintaan simultan tanpa memikirkan perangkat keras.

Banyak tim menggunakan kedua pendekatan: API untuk memulai dan menangani puncak, lokal untuk beban kerja stabil. Karena formatnya sama, beralih dari satu ke yang lain tidak memerlukan penulisan ulang aplikasi.

Metode sederhana untuk memutuskan

Sebelum membeli apa pun, ukur. Selama seminggu, catat berapa banyak token yang Anda konsumsi, yang dapat Anda peroleh dari bidang usage dalam respons atau dari penghitung alat Anda. Kemudian lakukan tiga perhitungan.

  1. Kalikan token masukan mingguan dengan 4 dan dengan $0,15 dibagi satu juta.
  2. Lakukan hal yang sama dengan token keluaran dan $0,50.
  3. Jumlahkan kedua hasil tersebut dan bandingkan dengan cicilan bulanan perangkat keras ditambah listrik.

Jika total API tetap di bawah beberapa puluh dolar per bulan, membeli GPU hanya untuk ini jarang masuk akal. Jika sebaliknya jauh melampaui cicilan, model lokal mulai menjadi menarik. Kasus khusus adalah latensi: pada mesin Anda sendiri Anda tidak melewati jaringan, tetapi GPU rumah dengan model besar mungkin lebih lambat daripada layanan yang di-host. Coba keduanya pada beban kerja Anda, karena perbedaannya bergantung pada model dan panjang prompt.

Perhatikan juga pertumbuhan. Prototipe yang hari ini mengonsumsi sedikit dapat berlipat ganda ketika digunakan oleh orang lain. API menangani hingga 8 permintaan simultan dengan kunci penuh, sedangkan di lokal setiap pengguna tambahan akan memperlambat semua proses lain hingga Anda menambahkan perangkat keras.

Coba API dalam lima menit

Untuk menguji, diperlukan kunci. Setelah masuk dengan Google atau dengan email dan kata sandi, di halaman kunci Anda dapat meminta $0,50 kredit uji coba gratis dengan satu klik, berlaku selama 7 hari dan tanpa perlu membayar. Kunjungi dapatkan kunci API. Kunci uji coba memiliki batas 2 permintaan simultan dan 60 per menit.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

Jika di masa depan Anda ingin beralih ke server lokal dengan endpoint yang kompatibel, cukup ubah base_url dan nama model.

Apa yang tidak dilakukan

Ini adalah satu model bobot terbuka, dikelola oleh penyedia independen dan dilatih untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari laboratorium besar mana pun, tidak menghasilkan gambar, audio, atau video, dan tidak menawarkan embedding maupun fine-tuning. Tetap ada batas mutlak: tidak ada konten seksual yang melibatkan anak di bawah umur. Untuk gambaran lebih luas, lihat halaman AI tanpa sensor. Prompt tidak digunakan untuk pelatihan.

Panduan lainnya

Pertanyaan dan jawaban

Apakah LLM lokal benar-benar lebih privat?

Dengan model lokal, data tetap berada di mesin Anda, jadi ya, asalkan Anda melindunginya. Dengan API, prompt dikirim ke penyedia; di sini tidak digunakan untuk pelatihan.

Berapa banyak token yang bisa saya gunakan dengan $20?

Jika semuanya adalah masukan, 133,3 juta token ($20 dibagi $0,15 per juta). Jika semuanya adalah keluaran, 40 juta ($20 dibagi $0,50). Pada praktiknya berada di tengah, tergantung pada rasio antara keduanya.

Bisakah saya menggunakan kode OpenAI yang sudah saya miliki?

Ya. API kompatibel dengan SDK OpenAI: Anda mengubah base URL dan kunci, lalu menggunakan model uncensored. Didukung chat completions, responses, streaming, dan tool calling.

Apakah konteksnya sama secara lokal dan via API?

Tidak. Via API batasnya adalah 100.000 token antara prompt dan respons. Di lokal bergantung pada model dan memori GPU Anda, karena cache konteks tumbuh dengan panjangnya.

Kunci Anda hanya berjarak satu formulir

Buat akun, salin kunci, ubah base URL. Itulah seluruh konfigurasi.