Anahtar noktalar
- Yerelde donanımı hemen ödersiniz ve bakımı sürekli yaparsınız; API üzerinden sadece kullanılan tokenlar için ödeme yaparsınız.
- Giriş için 1M token başına $0,15 ve çıkış için 1M token başına $0,50 ile $20, on milyonlarca tokenı karşılar.
- Yoğun ve sürekli kullanım, çevrim dışı çalışma ve ağırlıklar üzerinde tam kontrol için yerel çözüm öne çıkar.
- API, bugün başlayanlar, az GPU'su olanlar veya OpenAI uyumlu bir uç nokta arayanlar için öne çıkar.
Kısa cevap
Bir sansürsüz LLM arıyorsanız ve halihazırda yüksek bellekli bir GPU'nuz yoksa, API neredeyse her zaman en mantıklı başlangıç noktasıdır. Ancak gün boyu metin üretiyorsanız, çevrim dışı çalışıyorsanız veya ağırlıkları seçip değiştirmek istiyorsanız yerel çözüm yatırıma değer. İşte karşılaştırma tablosu.
| Kriter | Yerel | API üzerinden |
|---|---|---|
| Başlangıç maliyeti | GPU, güç kaynağı, soğutma | Yok, $20'den başlayan yüklemeler |
| Sürekli maliyet | Elektrik, aşınma, sizin zamanınız | Sadece kullanılan tokenlar |
| Başlamak için geçen süre | İndirme ve testler arasında saatler veya günler | Dakikalar |
| Model seçimi | Serbest, birçoğunu tutabilirsiniz | Tek bir model, sağlayıcı tarafından seçilir |
| Maksimum bağlam | Sahip olduğunuz belleğe bağlıdır | 100.000 token |
| Çevrim dışı çalışır | Evet | Hayır |
| Eşzamanlı istekler | GPU'nuzun kaldırabildiği kadar | Tam anahtarla 8 |
Mutlak olarak doğru bir seçim yoktur. Aşağıdaki bölümler hangi tarafta olduğunuzu anlamanıza yardımcı olur.
Bunu evde çalıştırmak için gerçekten ne gerekir
Darboğaz video belleğidir. Bir modelin ağırlıkları VRAM'e sığmalıdır; aksi takdirde sistem RAM'ine geçer ve hız düşer. Yaklaşık bir büyüklük sırası olarak, 4 bit quantizasyonlu küçük bir model genellikle birkaç gigabyte yer kaplarken, çok büyük bir model onlarca gigabyte gerektirebilir. Kesin değerler modele ve quantizasyona bağlıdır; bu nedenle her zaman tekil model kartını ve aracın belgelerini kontrol edin.
Buna bağlam önbelleği eklenir: konuşma ne kadar uzunsa, ağırlıkların ötesinde o kadar fazla bellek tüketir. Büyük bir modelde on binlerce tokenlık bir bağlam, başka gigabytelar gerektirebilir.
Yazılım
Yerel çıkarım için llama.cpp, Ollama ve vLLM gibi bilinen araçlar vardır. Ollama ve vLLM ayrıca OpenAI formatıyla uyumlu bir uç nokta sunar; bu nedenle bugünkü yerel sunucu kodunuz, iki satır değiştirerek uzak API'ye taşınabilir. Kurulum detayları için her bir projenin belgelerine başvurun.
Model bulma
Düşük ret oranlı açık ağırlıklı modeller çeşitli topluluklar tarafından yayınlanır ancak kalite oldukça tutarsızdır. Bazıları değişiklikten sonra tutarlılığını yitirirken, diğerleri yalnızca belirli bir istem formatıyla iyi yanıt verir. Uygun birini bulana kadar farklı modelleri denemeniz gerekebilir.
API maliyeti, hesaplamalar yapıldığında
Tarife $0,15 / 1M giriş token'ı ve $0,50 / 1M çıkış token'ı şeklindedir; ön ödemeli, abonelik gerektirmez. Başarısız veya reddedilen istekler ücretlendirilmez ve kredi süresi dolmaz. Üç senaryoyu inceleyelim.
- Hafif kullanım. Aylık 2M giriş ve 500.000 çıkış: 2 × $0,15 = $0,30 artı 0,5 × $0,50 = $0,25, toplam $0,55.
- Orta kullanım. Giriş 50M ve çıkış 10M: 50 × $0,15 = $7,50 artı 10 × $0,50 = $5,00, toplam $12,50.
- Yoğun kullanım. Giriş 400M ve çıkış 80M: 400 × $0,15 = $60 artı 80 × $0,50 = $40, toplam $100.
Minimum bakiye yükleme $20'dir; bu nedenle ortalama durumda tek bir yükleme bir aydan fazlasını karşılar. Belirli eşiklerin üzerinde bir bonus vardır: $50'de +%5, $100'de +%10, $200'de +%15. Örneğin $100, $110 krediye dönüşür. Tam fiyat listesi API fiyatlandırma sayfasındadır.
Yerel kullanım için hesaplama daha az doğrudur. GPU fiyatıyla başlayın, bunu tahmin ettiğiniz kullanım aylarına bölün ve elektriği ekleyin: kW cinsinden güç çarpı kullanım saati çarpı faturanızın birim fiyatı. Sonucu gerçekten ürettiğiniz token sayısına bölün; bu milyon başına maliyetinizdir. Kendi sayılarınızla yapın ve $0,50 milyon başı çıkış fiyatıyla karşılaştırın.
Genellikle unutulabilen bakım
Yereli seçen kişi diğer her şeyle de ilgilenir. Güncellemeden sonra bozulan CUDA sürücüleri ve kütüphaneleri, çıkarım motorunun yeni sürümleri, değişen quantizasyon formatları, yeniden indirilmesi gereken modeller. Hizmet başkaları içinse izleme, otomatik yeniden başlatmalar ve GPU'nun dayanabildiğinden fazla istek geldiğinde kuyruk yönetimi ekleyin.
Bunların hiçbiri zor değil, ancak tekrarlayan zaman gerektirir. Zamanınız değerliyse, bunu hesaba katın: Ayda birkaç saat, yukarıda görülen ortalama senaryonun $12,50'sinden daha fazla maliyet oluşturur.
API ile tarafınızdaki bakım, dokümantasyonda açıklanan bir anahtar, bir temel URL ve 429 hata yönetimine indirgenir. Karşılığında sağlayıcıya bağımlı olursunuz: sorun yaşarsa müdahale edemezsiniz.
Ne zaman yerel, ne zaman API
Şu durumlarda yereli seçin:
- zaten uygun bir GPU'nuz varsa ve marjinal maliyet sadece elektrikse;
- sürekli metin üretirsiniz, saatler boyunca, her gün;
- ağ olmadan çalışmanız veya verilerin makinenizden dışarı çıkamaması gerekiyorsa;
- modeli sık sık değiştirmek, ince ayar yapmak veya ağırlıklarla denemek istiyorsunuz.
Şu durumlarda API'yi seçin:
- bugün çalışan bir uç nokta istiyorsanız, hiçbir şey satın almadan;
- kullanımınız dalgalıysa: bir bot, gece çalışan bir betik, bir prototip;
- bellek boyutlandırma yapmadan uzun bir bağlam penceresi (burada 100.000 token) istiyorsanız;
- donanıma düşünmeden 8 eşzamanlı istekle ölçeklemek istiyorsanız.
Çekirdek ekipler her iki yolu da kullanır: API başlangıç ve zirveler için, yerel kullanım sabit yükler için. Format aynı olduğundan, birinden diğerine geçmek uygulamayı yeniden yazmanızı gerektirmez.
Karar vermek için basit bir yöntem
Herhangi bir şey satın almadan önce ölçün. Bir hafta boyunca, yanıtların usage alanından veya aracınızın sayacından elde ederek ne kadar token tükettiğinizi kaydedin. Ardından üç hesap yapın.
- Haftalık giriş tokenlarını 4 ile ve bir milyon başına $0,15 ile çarpın.
- Aynı şeyi yapın çıkış tokenları için de $0,50 ile.
- İki sonucu toplayın ve bunları donanımın aylık taksidi ile elektrik maliyetine karşı karşılaştırın.
API toplamı ayda birkaç on doların altında kalırsa, bunun için GPU satın almak genellikle mantıklı değildir. Aksine, taksidi çok aşarsa, yerel kullanım ilgi çekici hale gelmeye başlar. Özel bir durum gecikmedir: Makinenizde ağdan geçmezsiniz, ancak büyük bir modelle donatılmış ev tipi bir GPU, barındırılan bir hizmetten daha yavaş olabilir. Farklılıklar modele ve istem uzunluğuna bağlı olduğundan, her iki seçeneği de kendi yükünüzde deneyin.
Büyümeyi de göz önünde bulundurun. Bugün az tüketen bir prototip, başkaları tarafından kullanıldığında katlanabilir. API, tam anahtarla eşzamanlı olarak 8 isteğe kadar yönetir; yerelde her ek kullanıcı diğerlerini yavaşlatır, donanım eklemeden önce.
API'yi beş dakikada deneyin
Test etmek için bir anahtar gerekir. Google veya e-posta ve şifre ile kayıt olduktan sonra, anahtar sayfasında $0,50 deneme kredisi talep edebilirsiniz; bu 7 gün geçerlidir ve ödeme yapmanızı gerektirmez. API anahtarını alın adresine gidin. Deneme anahtarının 2 eşzamanlı istek ve dakikada 60 hız limiti vardır.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
Gelecekte uyumlu uç noktalı yerel bir sunucuya geçmek isterseniz, base_url ve model adını değiştirmeniz yeterlidir.
Ne yapmaz
Bu, bağımsız bir sağlayıcı tarafından yönetilen ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde eğitilmiş tek bir açık ağırlıklı modeldir. Büyük bir laboratuvarın resmi API'si değildir; görsel, ses veya video üretmez; embedding veya ince ayar sunmaz. Mutlak bir sınırlama vardır: reşit olmayanları içeren hiçbir cinsel içeriğe izin verilmez. Daha geniş bir genel bakış için Sansürsüz AI sayfasına bakın. İstemler eğitim için kullanılmaz.

