TR ▾

Sansürsüz LLM: Yerelde mi yoksa API üzerinden mi, hangisini seçmeli

Bir sansürsüz LLM'i kendi PC'nizde çalıştırabilir veya API üzerinden çağırabilirsiniz. Burada donanım, maliyetler ve bakım detaylarını, doğrulanabilir sayılarla bulacaksınız.

Sansürsüz Yapay Zeka: Mevcut Seçeneklerin Analizi

Güncelleme:

Denge terazisi: Bir yanda yerel GPU'lu bir iş istasyonu, diğer yanda kablo ile bağlantılı bir bulut sunucusu.

Anahtar noktalar

  • Yerelde donanımı hemen ödersiniz ve bakımı sürekli yaparsınız; API üzerinden sadece kullanılan tokenlar için ödeme yaparsınız.
  • Giriş için 1M token başına $0,15 ve çıkış için 1M token başına $0,50 ile $20, on milyonlarca tokenı karşılar.
  • Yoğun ve sürekli kullanım, çevrim dışı çalışma ve ağırlıklar üzerinde tam kontrol için yerel çözüm öne çıkar.
  • API, bugün başlayanlar, az GPU'su olanlar veya OpenAI uyumlu bir uç nokta arayanlar için öne çıkar.

Kısa cevap

Bir sansürsüz LLM arıyorsanız ve halihazırda yüksek bellekli bir GPU'nuz yoksa, API neredeyse her zaman en mantıklı başlangıç noktasıdır. Ancak gün boyu metin üretiyorsanız, çevrim dışı çalışıyorsanız veya ağırlıkları seçip değiştirmek istiyorsanız yerel çözüm yatırıma değer. İşte karşılaştırma tablosu.

KriterYerelAPI üzerinden
Başlangıç maliyetiGPU, güç kaynağı, soğutmaYok, $20'den başlayan yüklemeler
Sürekli maliyetElektrik, aşınma, sizin zamanınızSadece kullanılan tokenlar
Başlamak için geçen süreİndirme ve testler arasında saatler veya günlerDakikalar
Model seçimiSerbest, birçoğunu tutabilirsinizTek bir model, sağlayıcı tarafından seçilir
Maksimum bağlamSahip olduğunuz belleğe bağlıdır100.000 token
Çevrim dışı çalışırEvetHayır
Eşzamanlı isteklerGPU'nuzun kaldırabildiği kadarTam anahtarla 8

Mutlak olarak doğru bir seçim yoktur. Aşağıdaki bölümler hangi tarafta olduğunuzu anlamanıza yardımcı olur.

Bunu evde çalıştırmak için gerçekten ne gerekir

Darboğaz video belleğidir. Bir modelin ağırlıkları VRAM'e sığmalıdır; aksi takdirde sistem RAM'ine geçer ve hız düşer. Yaklaşık bir büyüklük sırası olarak, 4 bit quantizasyonlu küçük bir model genellikle birkaç gigabyte yer kaplarken, çok büyük bir model onlarca gigabyte gerektirebilir. Kesin değerler modele ve quantizasyona bağlıdır; bu nedenle her zaman tekil model kartını ve aracın belgelerini kontrol edin.

Buna bağlam önbelleği eklenir: konuşma ne kadar uzunsa, ağırlıkların ötesinde o kadar fazla bellek tüketir. Büyük bir modelde on binlerce tokenlık bir bağlam, başka gigabytelar gerektirebilir.

Yazılım

Yerel çıkarım için llama.cpp, Ollama ve vLLM gibi bilinen araçlar vardır. Ollama ve vLLM ayrıca OpenAI formatıyla uyumlu bir uç nokta sunar; bu nedenle bugünkü yerel sunucu kodunuz, iki satır değiştirerek uzak API'ye taşınabilir. Kurulum detayları için her bir projenin belgelerine başvurun.

Model bulma

Düşük ret oranlı açık ağırlıklı modeller çeşitli topluluklar tarafından yayınlanır ancak kalite oldukça tutarsızdır. Bazıları değişiklikten sonra tutarlılığını yitirirken, diğerleri yalnızca belirli bir istem formatıyla iyi yanıt verir. Uygun birini bulana kadar farklı modelleri denemeniz gerekebilir.

API maliyeti, hesaplamalar yapıldığında

Tarife $0,15 / 1M giriş token'ı ve $0,50 / 1M çıkış token'ı şeklindedir; ön ödemeli, abonelik gerektirmez. Başarısız veya reddedilen istekler ücretlendirilmez ve kredi süresi dolmaz. Üç senaryoyu inceleyelim.

  • Hafif kullanım. Aylık 2M giriş ve 500.000 çıkış: 2 × $0,15 = $0,30 artı 0,5 × $0,50 = $0,25, toplam $0,55.
  • Orta kullanım. Giriş 50M ve çıkış 10M: 50 × $0,15 = $7,50 artı 10 × $0,50 = $5,00, toplam $12,50.
  • Yoğun kullanım. Giriş 400M ve çıkış 80M: 400 × $0,15 = $60 artı 80 × $0,50 = $40, toplam $100.

Minimum bakiye yükleme $20'dir; bu nedenle ortalama durumda tek bir yükleme bir aydan fazlasını karşılar. Belirli eşiklerin üzerinde bir bonus vardır: $50'de +%5, $100'de +%10, $200'de +%15. Örneğin $100, $110 krediye dönüşür. Tam fiyat listesi API fiyatlandırma sayfasındadır.

Yerel kullanım için hesaplama daha az doğrudur. GPU fiyatıyla başlayın, bunu tahmin ettiğiniz kullanım aylarına bölün ve elektriği ekleyin: kW cinsinden güç çarpı kullanım saati çarpı faturanızın birim fiyatı. Sonucu gerçekten ürettiğiniz token sayısına bölün; bu milyon başına maliyetinizdir. Kendi sayılarınızla yapın ve $0,50 milyon başı çıkış fiyatıyla karşılaştırın.

Genellikle unutulabilen bakım

Yereli seçen kişi diğer her şeyle de ilgilenir. Güncellemeden sonra bozulan CUDA sürücüleri ve kütüphaneleri, çıkarım motorunun yeni sürümleri, değişen quantizasyon formatları, yeniden indirilmesi gereken modeller. Hizmet başkaları içinse izleme, otomatik yeniden başlatmalar ve GPU'nun dayanabildiğinden fazla istek geldiğinde kuyruk yönetimi ekleyin.

Bunların hiçbiri zor değil, ancak tekrarlayan zaman gerektirir. Zamanınız değerliyse, bunu hesaba katın: Ayda birkaç saat, yukarıda görülen ortalama senaryonun $12,50'sinden daha fazla maliyet oluşturur.

API ile tarafınızdaki bakım, dokümantasyonda açıklanan bir anahtar, bir temel URL ve 429 hata yönetimine indirgenir. Karşılığında sağlayıcıya bağımlı olursunuz: sorun yaşarsa müdahale edemezsiniz.

Ne zaman yerel, ne zaman API

Şu durumlarda yereli seçin:

  • zaten uygun bir GPU'nuz varsa ve marjinal maliyet sadece elektrikse;
  • sürekli metin üretirsiniz, saatler boyunca, her gün;
  • ağ olmadan çalışmanız veya verilerin makinenizden dışarı çıkamaması gerekiyorsa;
  • modeli sık sık değiştirmek, ince ayar yapmak veya ağırlıklarla denemek istiyorsunuz.

Şu durumlarda API'yi seçin:

  • bugün çalışan bir uç nokta istiyorsanız, hiçbir şey satın almadan;
  • kullanımınız dalgalıysa: bir bot, gece çalışan bir betik, bir prototip;
  • bellek boyutlandırma yapmadan uzun bir bağlam penceresi (burada 100.000 token) istiyorsanız;
  • donanıma düşünmeden 8 eşzamanlı istekle ölçeklemek istiyorsanız.

Çekirdek ekipler her iki yolu da kullanır: API başlangıç ve zirveler için, yerel kullanım sabit yükler için. Format aynı olduğundan, birinden diğerine geçmek uygulamayı yeniden yazmanızı gerektirmez.

Karar vermek için basit bir yöntem

Herhangi bir şey satın almadan önce ölçün. Bir hafta boyunca, yanıtların usage alanından veya aracınızın sayacından elde ederek ne kadar token tükettiğinizi kaydedin. Ardından üç hesap yapın.

  1. Haftalık giriş tokenlarını 4 ile ve bir milyon başına $0,15 ile çarpın.
  2. Aynı şeyi yapın çıkış tokenları için de $0,50 ile.
  3. İki sonucu toplayın ve bunları donanımın aylık taksidi ile elektrik maliyetine karşı karşılaştırın.

API toplamı ayda birkaç on doların altında kalırsa, bunun için GPU satın almak genellikle mantıklı değildir. Aksine, taksidi çok aşarsa, yerel kullanım ilgi çekici hale gelmeye başlar. Özel bir durum gecikmedir: Makinenizde ağdan geçmezsiniz, ancak büyük bir modelle donatılmış ev tipi bir GPU, barındırılan bir hizmetten daha yavaş olabilir. Farklılıklar modele ve istem uzunluğuna bağlı olduğundan, her iki seçeneği de kendi yükünüzde deneyin.

Büyümeyi de göz önünde bulundurun. Bugün az tüketen bir prototip, başkaları tarafından kullanıldığında katlanabilir. API, tam anahtarla eşzamanlı olarak 8 isteğe kadar yönetir; yerelde her ek kullanıcı diğerlerini yavaşlatır, donanım eklemeden önce.

API'yi beş dakikada deneyin

Test etmek için bir anahtar gerekir. Google veya e-posta ve şifre ile kayıt olduktan sonra, anahtar sayfasında $0,50 deneme kredisi talep edebilirsiniz; bu 7 gün geçerlidir ve ödeme yapmanızı gerektirmez. API anahtarını alın adresine gidin. Deneme anahtarının 2 eşzamanlı istek ve dakikada 60 hız limiti vardır.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

Gelecekte uyumlu uç noktalı yerel bir sunucuya geçmek isterseniz, base_url ve model adını değiştirmeniz yeterlidir.

Ne yapmaz

Bu, bağımsız bir sağlayıcı tarafından yönetilen ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde eğitilmiş tek bir açık ağırlıklı modeldir. Büyük bir laboratuvarın resmi API'si değildir; görsel, ses veya video üretmez; embedding veya ince ayar sunmaz. Mutlak bir sınırlama vardır: reşit olmayanları içeren hiçbir cinsel içeriğe izin verilmez. Daha geniş bir genel bakış için Sansürsüz AI sayfasına bakın. İstemler eğitim için kullanılmaz.

Diğer kılavuzlar

Sıkça sorulan sorular

Yerel bir LLM gerçekten daha özel mi?

Yerel kullanımda veriler makinenizde kalır, yani evet, koruduğunuz sürece. API ile istemler sağlayıcıya gider; burada eğitim için kullanılmazlar.

$20 ile kaç token kullanabilirim?

Her şey giriş ise, 133,3 milyon token ($20 / milyon başına $0,15). Her şey çıkış ise, 40 milyon ($20 / milyon başına $0,50). Pratikte ortada kalır, bunların oranına bağlı olarak.

Zaten sahip olduğum OpenAI kodunu kullanabilir miyim?

Evet. API OpenAI SDK'ları ile uyumludur: Base URL ve anahtarı değiştirirsiniz ve uncensored modelini kullanırsınız. Tam sohbetler, yanıtlar, akış ve fonksiyon çağırma desteklenir.

Bağlam aynı mı yerelde ve API üzerinden?

Hayır. API üzerinden limit, istem ve yanıt arasında 100.000 token'dır. Yerelde bu model ve GPU'nuzun belleğine bağlıdır, çünkü bağlam önbelleği uzunlukla büyür.

Anahtarınız bir tıkla ulaşılabilir

Bir hesap oluşturun, anahtarı kopyalayın, Base URL'yi düzenleyin. Konfigürasyon bu kadar.