HI ▾

बिना सेंसर LLM: स्थानीय या API, क्या चुनें

एक बिना सेंसर LLM को अपने पीसी पर स्थानीय रूप से चलाया जा सकता है या API के माध्यम से कॉल किया जा सकता है। यहाँ दोनों रास्तों के लिए हार्डवेयर, लागत और रखरखाव, सत्यापित संख्याओं के साथ पाए जाएँगे।

LLM बिना सेंसर: उपलब्ध विकल्पों का विश्लेषण

अद्यतन:

आइसोमेट्रिक तराजू: एक ओर स्थानीय GPU वाली वर्कस्टेशन, दूसरी ओर केबल के माध्यम से जुड़ा क्लाउड सर्वर।

मुख्य बिंदु

  • स्थानीय रूप से आप हार्डवेयर के लिए तुरंत भुगतान करते हैं और हमेशा रखरखाव; API के साथ आप केवल उपयोग किए गए टोकन के लिए भुगतान करते हैं।
  • $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन पर, $20 करोड़ों टोकन कवर करते हैं।
  • लोकल निरंतर तीव्र उपयोग, ऑफ़लाइन कार्य और वेट्स पर पूर्ण नियंत्रण के लिए बेहतर है।
  • API उन लोगों के लिए बेहतर है जो आज शुरू कर रहे हैं, जिनके पास कम GPU है या वे OpenAI संगत एंडपॉइंट चाहते हैं।

संक्षिप्त उत्तर

यदि आप एक बिना सेंसर LLM खोज रहे हैं और आपके पास बड़ी मेमोरी वाली GPU नहीं है, तो API लगभग हमेशा सबसे तार्किक शुरुआत बिंदु है। यदि आप दिन भर टेक्स्ट जनरेट करते हैं, ऑफ़लाइन काम करते हैं या मॉडल वेट्स चुनना और संशोधित करना चाहते हैं, तो लोकल निवेश को सफल बनाता है। यहाँ तुलना तालिका दी गई है।

दिखावटलोकल परAPI के माध्यम से
प्रारंभिक लागतGPU, पावर सप्लाई, कूलिंगकोई नहीं, $20 टॉप-अप
पुनरावृत्त लागतबिजली, घिसाव, आपका समयकेवल उपयोग किए गए टोकन
शुरू करने में समयडाउनलोड और परीक्षण के बीच घंटे या दिनकुछ मिनट
मॉडल चयनस्वतंत्र, आप कई रख सकते हैंएक ही, प्रोवाइडर द्वारा चुना गया
अधिकतम संदर्भआपके पास जो मेमोरी है उस पर निर्भर करता है100,000 टोकन
ऑफ़लाइन काम करता हैहाँनहीं
समानांतर अनुरोधजो आपकी GPU सहन कर सकती हैपूर्ण API कुंजी के साथ 8

कोई एकदम सही विकल्प नहीं है। नीचे दिए गए खंड आपको यह समझने में मदद करते हैं कि आप किस दिशा में जा रहे हैं।

इसे घर पर चलाने के लिए वास्तव में क्या चाहिए

गति का बंधन वीडियो मेमोरी है। मॉडल के वेट VRAM में फिट होने चाहिए, वरना वे सिस्टम RAM में चले जाएंगे और गति गिर जाएगी। एक अनुमानित आकार के रूप में, 4-बिट क्वान्टाइज्ड एक छोटा मॉडल आमतौर पर कुछ गिगाबाइट लेता है, जबकि एक बहुत बड़ा मॉडल कई दहाई गिगाबाइट मांग सकता है। सटीक मान मॉडल और क्वान्टाइजेशन पर निर्भर करते हैं, इसलिए हमेशा अकेले मॉडल की शीट और टूल की दस्तावेज़ीकरण जांचें।

इसके अलावा कॉन्टेक्स्ट विंडो कैश जोड़ता है: जितनी लंबी बातचीत होगी, उतनी ही अधिक मेमोरी वजन के अलावा खपत होगी। एक बड़े मॉडल पर टोकन के दसियों हज़ार के कॉन्टेक्स्ट के लिए अन्य गिगाबाइट की आवश्यकता हो सकती है।

सॉफ़्टवेयर

स्थानीय इनफरेंस के लिए llama.cpp, Ollama और vLLM जैसे जाने-माने टूल मौजूद हैं। Ollama और vLLM OpenAI फॉर्मेट के संगत एंडपॉइंट भी एक्सपोज़ करते हैं, इसलिए आज आप जो कोड लिखते हैं वह एक रिमोट API पर दो लाइन बदलकर चला जाता है। इंस्टॉलेशन के विवरण के लिए प्रत्येक प्रोजेक्ट की दस्तावेज़ीकरण देखें।

मॉडल खोजना

ओपन-वेट मॉडल कम इनकार वाले विभिन्न समुदायों द्वारा जारी किए जाते हैं, लेकिन गुणवत्ता बहुत असमान होती है। कुछ संशोधन के बाद असंगत हो जाते हैं, कुछ केवल एक सटीक प्रॉम्प्ट फॉर्मेट के साथ अच्छा जवाब देते हैं। एक उपयुक्त मिलने से पहले कई की कोशिश करने की उम्मीद करें।

API की लागत, हिसाब-किताब के साथ

दर $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, प्रीपेड क्रेडिट के रूप में, सब्सक्रिप्शन के बिना। विफल या अस्वीकृत अनुरोधों पर चार्ज नहीं होता और क्रेडिट नहीं खत्म होता। तीन परिदृश्यों पर नज़र डालें।

  • हल्का उपयोग। मासिक 2M इनपुट टोकन और 500.000 आउटपुट टोकन: 2 × $0.15 = $0.30 प्लस 0.5 × $0.50 = $0.25, कुल $0.55।
  • मध्यम उपयोग। 50M इनपुट और 10M आउटपुट: 50 × $0.15 = $7.50 प्लस 10 × $0.50 = $5.00, कुल $12.50।
  • भारी उपयोग। 400M इनपुट और 80M आउटपुट: 400 × $0.15 = $60 प्लस 80 × $0.50 = $40, कुल $100।

न्यूनतम टॉप-अप $20 है, इसलिए औसत मामले में एक ही जमा एक महीने से अधिक कवर करता है। कुछ सीमाओं से ऊपर बोनस है: $50 पर +5%, $100 पर +10%, $200 पर +15%। उदाहरण के लिए, $100 $110 क्रेडिट बन जाते हैं। पूर्ण टैरिफ शीट API मूल्य पेज पर है।

स्थानीय के लिए गणना कम सीधी है। GPU के मूल्य से शुरू करें, इसे उन महीनों में विभाजित करें जिनके लिए आप इसे उपयोग करने की योजना बना रहे हैं और बिजली जोड़ें: kW में पावर × उपयोग घंटे × आपके कनेक्शन की दर। परिणाम, जिसे आप वास्तव में जनरेट किए गए टोकन से विभाजित करें, प्रति मिलियन आपका लागत है। अपने नंबर से इसे करें और $0.50 प्रति मिलियन आउटपुट से तुलना करें।

रखरखाव जो आमतौर पर भुला दी जाती है

जो लोकल चुनता है उसे बाकी सब कुछ भी संभालना होता है। अपडेट के बाद टूटने वाले ड्राइवर और CUDA लाइब्रेरी, इनफरेंस इंजन के नए संस्करण, बदलते क्वांटाइजेशन फॉर्मेट, मॉडल को फिर से डाउनलोड करना। यदि सेवा अन्य लोगों के लिए है, तो मॉनिटरिंग, स्वचालित रीबूट और क्यू मैनेजमेंट जोड़ें जब GPU से अधिक अनुरोध आते हैं।

इनमें से कोई भी कठिन नहीं है, लेकिन इसमें समय लगता है। यदि आपका समय कुछ मूल्यवान है, तो इसे गणना में डालें: महीने में कुछ घंटे ऊपर दिए गए औसत परिदृश्य के $12.50 से अधिक वजन करते हैं।

API के साथ आपके पक्ष पर रखरखाव एक कुंजी, एक Base URL और दस्तावेज़ीकरण में वर्णित 429 त्रुटि प्रबंधन में कम हो जाता है। बदले में आप प्रदाता पर निर्भर हैं: यदि उसकी कोई समस्या है, तो आप हस्तक्षेप नहीं कर सकते।

लोकल कब बेहतर है और कब API

लोकल चुनें यदि

  • आपके पास पहले से एक उपयुक्त GPU है और सीमांत लागत केवल बिजली है;
  • आप निरंतर टेक्स्ट जनरेट करते हैं, घंटों, हर दिन;
  • आपको बिना नेटवर्क या ऐसे डेटा के काम करना है जो आपकी मशीन से बाहर नहीं जा सकता;
  • आप अक्सर मॉडल बदलना चाहते हैं, फ़ाइन-ट्यूनिंग करना चाहते हैं या वेट्स के साथ प्रयोग करना चाहते हैं।

API चुनें यदि

  • आपको आज एक एंडपॉइंट चाहिए, कुछ भी खरीदे बिना;
  • आपका उपयोग picchi में है: एक बॉट, एक रात का स्क्रिप्ट, एक प्रोटोटाइप;
  • आपको लंबे कॉन्टेक्स्ट विंडो (यहाँ 100.000 टोकन) की आवश्यकता है बिना मेमोरी स्केल करने के;
  • आप 8 समानांतर अनुरोधों पर स्केल करना चाहते हैं बिना हार्डवेयर के बारे में सोचे।

अनेक टीमें दोनों तरीकों का उपयोग करती हैं: शुरुआत और पीक (peak) के लिए API, और स्थिर लोड के लिए स्थानीय। चूंकि फॉर्मेट समान है, एक से दूसरे में जाने के लिए एप्लिकेशन को फिर से लिखने की आवश्यकता नहीं है।

निर्णय लेने का एक सरल तरीका

कुछ भी खरीदने से पहले, मापें। एक सप्ताह के लिए, प्रतिक्रियाओं के usage फ़ील्ड या अपने टूल के काउंटर से टोकन की खपत को रिकॉर्ड करें। फिर तीन गणनाएं करें।

  1. साप्ताहिक इनपुट टोकन को 4 और $0.15 प्रति मिलियन से गुणा करें।
  2. आउटपुट टोकन के लिए वही करें और $0.50।
  3. दोनों परिणामों को जोड़ें और हार्डवेयर के मासिक किश्त और बिजली के साथ तुलना करें।

यदि API का योग महीने में कुछ दहाई डॉलर से कम रहता है, तो केवल इसके लिए GPU खरीदना कम ही समझ में आता है। यदि यह EMI से बहुत अधिक है, तो स्थानीय दिलचस्प बनना शुरू हो जाता है। एक अलग मामला लेटेंसी है: आपकी मशीन पर आप नेटवर्क से नहीं गुजरते, लेकिन एक बड़े मॉडल के साथ एक होम GPU होस्टेड सेवा की तुलना में धीमी हो सकती है। अपने लोड पर दोनों को आजमाएं, क्योंकि अंतर मॉडल और प्रॉम्प्ट की लंबाई पर निर्भर करते हैं।

विकास की भी परवाह करें। एक प्रोटोटाइप जो आज कम खपत करता है, जब अन्य लोग इसे उपयोग करते हैं तो गुणा हो सकता है। API पूर्ण कुंजी के साथ 8 समानांतर अनुरोधों को संभालता है, जबकि स्थानीय में हर अतिरिक्त उपयोगकर्ता अन्य सभी को धीमा कर देता है जब तक कि आप हार्डवेयर न जोड़ें।

API को पांच मिनट में आजमाएं

परीक्षण के लिए एक कुंजी की आवश्यकता है। Google या ईमेल और पासवर्ड से साइन इन करने के बाद, कुंजी पेज पर आप एक क्लिक $0.50 ट्रायल क्रेडिट मांग सकते हैं, जो 7 दिनों के लिए मान्य है और भुगतान करने की आवश्यकता नहीं है। API कुंजी प्राप्त करें पर जाएं। परीक्षण कुंजी में 2 समानांतर अनुरोध और प्रति मिनट 60 की सीमा है।

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

यदि भविष्य में आप एक एंडपॉइंट-संगत स्थानीय सर्वर पर जाना चाहते हैं, तो केवल base_url और मॉडल का नाम बदलने की आवश्यकता होगी।

यह क्या नहीं करता

यह एक ओपन-वेट मॉडल है, एक स्वतंत्र प्रदाता द्वारा प्रबंधित और वयस्कों के लिए उचित उपयोग के लिए बिना सेंसर जवाब देने के लिए प्रशिक्षित। यह किसी बड़े लैब की आधिकारिक API नहीं है, यह छवि, ऑडियो या वीडियो जनरेट नहीं करता है और न ही एम्बेडिंग या फ़ाइन-ट्यूनिंग प्रदान करता है। एक निरंतर सीमा है: नाबालिगों से जुड़ी यौन सामग्री नहीं। अधिक विस्तार के लिए बिना सेंसर AI पृष्ठ देखें। प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।

अन्य गाइड

सवाल-जवाब

क्या एक स्थानीय LLM वास्तव में अधिक निजी है?

स्थानीय रूप से डेटा आपकी मशीन पर ही रहता है, इसलिए हाँ, बशर्ते आप उसे सुरक्षित रखें। API के साथ प्रॉम्प्ट प्रदाता की ओर यात्रा करते हैं; यहाँ उन्हें प्रशिक्षण के लिए उपयोग नहीं किया जाता है।

$20 में मैं कितने टोकन का उपयोग कर सकता हूँ?

यदि सब कुछ इनपुट होता, तो 133,3 मिलियन टोकन ($20 को $0.15 प्रति मिलियन से विभाजित करें)। यदि सब कुछ आउटपुट होता, तो 40 मिलियन ($20 को $0.50 से विभाजित करें)। व्यावहारिक रूप से यह बीच में होता है, दोनों के अनुपात के आधार पर।

क्या मैं अपना मौजूदा OpenAI कोड उपयोग कर सकता हूँ?

हाँ। API OpenAI SDKs के साथ संगत है: आप Base URL और कुंजी बदलते हैं और uncensored मॉडल का उपयोग करते हैं। पूर्ण चैट समापन, प्रतिक्रियाएँ, स्ट्रीमिंग और फ़ंक्शन कॉलिंग समर्थित हैं।

क्या स्थानीय और API के बीच संदर्भ समान है?

नहीं। API के माध्यम से सीमा 100.000 टोकन प्रॉम्प्ट और उत्तर के बीच है। स्थानीय मॉडल और आपकी GPU की मेमोरी पर निर्भर करता है, क्योंकि कॉन्टेक्स्ट विंडो लंबाई के साथ बढ़ती है।

आपकी कुंजी एक फॉर्म की दूरी पर है

एक खाता बनाएँ, कुंजी कॉपी करें, Base URL संपादित करें। कॉन्फ़िगरेशन यहीं समाप्त होता है।