Kluczowe punkty
- Lokalnie płacisz za sprzęt od razu i za konserwację zawsze; przez API płacisz tylko za zużyte tokeny.
- Za $0,15 za 1M tokenów wejściowych i $0,50 za 1M wyjściowych, $20 pokrywa dziesiątki milionów tokenów.
- Lokalnie wygrywa przy intensywnym, ciągłym użyciu, pracy offline i pełnej kontroli nad wagami.
- API wygrywa dla tych, którzy zaczynają dziś, mają mało GPU lub chcą endpoint kompatybilny z OpenAI.
Krótka odpowiedź
Jeśli szukasz llm bez cenzury i nie masz już GPU z dużą ilością pamięci, API jest prawie zawsze najrozsądniejszym punktem wyjścia. Jeśli jednak generujesz tekst przez cały dzień, pracujesz offline lub chcesz wybrać i dostosować wagi, lokalne wdrożenie zwraca inwestycję. Oto porównanie w tabeli.
| Kwestia | Lokalnie | Przez API |
|---|---|---|
| Koszt początkowy | GPU, zasilacz, chłodzenie | Brak, doładuj od $20 |
| Koszt stały | Prąd, zużycie, Twój czas | Tylko zużyte tokeny |
| Czas na start | Godziny lub dni między pobraniem a testami | Kilka minut |
| Wybór modelu | Swobodny, możesz trzymać wiele | Jeden, wybrany przez dostawcę |
| Maksymalny kontekst | Zależy od Twojej pamięci | 100 000 tokenów |
| Działa offline | Tak | Nie |
| Równoległe zapytania | Tyle, ile wytrzyma Twoja GPU | 8 z pełnym kluczem |
Nie ma absolutnie dobrego wyboru. Poniższe sekcje pomogą Ci zrozumieć, po której stronie stoisz.
Co naprawdę jest potrzebne do uruchomienia w domu
Słabym punktem jest pamięć wideo. Wagi modelu muszą zmieścić się w VRAM, w przeciwnym razie trafią do pamięci systemowej, a prędkość spadnie. Jako przybliżony rzęd wielkości: mały model kwantyzowany do 4 bitów zajmuje zwykle kilka gigabajtów, podczas gdy bardzo duży może wymagać ich dziesiątek. Dokładne wartości zależą od modelu i kwantyzacji, więc zawsze sprawdzaj kartę pojedynczego modelu i dokumentację narzędzia.
Dodatkowo pamiętaj o buforze kontekstu: im dłuższa rozmowa, tym więcej pamięci zużywa ona poza wagami. Kontekst rzędu dziesiątek tysięcy tokenów na dużym modelu może wymagać kolejnych gigabajtów.
Oprogramowanie
Dla wnioskowania lokalnego istnieją znane narzędzia takie jak llama.cpp, Ollama i vLLM. Ollama i vLLM udostępniają również endpoint kompatybilny z formatem OpenAI, więc kod, który piszesz dziś dla serwera lokalnego, przeniesiesz na zdalne API, zmieniając dwie linie. Szczegóły instalacji znajdziesz w dokumentacji każdego projektu.
Znalezienie modelu
Modele o otwartych wagach z mniejszą liczbą odmów są publikowane przez różne społeczności, ale jakość jest bardzo zróżnicowana. Niektóre tracą spójność po modyfikacji, inne dobrze odpowiadają tylko przy precyzyjnym formacie promptu. Spodziewaj się przetestowania kilku z nich, zanim znajdziesz odpowiedni.
Ile kosztuje API, z obliczeniami
Stawka to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, w przedpłaconym kredycie, bez subskrypcji. Nieudane lub odrzucone zapytania nie są rozliczane, a kredyt nie wygasa. Zobaczmy trzy scenariusze.
- Lekkie użycie. 2M tokenów wejściowych i 500 000 wyjściowych miesięcznie: 2 × $0,15 = $0,30 plus 0,5 × $0,50 = $0,25, razem $0,55.
- Średnie użycie. 50M wejściowych i 10M wyjściowych: 50 × $0,15 = $7,50 plus 10 × $0,50 = $5,00, razem $12,50.
- Ciężkie użycie. 400M wejściowych i 80M wyjściowych: 400 × $0,15 = $60 plus 80 × $0,50 = $40, razem $100.
Minimalne doładowanie to $20, więc w przypadku średniego użycia jedna wpłata pokrywa więcej niż miesiąc. Powyżej pewnych progów jest bonus: +5% od $50, +10% od $100, +15% od $200. Na przykład $100 zamienia się w $110 kredytu. Pełny cennik jest na stronie cen API.
Dla lokalnego wdrożenia rachunek jest mniej bezpośredni. Zacznij od ceny GPU, podziel ją przez miesiące, przez które planujesz jej używanie, i dodaj prąd: moc w kW razy godziny użytkowania razy cena z Twojej umowy z dostawcą prądu. Wynik, podzielony przez tokeny, które faktycznie generujesz, to Twój koszt za milion. Oblicz to na swoich liczbach i porównaj z $0,50 za milion tokenów wyjściowych.
Konserwacja, o której się zwykle zapomina
Kto wybiera lokalne rozwiązanie, zajmuje się też wszystkim innym. Sterowniki i biblioteki CUDA, które psują się po aktualizacji, nowe wersje silnika wnioskowania, zmieniające się formaty kwantyzacji, modele do ponownego pobrania. Jeśli usługa służy innym osobom, dodaj monitoring, automatyczne restarty i zarządzanie kolejką, gdy przyjdzie więcej zapytań, niż wytrzyma GPU.
Nic z tego nie jest trudne, ale wymaga regularnego czasu. Jeśli Twój czas ma wartość, policz go: kilka godzin miesięcznie waży więcej niż $12,50 ze średniego scenariusza opisanego wyżej.
Dzięki API konserwacja po Twojej stronie sprowadza się do jednego klucza, bazowego URL i obsługi błędów 429, opisanej w dokumentacji. W zamian zależysz od dostawcy: jeśli on ma problem, nie możesz nic z tym zrobić.
Kiedy wybrać lokalnie, a kiedy API
Wybierz lokalnie, jeśli
- masz już odpowiednią kartę GPU, a koszt marginalny to tylko prąd;
- generujesz tekst nieprzerwanie, przez godziny, każdego dnia;
- musisz pracować bez internetu lub z danymi, które nie mogą opuścić Twojego komputera;
- chcesz często zmieniać model, robić fine-tuning lub eksperymentować z wagami.
Wybierz API, jeśli
- chcesz endpointu działającego już dziś, bez kupowania czegokolwiek;
- Twoje użycie jest szczytowe: bot, skrypt nocny, prototyp;
- potrzebujesz długiego kontekstu (tutaj 100 000 tokenów) bez konieczności dobierania pamięci;
- chcesz skalować do 8 żądań równoległych bez myślenia o sprzęcie.
Wiele zespołów używa obu dróg: API na start i na szczyty, lokalnego wdrożenia na stałe obciążenie. Ponieważ format jest ten sam, przejście z jednego rozwiązania na drugie nie wymaga przepisywania aplikacji.
Prosta metoda decyzyjna
Przed zakupem czegokolwiek zmierz. Przez tydzień rejestruj, ile tokenów zużywasz, wyciągając je z pola usage w odpowiedziach lub z licznika Twojego narzędzia. Potem zrób trzy proste obliczenia.
- Pomnóż tygodniowe tokeny wejściowe przez 4 i przez $0,15 podzielone przez milion.
- Zrób to samo z tokenami wyjściowymi i $0,50.
- Zsumuj oba wyniki i porównaj z miesięczną ratą sprzętu plus prąd.
Jeśli suma kosztów API pozostaje poniżej kilkudziesięciu dolarów miesięcznie, kupno GPU tylko dla tego rzadko ma sens. Jeśli jednak znacznie przekracza ratę, lokalne wdrożenie zaczyna być interesujące. Osobnym przypadkiem jest opóźnienie: na Twojej maszynie nie przechodzisz przez sieć, ale domowa GPU z dużym modelem może być wolniejsza niż usługa hostowana. Przetestuj oba na swoim obciążeniu, ponieważ różnice zależą od modelu i długości promptów.
Pamiętaj też o wzroście. Prototyp, który dziś zużywa mało, może mnożyć zużycie, gdy będą z niego korzystać inni. API obsługuje do 8 żądań współbieżnych z pełnym kluczem, podczas gdy w lokalnym wdrożeniu każdy dodatkowy użytkownik spowalnia pozostałych, dopóki nie dodasz sprzętu.
Wypróbuj API w pięć minut
Do testów potrzebny jest klucz. Po rejestracji przez Google lub e-mail i hasło, na stronie klucza możesz jednym kliknięciem poprosić o $0,50 kredytu próbnego, ważnego przez 7 dni i bez konieczności płacenia. Przejdź do uzyskania klucza API. Klucz próbny ma limit 2 żądań współbieżnych i 60 na minutę.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
Jeśli w przyszłości chcesz przenieść się na lokalny serwer z kompatybilnym endpointem, wystarczy zmienić base_url i nazwę modelu.
Czego to nie robi
To jeden model o otwartych wagach, zarządzany przez niezależnego dostawcę i wytrenowany do odpowiadania bez filtrów treści dla legalnego użytku dorosłego. To nie jest oficjalne API żadnego dużego laboratorium, nie generuje obrazów, dźwięku ani wideo i nie oferuje embeddingów ani fine-tuningu. Pozostaje jedno bezwzględne ograniczenie: żadnych treści seksualnych z udziałem nieletnich. Szerszy przegląd znajdziesz na stronie AI bez cenzury. Prompty nie są używane do trenowania.

