PL ▾

LLM bez cenzury: lokalnie czy przez API, co wybrać

LLM bez cenzury można uruchomić na własnym komputerze lub wywołać przez API. Tutaj znajdziesz wymagania sprzętowe, koszty i aspekty konserwacyjne obu dróg, z weryfikowalnymi danymi.

LLM Bez Cenzury: Analiza Dostępnych Opcji

Zaktualizowano:

Waga równoważna: po jednej stronie stacja robocza z lokalną GPU, po drugiej serwer chmurowy połączony kablem.

Kluczowe punkty

  • Lokalnie płacisz za sprzęt od razu i za konserwację zawsze; przez API płacisz tylko za zużyte tokeny.
  • Za $0,15 za 1M tokenów wejściowych i $0,50 za 1M wyjściowych, $20 pokrywa dziesiątki milionów tokenów.
  • Lokalnie wygrywa przy intensywnym, ciągłym użyciu, pracy offline i pełnej kontroli nad wagami.
  • API wygrywa dla tych, którzy zaczynają dziś, mają mało GPU lub chcą endpoint kompatybilny z OpenAI.

Krótka odpowiedź

Jeśli szukasz llm bez cenzury i nie masz już GPU z dużą ilością pamięci, API jest prawie zawsze najrozsądniejszym punktem wyjścia. Jeśli jednak generujesz tekst przez cały dzień, pracujesz offline lub chcesz wybrać i dostosować wagi, lokalne wdrożenie zwraca inwestycję. Oto porównanie w tabeli.

KwestiaLokalniePrzez API
Koszt początkowyGPU, zasilacz, chłodzenieBrak, doładuj od $20
Koszt stałyPrąd, zużycie, Twój czasTylko zużyte tokeny
Czas na startGodziny lub dni między pobraniem a testamiKilka minut
Wybór modeluSwobodny, możesz trzymać wieleJeden, wybrany przez dostawcę
Maksymalny kontekstZależy od Twojej pamięci100 000 tokenów
Działa offlineTakNie
Równoległe zapytaniaTyle, ile wytrzyma Twoja GPU8 z pełnym kluczem

Nie ma absolutnie dobrego wyboru. Poniższe sekcje pomogą Ci zrozumieć, po której stronie stoisz.

Co naprawdę jest potrzebne do uruchomienia w domu

Słabym punktem jest pamięć wideo. Wagi modelu muszą zmieścić się w VRAM, w przeciwnym razie trafią do pamięci systemowej, a prędkość spadnie. Jako przybliżony rzęd wielkości: mały model kwantyzowany do 4 bitów zajmuje zwykle kilka gigabajtów, podczas gdy bardzo duży może wymagać ich dziesiątek. Dokładne wartości zależą od modelu i kwantyzacji, więc zawsze sprawdzaj kartę pojedynczego modelu i dokumentację narzędzia.

Dodatkowo pamiętaj o buforze kontekstu: im dłuższa rozmowa, tym więcej pamięci zużywa ona poza wagami. Kontekst rzędu dziesiątek tysięcy tokenów na dużym modelu może wymagać kolejnych gigabajtów.

Oprogramowanie

Dla wnioskowania lokalnego istnieją znane narzędzia takie jak llama.cpp, Ollama i vLLM. Ollama i vLLM udostępniają również endpoint kompatybilny z formatem OpenAI, więc kod, który piszesz dziś dla serwera lokalnego, przeniesiesz na zdalne API, zmieniając dwie linie. Szczegóły instalacji znajdziesz w dokumentacji każdego projektu.

Znalezienie modelu

Modele o otwartych wagach z mniejszą liczbą odmów są publikowane przez różne społeczności, ale jakość jest bardzo zróżnicowana. Niektóre tracą spójność po modyfikacji, inne dobrze odpowiadają tylko przy precyzyjnym formacie promptu. Spodziewaj się przetestowania kilku z nich, zanim znajdziesz odpowiedni.

Ile kosztuje API, z obliczeniami

Stawka to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, w przedpłaconym kredycie, bez subskrypcji. Nieudane lub odrzucone zapytania nie są rozliczane, a kredyt nie wygasa. Zobaczmy trzy scenariusze.

  • Lekkie użycie. 2M tokenów wejściowych i 500 000 wyjściowych miesięcznie: 2 × $0,15 = $0,30 plus 0,5 × $0,50 = $0,25, razem $0,55.
  • Średnie użycie. 50M wejściowych i 10M wyjściowych: 50 × $0,15 = $7,50 plus 10 × $0,50 = $5,00, razem $12,50.
  • Ciężkie użycie. 400M wejściowych i 80M wyjściowych: 400 × $0,15 = $60 plus 80 × $0,50 = $40, razem $100.

Minimalne doładowanie to $20, więc w przypadku średniego użycia jedna wpłata pokrywa więcej niż miesiąc. Powyżej pewnych progów jest bonus: +5% od $50, +10% od $100, +15% od $200. Na przykład $100 zamienia się w $110 kredytu. Pełny cennik jest na stronie cen API.

Dla lokalnego wdrożenia rachunek jest mniej bezpośredni. Zacznij od ceny GPU, podziel ją przez miesiące, przez które planujesz jej używanie, i dodaj prąd: moc w kW razy godziny użytkowania razy cena z Twojej umowy z dostawcą prądu. Wynik, podzielony przez tokeny, które faktycznie generujesz, to Twój koszt za milion. Oblicz to na swoich liczbach i porównaj z $0,50 za milion tokenów wyjściowych.

Konserwacja, o której się zwykle zapomina

Kto wybiera lokalne rozwiązanie, zajmuje się też wszystkim innym. Sterowniki i biblioteki CUDA, które psują się po aktualizacji, nowe wersje silnika wnioskowania, zmieniające się formaty kwantyzacji, modele do ponownego pobrania. Jeśli usługa służy innym osobom, dodaj monitoring, automatyczne restarty i zarządzanie kolejką, gdy przyjdzie więcej zapytań, niż wytrzyma GPU.

Nic z tego nie jest trudne, ale wymaga regularnego czasu. Jeśli Twój czas ma wartość, policz go: kilka godzin miesięcznie waży więcej niż $12,50 ze średniego scenariusza opisanego wyżej.

Dzięki API konserwacja po Twojej stronie sprowadza się do jednego klucza, bazowego URL i obsługi błędów 429, opisanej w dokumentacji. W zamian zależysz od dostawcy: jeśli on ma problem, nie możesz nic z tym zrobić.

Kiedy wybrać lokalnie, a kiedy API

Wybierz lokalnie, jeśli

  • masz już odpowiednią kartę GPU, a koszt marginalny to tylko prąd;
  • generujesz tekst nieprzerwanie, przez godziny, każdego dnia;
  • musisz pracować bez internetu lub z danymi, które nie mogą opuścić Twojego komputera;
  • chcesz często zmieniać model, robić fine-tuning lub eksperymentować z wagami.

Wybierz API, jeśli

  • chcesz endpointu działającego już dziś, bez kupowania czegokolwiek;
  • Twoje użycie jest szczytowe: bot, skrypt nocny, prototyp;
  • potrzebujesz długiego kontekstu (tutaj 100 000 tokenów) bez konieczności dobierania pamięci;
  • chcesz skalować do 8 żądań równoległych bez myślenia o sprzęcie.

Wiele zespołów używa obu dróg: API na start i na szczyty, lokalnego wdrożenia na stałe obciążenie. Ponieważ format jest ten sam, przejście z jednego rozwiązania na drugie nie wymaga przepisywania aplikacji.

Prosta metoda decyzyjna

Przed zakupem czegokolwiek zmierz. Przez tydzień rejestruj, ile tokenów zużywasz, wyciągając je z pola usage w odpowiedziach lub z licznika Twojego narzędzia. Potem zrób trzy proste obliczenia.

  1. Pomnóż tygodniowe tokeny wejściowe przez 4 i przez $0,15 podzielone przez milion.
  2. Zrób to samo z tokenami wyjściowymi i $0,50.
  3. Zsumuj oba wyniki i porównaj z miesięczną ratą sprzętu plus prąd.

Jeśli suma kosztów API pozostaje poniżej kilkudziesięciu dolarów miesięcznie, kupno GPU tylko dla tego rzadko ma sens. Jeśli jednak znacznie przekracza ratę, lokalne wdrożenie zaczyna być interesujące. Osobnym przypadkiem jest opóźnienie: na Twojej maszynie nie przechodzisz przez sieć, ale domowa GPU z dużym modelem może być wolniejsza niż usługa hostowana. Przetestuj oba na swoim obciążeniu, ponieważ różnice zależą od modelu i długości promptów.

Pamiętaj też o wzroście. Prototyp, który dziś zużywa mało, może mnożyć zużycie, gdy będą z niego korzystać inni. API obsługuje do 8 żądań współbieżnych z pełnym kluczem, podczas gdy w lokalnym wdrożeniu każdy dodatkowy użytkownik spowalnia pozostałych, dopóki nie dodasz sprzętu.

Wypróbuj API w pięć minut

Do testów potrzebny jest klucz. Po rejestracji przez Google lub e-mail i hasło, na stronie klucza możesz jednym kliknięciem poprosić o $0,50 kredytu próbnego, ważnego przez 7 dni i bez konieczności płacenia. Przejdź do uzyskania klucza API. Klucz próbny ma limit 2 żądań współbieżnych i 60 na minutę.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

Jeśli w przyszłości chcesz przenieść się na lokalny serwer z kompatybilnym endpointem, wystarczy zmienić base_url i nazwę modelu.

Czego to nie robi

To jeden model o otwartych wagach, zarządzany przez niezależnego dostawcę i wytrenowany do odpowiadania bez filtrów treści dla legalnego użytku dorosłego. To nie jest oficjalne API żadnego dużego laboratorium, nie generuje obrazów, dźwięku ani wideo i nie oferuje embeddingów ani fine-tuningu. Pozostaje jedno bezwzględne ograniczenie: żadnych treści seksualnych z udziałem nieletnich. Szerszy przegląd znajdziesz na stronie AI bez cenzury. Prompty nie są używane do trenowania.

Inne przewodniki

Pytania i odpowiedzi

Czy lokalny LLM jest naprawdę bardziej prywatny?

Przy lokalnym rozwiązaniu dane pozostają na Twojej maszynie, więc tak, pod warunkiem jej zabezpieczenia. Przy API prompty podróżują do dostawcy; tutaj nie są używane do trenowania.

Ile tokenów mogę zużyć za $20?

Gdyby wszystko było wejściowe, 133,3 miliona tokenów ($20 podzielone przez $0,15 za milion). Gdyby wszystko było wyjściowe, 40 milionów ($20 podzielone przez $0,50). W praktyce jest pośrodku, w zależności od stosunku obu strumieni.

Czy mogę użyć kodu OpenAI, który już posiadam?

Tak. API jest kompatybilne z SDK OpenAI: zmieniasz bazowy URL i klucz oraz używasz modelu uncensored. Obsługiwane są pełne odpowiedzi czatu, responses, strumieniowanie i wywoływanie narzędzi.

Czy kontekst jest taki sam w lokalnym wdrożeniu i przez API?

Nie. Przez API limit to 100 000 tokenów łącznie dla promptu i odpowiedzi. W lokalnym wdrożeniu zależy to od modelu i pamięci Twojej GPU, ponieważ pamięć podręczna kontekstu rośnie wraz z długością.

Twój klucz jest na wyciągnięcie ręki

Stwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.