Kernpunten
- Lokaal betaal je de hardware direct en altijd onderhoud; via de API betaal je alleen voor gebruikte tokens.
- Met $0,15 per 1M inkomende tokens en $0,50 per 1M uitgaande tokens, dekken $20 tientallen miljoenen tokens.
- Lokaal wint voor intensief continu gebruik, offline werk en totale controle over de weights.
- De API wint voor wie vandaag begint, weinig GPU heeft of een OpenAI-compatible endpoint wil.
Het korte antwoord
Als je een ongecensureerde LLM zoekt en nog geen GPU met veel geheugen hebt, is de API bijna altijd de meest verstandige start. Als je daarentegen de hele dag tekst genereert, offline werkt of weights wilt kiezen en aanpassen, betaalt lokaal de investering terug. Hieronder de vergelijking in een tabel.
| Aspect | Lokaal | Via API |
|---|---|---|
| Initiële kosten | GPU, voeding, koeling | Geen, opladen vanaf $20 |
| Terugkerende kosten | Elektriciteit, slijtage, je eigen tijd | Alleen gebruikte tokens |
| Starttijd | Uren of dagen tussen downloaden en testen | Enkele minuten |
| Modelkeuze | Vrij, je kunt er meerdere houden | Slechts één, gekozen door de provider |
| Maximale context | Afhankelijk van je beschikbare geheugen | 100.000 tokens |
| Werkt offline | Ja | Nee |
| Gelijktijdige verzoeken | Zoveel als je GPU aankan | 8 met volledige sleutel |
Er is geen absolute juiste keuze. De volgende secties helpen je te begrijpen aan welke kant je staat.
Wat heb je echt nodig om het thuis te draaien
De bottleneck is video-geheugen. De weights van een model moeten in de VRAM passen, anders gaan ze naar het systeemgeheugen en daalt de snelheid drastisch. Ter indicatie: een klein, gequantiseerd model (4 bit) neemt meestal enkele gigabytes in beslag, terwijl een zeer groot model er tientallen kan vereisen. Exacte waarden hangen af van het model en de quantization, dus raadpleeg altijd de specificaties van het individuele model en de documentatie van de tool.
Daar komt de contextcache bij: hoe langer het gesprek, hoe meer geheugen het verbruikt naast de weights. Een context van tienduizenden tokens op een groot model kan nog eens enkele gigabytes vereisen.
De software
Voor lokale inferentie zijn bekende tools zoals llama.cpp, Ollama en vLLM beschikbaar. Ollama en vLLM bieden ook een endpoint compatibel met het OpenAI-formaat, dus code die je vandaag voor een lokale server schrijft, verplaats je naar een externe API door twee regels te wijzigen. Voor installatiedetails raadpleeg je de documentatie van elk project.
Het model vinden
Open-weight modellen met minder weigeringen worden uitgebracht door verschillende communities, maar de kwaliteit is zeer wisselend. Sommige verliezen de coherentie na aanpassing, anderen reageren alleen goed met een specifieke prompt-indeling. Verwacht verschillende te proberen voordat je er een vindt die bij je past.
Wat kost de API, uitgerekend
Het tarief is $0,15 per 1M inkomende tokens en $0,50 per 1M uitgaande tokens, als prepaid, zonder abonnement. Mislukte of afgewezen verzoeken worden niet in rekening gebracht en het tegoed vervalt niet. Laten we drie scenario's bekijken.
- Licht gebruik. 2M inkomende en 500.000 uitgaande tokens per maand: 2 × $0,15 = $0,30 plus 0,5 × $0,50 = $0,25, totaal $0,55.
- Gemiddeld gebruik. 50M inkomende en 10M uitgaande: 50 × $0,15 = $7,50 plus 10 × $0,50 = $5,00, totaal $12,50.
- Zwaar gebruik. 400M inkomende en 80M uitgaande: 400 × $0,15 = $60 plus 80 × $0,50 = $40, totaal $100.
Het minimale opwaardeerbedrag is $20, dus in het gemiddelde dekt één betaling meer dan een maand. Boven bepaalde drempels is er een bonus: +5% vanaf $50, +10% vanaf $100, +15% vanaf $200. Bijvoorbeeld $100 wordt $110 aan tegoed. De volledige prijslijst staat op de API-prijzen pagina.
Voor lokaal is de berekening minder direct. Begin met de GPU-prijs, deel dit door de maanden dat je het denkt te gebruiken en voeg stroomkosten toe: vermogen in kW vermenigvuldigd met gebruiksuren vermenigvuldigd met het tarief van je contract. Het resultaat, gedeeld door de tokens die je echt genereert, is je kosten per miljoen. Doe dit met je eigen cijfers en vergelijk het met $0,50 per miljoen uitgaande tokens.
Het onderhoud dat vaak vergeten wordt
Wie voor lokaal kiest, regelt ook de rest. Stuurprogramma's en CUDA-bibliotheken die kapotgaan na een update, nieuwe versies van de inferentie-engine, kwantisatieformaten die veranderen, modellen die opnieuw gedownload moeten worden. Als de service voor anderen bestemd is, voeg monitoring, automatische herstarten en wachtrijbeheer toe wanneer er meer verzoeken binnenkomen dan de GPU aankan.
Niets van dit is moeilijk, maar het kost tijd. Als je tijd iets waard is, tel het mee: een paar uur per maand weegt zwaarder dan de $12,50 van het gemiddelde scenario hierboven.
Met de API reduceer je het onderhoud aan jouw kant tot één sleutel, een basis-URL en het afhandelen van 429-fouten, zoals beschreven in de documentatie. In ruil daarvoor ben je afhankelijk van de provider: als zij een probleem hebben, kun je niets doen.
Wanneer is lokaal beter en wanneer de API?
Kies voor lokaal als
- je al een geschikte GPU hebt en de margekosten alleen stroom zijn;
- je continu tekst genereert, urenlang, elke dag;
- je zonder netwerk moet werken of met data die je machine niet mag verlaten;
- je wilt vaak van model wisselen, fine-tunen of experimenteren met de parameters.
Kies voor de API als
- je vandaag nog een werkend endpoint wilt, zonder iets te kopen;
- je gebruik piekbelasting kent: een bot, een nachtscript, een prototype;
- je een lange context nodig hebt (hier 100.000 tokens) zonder geheugen te hoeven dimensioneren;
- je wilt schalen naar 8 gelijktijdige verzoeken zonder aan hardware te hoeven denken.
Veel teams gebruiken beide wegen: de API om te starten en voor pieken, lokaal voor stabiele belasting. Omdat het formaat hetzelfde is, hoef je de applicatie niet te herschrijven bij het overschakelen.
Een eenvoudige methode om te beslissen
Meet voordat je iets koopt. Registreer een week lang hoeveel tokens je verbruikt, afgeleid uit het veld usage in de antwoorden of de teller van je tool. Doe daarna drie berekeningen.
- Vermenigvuldig de wekelijkse inkomende tokens met 4 en met $0,15 gedeeld door een miljoen.
- Doe hetzelfde met de output-tokens en $0,50.
- Tel de twee resultaten op en vergelijk ze met de maandelijkse hardwarekosten plus stroom.
Als de API-kosten onder een paar tientjes per maand blijven, is het kopen van een GPU daarvoor zelden zinvol. Als het bedrag de maandlasten ver te boven gaat, wordt lokaal interessant. Een apart geval is latentie: op je eigen machine doorloop je het netwerk niet, maar een GPU thuis met een groot model kan langzamer zijn dan een gehoste service. Test beide op je werklast, want de verschillen hangen af van het model en de lengte van de prompts.
Houd ook de groei in gedachten. Een prototype dat vandaag weinig verbruikt, kan zich vermenigvuldigen wanneer anderen het gebruiken. De API verwerkt tot 8 gelijktijdige verzoeken met je volledige sleutel, terwijl lokaal elke extra gebruiker de anderen vertraagt totdat je hardware toevoegt.
De API in vijf minuten proberen
Om te testen heb je een sleutel nodig. Na registratie met Google of e-mail en wachtwoord, kun je op de sleutelpagina met één klik $0,50 testtegoed aanvragen, geldig voor 7 dagen en zonder dat je hoeft te betalen. Ga naar API-sleutel verkrijgen. De testsleutel heeft een limiet van 2 gelijktijdige verzoeken en 60 per minuut.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
Als je in de toekomst naar een lokale server met een compatibele endpoint wilt verplaatsen, hoef je alleen de base_url en de modelnaam te wijzigen.
Wat het niet doet
Het is een open-weight model, beheerd door een onafhankelijke provider en getraind om zonder inhoudsfilters te antwoorden voor legaal volwassen gebruik. Het is niet de officiële API van een groot lab, genereert geen afbeeldingen, audio of video en biedt geen embeddings of fine-tuning. Er blijft een absolute limiet: geen seksuele inhoud met minderjarigen. Voor een breder overzicht zie de ongecensureerde AI-pagina. Prompts worden niet gebruikt voor training.

