IT ▾

LLM senza censura: in locale o via API, cosa scegliere

Un LLM senza censura si può far girare sul proprio PC oppure chiamare via API. Qui trovi hardware, costi e manutenzione di entrambe le strade, con numeri verificabili.

Ia Senza Censura: Analisi delle Opzioni Disponibili

Aggiornato:

Bilancia isometrica: da un lato una workstation con GPU locale, dall'altro un server cloud collegato via cavo.

Punti chiave

  • In locale paghi l'hardware subito e la manutenzione sempre; via API paghi solo i token usati.
  • Con $0.15 per 1M di token in ingresso e $0.50 per 1M in uscita, $20 coprono decine di milioni di token.
  • Il locale vince per uso intensivo continuo, lavoro offline e controllo totale sui pesi.
  • L'API vince per chi parte oggi, ha poca GPU o vuole un endpoint compatibile OpenAI.

La risposta breve

Se cerchi un llm senza censura e non hai già una GPU con molta memoria, l'API è quasi sempre il punto di partenza più sensato. Se invece generi testo tutto il giorno, lavori offline o vuoi scegliere e modificare i pesi, il locale ripaga l'investimento. Ecco il confronto in una tabella.

AspettoIn localeVia API
Costo inizialeGPU, alimentatore, raffreddamentoNessuno, ricarica da $20
Costo ricorrenteElettricità, usura, tempo tuoSolo token usati
Tempo per iniziareOre o giorni tra download e provePochi minuti
Scelta del modelloLibera, ne puoi tenere moltiUno solo, scelto dal provider
Contesto massimoDipende dalla memoria che hai100.000 token
Funziona offlineSìNo
Richieste in paralleloQuelle che regge la tua GPU8 con chiave completa

Non esiste una scelta giusta in assoluto. Le sezioni sotto ti aiutano a capire da che parte stai.

Cosa serve davvero per farlo girare in casa

Il collo di bottiglia è la memoria video. I pesi di un modello devono stare nella VRAM, altrimenti passano alla RAM di sistema e la velocità crolla. Come ordine di grandezza indicativo, un modello piccolo quantizzato a 4 bit occupa in genere pochi gigabyte, mentre uno molto grande può richiederne decine. I valori esatti dipendono dal modello e dalla quantizzazione, quindi controlla sempre la scheda del singolo modello e la documentazione dello strumento.

A questo si aggiunge la cache di contesto: più la conversazione è lunga, più memoria consuma oltre ai pesi. Un contesto da decine di migliaia di token su un modello grande può servire altri gigabyte.

Il software

Per l'inferenza locale esistono strumenti noti come llama.cpp, Ollama e vLLM. Ollama e vLLM espongono anche un endpoint compatibile con il formato OpenAI, quindi il codice che scrivi oggi per un server locale si sposta su un'API remota cambiando due righe. Per i dettagli di installazione fai riferimento alla documentazione di ciascun progetto.

Trovare il modello

I modelli a pesi aperti con rifiuti ridotti vengono pubblicati da varie community, ma la qualità è molto disomogenea. Alcuni perdono coerenza dopo la modifica, altri rispondono bene solo con un formato di prompt preciso. Aspettati di provarne diversi prima di trovarne uno adatto.

Quanto costa l'API, con i conti fatti

La tariffa è $0.15 per 1M di token in ingresso e $0.50 per 1M di token in uscita, in prepagato, senza abbonamento. Le richieste fallite o rifiutate non vengono addebitate e il credito non scade. Vediamo tre scenari.

  • Uso leggero. 2M di token in ingresso e 500.000 in uscita al mese: 2 × $0.15 = $0.30 più 0,5 × $0.50 = $0.25, totale $0.55.
  • Uso medio. 50M in ingresso e 10M in uscita: 50 × $0.15 = $7.50 più 10 × $0.50 = $5.00, totale $12.50.
  • Uso pesante. 400M in ingresso e 80M in uscita: 400 × $0.15 = $60 più 80 × $0.50 = $40, totale $100.

La ricarica minima è $20, quindi nel caso medio un solo versamento copre più di un mese. Sopra certe soglie c'è un bonus: +5% da $50, +10% da $100, +15% da $200. Per esempio $100 diventano $110 di credito. Il listino completo è nella pagina prezzi dell'API.

Per il locale il conto è meno immediato. Parti dal prezzo della GPU, dividilo per i mesi in cui pensi di usarla e aggiungi la corrente: potenza in kW per ore di utilizzo per il prezzo del tuo contratto. Il risultato, diviso per i token che generi davvero, è il tuo costo per milione. Fallo con i tuoi numeri e confrontalo con $0.50 per milione in uscita.

La manutenzione che di solito si dimentica

Chi sceglie il locale si occupa anche di tutto il resto. Driver e librerie CUDA che si rompono dopo un aggiornamento, nuove versioni del motore di inferenza, formati di quantizzazione che cambiano, modelli da riscaricare. Se il servizio serve ad altre persone, aggiungi monitoraggio, riavvii automatici e una gestione delle code quando arrivano più richieste di quante la GPU ne regga.

Niente di tutto questo è difficile, ma richiede tempo ricorrente. Se il tuo tempo vale qualcosa, mettilo nel conto: qualche ora al mese pesa più dei $12.50 dello scenario medio visto sopra.

Con l'API la manutenzione sul tuo lato si riduce a una chiave, un URL base e la gestione degli errori 429, descritta nella documentazione. In cambio dipendi dal provider: se ha un problema, non puoi intervenire.

Quando conviene il locale e quando l'API

Scegli il locale se

  • hai già una GPU adatta e il costo marginale è la sola corrente;
  • generi testo in modo continuo, per ore, tutti i giorni;
  • devi lavorare senza rete o con dati che non possono uscire dalla tua macchina;
  • vuoi cambiare modello spesso, fare fine-tuning o sperimentare con i pesi.

Scegli l'API se

  • vuoi un endpoint funzionante oggi, senza comprare nulla;
  • il tuo uso è a picchi: un bot, uno script notturno, un prototipo;
  • ti serve un contesto lungo (qui 100.000 token) senza dover dimensionare la memoria;
  • vuoi scalare a 8 richieste simultanee senza pensare all'hardware.

Molti team usano entrambe le strade: l'API per partire e per i picchi, il locale per i carichi stabili. Dato che il formato è lo stesso, passare dall'una all'altra non richiede di riscrivere l'applicazione.

Un metodo semplice per decidere

Prima di comprare qualsiasi cosa, misura. Per una settimana registra quanti token consumi, ricavandoli dal campo usage delle risposte o dal contatore del tuo strumento. Poi fai tre conti.

  1. Moltiplica i token in ingresso settimanali per 4 e per $0.15 diviso un milione.
  2. Fai lo stesso con quelli in uscita e $0.50.
  3. Somma i due risultati e confrontali con la rata mensile dell'hardware più la corrente.

Se la somma dell'API resta sotto qualche decina di dollari al mese, comprare una GPU solo per questo raramente ha senso. Se invece supera di molto la rata, il locale comincia a diventare interessante. Un caso a parte è la latenza: sulla tua macchina non attraversi la rete, ma una GPU domestica con un modello grande può essere più lenta di un servizio ospitato. Prova entrambi sul tuo carico, perché le differenze dipendono dal modello e dalla lunghezza dei prompt.

Tieni presente anche la crescita. Un prototipo che oggi consuma poco può moltiplicarsi quando lo usano altre persone. L'API gestisce fino a 8 richieste contemporanee con la chiave completa, mentre in locale ogni utente in più rallenta tutti gli altri finché non aggiungi hardware.

Provare l'API in cinque minuti

Per testare serve una chiave. Dopo la registrazione con Google oppure con email e password, nella pagina della chiave puoi richiedere con un clic $0.50 di credito di prova, valido 7 giorni e senza bisogno di pagare. Vai a ottieni la chiave API. La chiave di prova ha un limite di 2 richieste simultanee e 60 al minuto.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

Se in futuro vuoi spostarti su un server locale con endpoint compatibile, basterà cambiare base_url e il nome del modello.

Cosa non fa

È un solo modello a pesi aperti, gestito da un provider indipendente e addestrato a rispondere senza rifiuti di contenuto per uso adulto lecito. Non è l'API ufficiale di nessun grande laboratorio, non genera immagini, audio o video e non offre embedding né fine-tuning. Resta un limite assoluto: nessun contenuto sessuale che coinvolga minori. Per una panoramica più ampia vedi la pagina IA senza censura. I prompt non vengono usati per l'addestramento.

Altre guide

Domande e risposte

Un LLM locale è davvero più privato?

Con il locale i dati restano sulla tua macchina, quindi sì, a patto di proteggerla. Con l'API i prompt viaggiano verso il provider; qui non vengono usati per l'addestramento.

Quanti token posso usare con $20?

Se tutto fosse in ingresso, 133,3 milioni di token ($20 divisi per $0.15 al milione). Se tutto fosse in uscita, 40 milioni ($20 divisi per $0.50). In pratica sta in mezzo, a seconda del rapporto tra i due.

Posso usare il codice OpenAI che ho già?

Sì. L'API è compatibile con gli SDK OpenAI: cambi URL base e chiave e usi il modello uncensored. Sono supportati chat completions, responses, streaming e tool calling.

Il contesto è lo stesso in locale e via API?

No. Via API il limite è 100.000 token tra prompt e risposta. In locale dipende dal modello e dalla memoria della tua GPU, perché la cache di contesto cresce con la lunghezza.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL base. È tutta qui la configurazione.