# Self-hosting di un LLM: quanto deve andare la tua GPU perché convenga

> Quanti token al secondo deve reggere la tua GPU perché un modello open-weight in casa costi meno dello stesso modello via API, con misure vere accanto.

Strumento gratuito nel browser (nessun upload): https://www.mauriziofonte.it/strumenti/self-hosting-llm-conviene

**Perimetro**: una sola GPU consumer o prosumer tra 8 e 48 GB di VRAM, modelli open-weight quantizzati tra 7 e 35 miliardi di parametri, runtime di questa classe (llama.cpp, vLLM, Ollama, TGI), mercato italiano ed europeo. Fuori da qui lo strumento non si pronuncia. Dentro questi confini risolve il problema al contrario: **calcola quanti token al secondo la scheda dovrebbe reggere** perché il modello in casa costi meno dello stesso modello via API, e mette quel numero accanto a misure vere.

## Come si usa

1. **Scegli il modello** - Uno dei modelli open-weight in elenco, quello che useresti in casa. Il confronto è con lo stesso modello via API.
2. **Conta le attività** - Email, pagine, documenti e domande al mese, più la finestra di servizio e quanti utenti insieme nel picco.
3. **Descrivi la scheda** - VRAM, costo dell'hardware, mesi di ammortamento, consumi misurati, prezzo del kWh e ore di manutenzione.
4. **Leggi il numero** - Il risultato dice quanti token al secondo la scheda dovrebbe reggere per pareggiare, e se è lontano o vicino alle misure vere.
5. **Controlla la memoria** - La verifica della VRAM dice se pesi e KV cache entrano, come limite inferiore.

## Perché il confronto è con lo stesso modello via API

Chi valuta di tenere in casa un modello da 27 miliardi di parametri non lo sta confrontando con Claude o GPT: lo confronta con lo stesso modello servito da un fornitore di inferenza. È quello il termine che conta, e cambia il conto: per i modelli in elenco quei prezzi vanno da pochi centesimi a meno di due dollari per milione di token. Su OpenRouter, alla verifica del 3 novembre 2026, Qwen3.8 27B costava 0,15 dollari per milione di token letti e 1,875 per milione di token scritti.

Lo strumento poi non parte da una velocità presunta della scheda, perché non c'è una fonte pubblica affidabile di token al secondo che copra modelli, quantizzazioni, schede e runtime di questa classe. Parte dal costo e calcola la velocità che servirebbe. Il dato che manca, la velocità sul tuo carico, diventa la cosa da misurare.

## Glossario

- **Token**: Il pezzo di testo con cui il modello legge e scrive; in italiano una parola vale più di un token.
- **Open-weight**: Modello i cui pesi si possono scaricare e far girare in casa, secondo la licenza di ciascuno.
- **Quantizzazione**: Riduzione dei bit con cui sono salvati i pesi, per occupare meno memoria; Q4_K_M e IQ4_XS sono due formati GGUF.
- **KV cache**: Memoria che tiene chiavi e valori dei token già letti durante una conversazione.
- **Prefill e decode**: La lettura del prompt (token letti) e la generazione della risposta (token scritti); hanno velocità molto diverse.
- **Pareggio**: Il volume al quale il costo mensile della scheda in casa uguaglia quello dello stesso modello via API.

## Domande frequenti

### Conviene tenere un LLM in casa invece di usare un'API?

Dipende dal volume e dal prezzo dello stesso modello via API. La scheda costa quasi uguale che lavori poco o tanto, l'API costa a consumo: il self-hosting paga quando il volume è abbastanza alto da superare il pareggio e la scheda riesce a smaltirlo nella finestra di servizio. Lo strumento calcola tutti e due i numeri.

### Perché il confronto è con lo stesso modello via API e non con ChatGPT o Claude?

Perché chi tiene in casa un modello open-weight lo può usare anche via API da un fornitore di inferenza, a prezzi molto più bassi di quelli dei modelli proprietari. Confrontare la scheda con un modello diverso, e più caro, fa sembrare il self-hosting conveniente quando non lo è.

### Quanti token al secondo fa una GPU da 16 GB?

Dipende da modello, quantizzazione, runtime, contesto e numero di utenti, per questo lo strumento non lo assume. Sulla mia RTX 5060 Ti 16 GB, con llama.cpp e un utente alla volta, ho misurato 25,4 token al secondo generati con Qwen3.8 27B in IQ4_XS e 105 con Qwen3.6 35B-A3B in IQ3_XXS a contesto vuoto: misure con data e metodo negli articoli collegati nel risultato.

### Quanta VRAM serve per un modello da 27 miliardi di parametri?

Si parte dal file dei pesi: Qwen3.8 27B in Q4_K_M è un file da 15,3 GB. Si aggiunge la KV cache, che cresce con il contesto e con gli utenti insieme, e una quota che il runtime alloca per conto suo. Lo strumento somma le prime due e lo dichiara come limite inferiore: non è una garanzia di avvio.

### Cos'è la KV cache e perché contano le teste key/value?

È la memoria in cui il modello tiene chiavi e valori dei token già letti, per non ricalcolarli. Cresce con il contesto e con il numero di conversazioni insieme. Molti modelli recenti usano meno teste key/value che teste di attenzione: il conto va fatto con le prime, altrimenti la memoria risulta molte volte più grande del vero.

### Quanto consuma una GPU per LLM?

Va misurato alla presa con un wattmetro, sotto carico e a riposo. La potenza di targa della scheda dice il massimo della scheda, non il consumo della macchina intera, che dipende anche da processore, memoria e alimentatore.

### La quantizzazione Q4 peggiora le risposte?

Q4 non è identico a FP16 o BF16; la perdita dipende da modello, metodo, group size, calibratura e task. Per questo lo strumento non assegna una percentuale fissa: se la qualità conta, va provata sui tuoi compiti.

### Quando il self-hosting ha senso anche se costa di più?

Quando i dati non possono uscire dall'azienda, per contratto o per scelta. In quel caso il costo dell'API resta un riferimento, ma la domanda vera diventa se la scheda regge il carico e se la memoria basta.

### I dati che inserisco vengono salvati?

No. Il calcolo avviene in JavaScript nella pagina: i dati non vengono mandati a un server per ottenere il risultato e lo strumento non li salva nel browser. Come il resto del sito, la pagina raccoglie statistiche di navigazione.

---
Uno strumento di Maurizio Fonte, senior backend engineer. Tutti gli strumenti: https://www.mauriziofonte.it/strumenti/