Perimetro: una sola GPU consumer o prosumer tra 8 e 48 GB di VRAM, modelli open-weight quantizzati tra 7 e 35 miliardi di parametri, runtime di questa classe (llama.cpp, vLLM, Ollama, TGI), mercato italiano ed europeo. Fuori da qui lo strumento non si pronuncia. Dentro questi confini risolve il problema al contrario: calcola quanti token al secondo la scheda dovrebbe reggere perché il modello in casa costi meno dello stesso modello via API, e mette quel numero accanto a misure vere.
Aggiornato il · da Maurizio Fonte
Il calcolo avviene nella pagina: i dati non vengono mandati a un server per ottenere il risultato. Prezzi, misure e dati sono già nella pagina, ciascuno con la sua data.
Lo strumento conta il volume in cose che si fanno, non in token. Queste sono le unità di misura della pagina, con le parole lette e scritte e i token che diventano con i tokenizer misurati.
| Unità | Parole lette + scritte | Token con Qwen3.8-27B (tokenizer.json) | Token con Llama 3.1 8B Instruct (tokenizer.json) |
|---|---|---|---|
| Un'email letta e risposta | 300 + 150 | 432 + 216 | 514 + 257 |
| Una pagina riassunta | 500 + 100 | 720 + 144 | 857 + 171 |
| Un documento di 10 pagine | 5.000 + 500 | 7.200 + 720 | 8.565 + 857 |
| Una domanda sui documenti, con gli estratti | 2.000 + 250 | 2.880 + 360 | 3.426 + 428 |
Qwen3.8-27B (tokenizer.json): 1,44 token per parola (tra 1,39 e 1,50 nel 10% e nel 90% degli articoli). Llama 3.1 8B Instruct (tokenizer.json): 1,71 token per parola (tra 1,67 e 1,79 nel 10% e nel 90% degli articoli). Misura del 3 novembre 2026 su 40 articoli italiani di questo blog, 86.784 parole, codice e tabelle esclusi. Per Mistral Small, il cui tokenizer non è stato misurato, lo strumento usa il valore più alto.
Uno dei modelli open-weight in elenco, quello che useresti in casa. Il confronto è con lo stesso modello via API.
Email, pagine, documenti e domande al mese, più la finestra di servizio e quanti utenti insieme nel picco.
VRAM, costo dell'hardware, mesi di ammortamento, consumi misurati, prezzo del kWh e ore di manutenzione.
Il risultato dice quanti token al secondo la scheda dovrebbe reggere per pareggiare, e se è lontano o vicino alle misure vere.
La verifica della VRAM dice se pesi e KV cache entrano, come limite inferiore.
Chi valuta di tenere in casa un modello da 27 miliardi di parametri non lo sta confrontando con Claude o GPT: lo confronta con lo stesso modello servito da un fornitore di inferenza. È quello il termine che conta, e cambia il conto: per i modelli in elenco quei prezzi vanno da pochi centesimi a meno di due dollari per milione di token. Su OpenRouter, alla verifica del 3 novembre 2026, Qwen3.8 27B costava 0,15 dollari per milione di token letti e 1,875 per milione di token scritti.
Lo strumento poi non parte da una velocità presunta della scheda, perché non c'è una fonte pubblica affidabile di token al secondo che copra modelli, quantizzazioni, schede e runtime di questa classe. Parte dal costo e calcola la velocità che servirebbe. Il dato che manca, la velocità sul tuo carico, diventa la cosa da misurare.
Il volume entra in attività (email, pagine, documenti, domande) e diventa token con la tabella qui sopra. Da lì due conti, tutti e due a vista nel risultato:
Poi il conto al contrario. Il costo mensile della scheda diviso il prezzo per token dell'API dà i token al mese che la scheda dovrebbe sostituire per pareggiare; divisi per i secondi della finestra di servizio, danno i token al secondo che dovrebbe reggere. Nessuna velocità viene assunta: è il risultato.
Quel numero finisce accanto alle mie misure su una RTX 5060 Ti 16 GB. Se è più del doppio della misura più alta, il self-hosting non paga; se è meno della metà della più bassa, la velocità non è il problema; in mezzo, va misurato sul carico vero.
La memoria che serve è la somma di tre parti. I pesi si leggono dal file vero del modello quantizzato, non dal numero di parametri per i bit nominali: un file GGUF contiene metadati, tensori non quantizzati e allineamenti. La KV cache si calcola come B × T × 2 × L × H_kv × D_h × S: utenti insieme, token di contesto, chiave e valore, livelli con attenzione piena, teste key/value (non tutte le teste di attenzione), dimensione di ogni testa, byte per valore.
Nei modelli con attenzione ibrida, come i Qwen3.5, 3.6 e 3.8 in elenco, solo i livelli con attenzione piena hanno una KV cache che cresce con il contesto; gli altri tengono uno stato di dimensione fissa, che il conto non include. La terza parte, quello che il runtime alloca per conto suo (buffer CUDA, spazio di lavoro dei kernel, frammentazione, offload parziale), il conto non la conosce.
Per questo il risultato è un pavimento: se il conto dice che non entra, non entra; se dice che entra, forse.
Le misure di confronto vengono da una sola scheda e da un utente alla volta. Con dieci richieste insieme un runtime come vLLM raggruppa il lavoro e la velocità complessiva cambia, in un modo che va misurato.
Non giudica la qualità delle risposte. Q4 non è identico a FP16 o BF16; la perdita dipende da modello, metodo, group size, calibratura e task. Un modello più piccolo che regge la velocità può non bastare per il compito.
Non confronta un canone mensile di una GPU noleggiata con un prezzo orario a consumo: sono prodotti economici diversi. E i prezzi delle API cambiano spesso: ognuno porta la sua data di verifica.
Termini tecnici usati in questa pagina, spiegati in due righe.
Leggi, tabelle ufficiali e implementazioni di riferimento su cui è stata verificata la logica del tool.
Risposta entro 2 giorni lavorativi, entro 24 ore per emergenze tecniche. La prima call conoscitiva dura un'ora, è gratuita e non vincolante. Al termine ti dico con chiarezza se posso aiutarti, o ti indico chi può farlo meglio di me.
Scrivimi senza impegnoWizard di 7 domande, 2 minuti, gratuito. Output: range di giorni-uomo, range di prezzo orientativo e raccomandazione di ingaggio. Tariffa di riferimento 400 euro al giorno. Pensato per progetti backend custom, integrazioni, audit di sicurezza o automazione AI.
Calcola il preventivo