Valutare un LLM prima di adottarlo: checklist su benchmark, data leaking e chatbot Arena
I benchmark pubblici sono la prima fonte che tutti consultano, la più manipolabile. MMLU 5-shot non è confrontabile con Gemini CoT-uncertainty-routing. Il data leaking invalida percentuali straordinarie. LMArena (rebrand Arena 28 gennaio 2026) usa Bradley-Terry su preferenze utente ma pesca da domande non controllate. Checklist in otto criteri per valutare un LLM prima del commitment enterprise, con held-out interni su dominio italiano. Continua a leggere
Ultima modifica:
Un chatbot RAG sulle procedure interne risponde correttamente al 75-85% delle domande frequenti senza escalation. Ma il self-hosted cambia tutto: nessun dato esce dall'azienda, compliance GDPR diretta, costi prevedibili. Ti mostro l'architettura completa: ingestione documentale, embedding con modelli locali, pgvector, Laravel per orchestrazione, frontend chat React, deployment su VPS Hetzner. 
Il paper GPT-3 del 2020 si chiama Language Models are Few-Shot Learners non a caso. L'in-context learning, la capacità di un LLM di apprendere un compito dai soli esempi nel prompt senza aggiornare i pesi, è la rivoluzione che ha reso possibile tutto il resto. Nella mia pipeline lo uso per costringere Claude a produrre output strutturati senza fine-tuning, trasferire stile su testi tecnici italiani, incidentare comportamenti. Tutorial pratico con sei pattern reali e trappole comuni. 
Fine-tuning o RAG? La risposta dipende da 4 variabili: natura dei dati, frequenza di aggiornamento, budget, criticità della precisione. Ti mostro il framework decisionale che uso: RAG per knowledge base aggiornata frequentemente e controllo della fonte, fine-tuning per task specializzati ripetitivi e latenza critica. Con esempi dalla mia sandbox di prova dove ciascuna tecnica ha vinto. 
La distillation insegna a un modello piccolo (student) a imitare le risposte di uno grande (teacher) su un compito specifico. OpenAI ha accusato Deep Seek di averla usata contro i termini GPT-4; Anthropic ha inserito in Claude Code un sistema anti-distillation con tool call fittizi. Resta lo strumento principe per portare capacità da 1,8T parametri a 8B runnabili su laptop. Analizzo tecnica, errori operativi e quando ha senso in una pipeline PMI italiana. 
Quando un vendor ti propone un progetto AI per la tua azienda, sa distinguere pretraining da fine-tuning? Sa perché Mixture of Experts cambia i costi di inferenza di un ordine di grandezza? Sa che un benchmark MMLU 5-shot non è comparabile con un 25-shot? Ho passato in rassegna i 28 concetti tecnici che nei contratti enterprise del 2026 vedono più confusione, con distinzioni rigorose per non farsi vendere fumo e per costruire domande operative ai fornitori. 
Configurare il caching del browser via .htaccess è ancora una leva di performance reale, ma la ricetta "ExpiresByType, un mese per immagini, CSS e JS" che gira da anni oggi fa più danni che bene: ti serve un utente con il CSS vecchio per un mese dopo ogni deploy. La verità è che il problema non si risolve con la durata della cache, ma con il nome dei file. Vediamo perché Cache-Control ha superato Expires e come si scrive una configurazione di caching insieme aggressiva e sicura. 
Un agent LLM che può eseguire codice Python, Bash o SQL in autonomia è una backdoor delegata. Permetterlo in produzione senza sandboxing è irresponsabile. La mia architettura usa container effimeri, seccomp filter che bloccano syscall pericolose, capability dropping, network namespace che taglia l'egress. Ti mostro il design, i trade-off performance vs sicurezza, e i test di escape eseguiti per validare l'isolamento.