Leggere un paper AI nel 2026: guida critica a benchmark, metodologia e claim esagerati
Su arXiv ogni giorno escono centinaia di paper AI e pochi thread Twitter li traducono in claim virali. The Illusion of Thinking di Apple è stato risposto con The Illusion of the Illusion of Thinking, paper semi-scherzoso scritto in larga parte da Claude Opus, e intere community scientifiche lo hanno citato senza leggerlo. Saper leggere un paper AI con occhio critico nel 2026 è competenza di business: la mia checklist in otto passaggi per capire se un lavoro porta evidenze o hype. Continua a leggere
Ultima modifica:
Chiedi a GPT-5.4 quante R ci sono in strawberry e può ancora sbagliare. Chiedigli di moltiplicare due numeri di venti cifre e collassa. Non è qualità, è conseguenza strutturale di tokenizzazione, natura probabilistica del prossimo token e mancanza di un vero sistema due. Diagnosi operativa di cinque famiglie di compiti che non vanno mai chiesti a un LLM direttamente, con il criterio pratico per riconoscerle prima di progettare una pipeline che costerà sei mesi e fallirà. 
Nel 2023 Sam Altman prometteva di risolvere le allucinazioni in due anni; nel 2025 OpenAI stessa pubblica "Why Language Models Hallucinate" (arxiv 2509.04664) mostrando che sono strutturalmente inevitabili. AA-Omniscience 2025 di Artificial Analysis: 36 modelli su 40 più propensi a sbagliare che sapere. GPT-5.5 xhigh: 86% hallucination rate vs Opus 4.7 max 36%. Perché il prompting non le elimina, pattern di validazione esterna che funzionano in produzione. 
Gestire molti progetti attivi contemporaneamente è un problema cognitivo, non tecnico. Il context switching è costoso. Nella mia pipeline personale l'AI fa da co-pilota: knowledge management automatico, session handoff con memoria persistente, generazione di recap pre-chiamata cliente. Ti racconto il metodo e le automazioni concrete che mi permettono di non perdere qualità cambiando contesto. 
The Illusion of Thinking di Apple (arxiv 2506.06941, Shojaee et al. giugno 2025) ha documentato tre regimi di performance dei LRM: bassa complessità dove il modello base è equivalente e più efficiente, media dove il reasoning guadagna, alta dove entrambi collassano a zero accuracy. Tabella comparativa con Torre di Hanoi, River Crossing, critica di Lawsen, Limit of RLVR (Yue 2025), implicazioni di progetto: cosa demandare davvero a un LRM e cosa deve restare in algoritmo formale. 
I benchmark pubblici sono la prima fonte che tutti consultano, la più manipolabile. MMLU 5-shot non è confrontabile con Gemini CoT-uncertainty-routing. Il data leaking invalida percentuali straordinarie. LMArena (rebrand Arena 28 gennaio 2026) usa Bradley-Terry su preferenze utente ma pesca da domande non controllate. Checklist in otto criteri per valutare un LLM prima del commitment enterprise, con held-out interni su dominio italiano. 
Quando un vendor ti propone un progetto AI per la tua azienda, sa distinguere pretraining da fine-tuning? Sa perché Mixture of Experts cambia i costi di inferenza di un ordine di grandezza? Sa che un benchmark MMLU 5-shot non è comparabile con un 25-shot? Ho passato in rassegna i 28 concetti tecnici che nei contratti enterprise del 2026 vedono più confusione, con distinzioni rigorose per non farsi vendere fumo e per costruire domande operative ai fornitori. 
La prima settimana su un progetto legacy è sempre disorientante. Ho sviluppato un processo sistematico di audit tecnico in 5 fasi: analisi statica con PHPStan, complessità ciclomatica con PHP Metrics, mappa delle dipendenze esterne, test di copertura esistente e interviste al team. Output: un report con priorità chiare. 
Sono passato da dipendente con stipendio fisso a consulente autonomo nel 2015. Nei primi due anni ho commesso tutti gli errori possibili: clienti senza contratto, pricing troppo basso, scope creep senza tutela. Vi racconto cosa avrei voluto sapere prima, con numeri reali su pricing, contratti e gestione del rischio. 
Nel 2026 l'AI non è più una sperimentazione ma uno strumento di produzione. Nella mia pipeline personale di automazione AI, dopo 18 mesi di sperimentazione continua, ho filtrato cosa funziona davvero dalla retorica del marketing: quali casi d'uso producono ROI misurabile, quali costi reali mese per mese, dove l'integrazione fallisce e perché. Non un manifesto, un bilancio ingegneristico.