METR Time Horizon e benchmark maxing: come leggere i grafici di progresso degli LLM senza farsi ingannare
Il grafico METR che mostra Opus 4.6 capace di risolvere compiti di 12 ore di lavoro umano nel 50% dei casi è virale come prova di AGI imminente. Letto per intero, il paper limita il test a software, ML e cybersec, con CI da 5 a 65 ore. Il fenomeno si chiama benchmark maxing: i benchmark misurabili sono tutti su task verificabili, mentre legali, commerciali e medici restano fermi. Analizzo METR, RLVR e AA Omniscience per distinguere progresso da hype. Continua a leggere
Ultima modifica:
Sono passato da dipendente con stipendio fisso a consulente autonomo nel 2015. Nei primi due anni ho commesso tutti gli errori possibili: clienti senza contratto, pricing troppo basso, scope creep senza tutela. Vi racconto cosa avrei voluto sapere prima, con numeri reali su pricing, contratti e gestione del rischio. 
L'investimento in firewall e antivirus non serve a nulla se il dipendente clicca sul link di phishing. Ho aiutato un'azienda con 45 dipendenti a costruire una cultura della sicurezza partendo dalla formazione pratica, dalle simulazioni di phishing e da procedure semplici che la gente segue davvero. 
Un'azienda manifatturiera con 30 dipendenti spendeva l'80% del budget IT in hardware fisico obsoleto e il 5% in sicurezza. Il benchmark di settore è esattamente l'inverso. Vi mostro come ho aiutato tre clienti a riallocare il budget IT con ROI misurabile entro 12 mesi, partendo dai dati reali. 
Subentro dopo un fornitore precedente. Il contratto firmato dall'azienda non menzionava la proprietà del codice sorgente, non prevedeva escrow, non definiva SLA. Quando il rapporto si è deteriorato, l'azienda ha scoperto di non avere diritti sul software che usava da tre anni. Vi dico cosa pretendere per iscritto. 
La maggior parte delle PMI italiane sotto i 50 dipendenti non può permettersi un CTO. Ma ha bisogno di qualcuno che prenda decisioni tecnologiche coerenti. Vi racconto il modello organizzativo che propongo ai clienti: un mix di consulente esterno, fornitore cloud gestito e procedure interne semplici. 
Ho accompagnato 20 PMI italiane in percorsi di digitalizzazione negli ultimi cinque anni. Il pattern di fallimento è sempre lo stesso: tecnologia comprata senza processo, ERP implementato senza change management, CRM usato da nessuno. Vi racconto cosa distingue i successi dai fallimenti, con numeri reali. 
Un imprenditore mi ha chiesto: 'Come so se i 50.000€ che ho speso in software quest'anno sono serviti a qualcosa?' È la domanda giusta - e la maggior parte delle aziende non ha risposta. Vi mostro il framework che uso per misurare il ROI degli investimenti IT con metriche concrete e non vanity metrics. 
Ogni anno subentro su almeno due o tre progetti lasciati in stato deplorevole da consulenti che non avevano le competenze dichiarate. Non è malafede sistematica - è asimmetria informativa. Vi insegno le domande che avrebbero smascherato i problemi in anticipo, basandomi su casi reali. 
Un CTO mi ha chiesto di convincere il suo CEO a investire in refactoring. Ho costruito un modello di costo basato su dati reali: tempo medio per aggiungere una feature, numero di bug per rilascio, costo orario del team. Il debito tecnico costava all'azienda 180.000€/anno in produttività persa. Il CEO ha approvato.