The Real Cost of a Self-Hosted Coding LLM: Energy, ROI and Concurrency on a 16GB GPU
The companion to the Ornith-vs-Qwable benchmark turns from which model to what it costs. I measured the power a 9B coding model draws on a 16GB GPU, then set the energy bill against Claude's and Copilot's 2026 list prices: the marginal cost per million tokens is one to two orders of magnitude below any API tier. But the card only pays off on real token volume, autocomplete alone loses to Copilot's flat plan, and 16GB is a single-stream device: you scale by adding cards, not developers. Continua a leggere
Ultima modifica:
The third part of the local-inference series drops from the 35B MoE to the models most people want on a coding workstation: small, dense, 9-billion-parameter agents. I ran two of them, same base and opposite training recipes, through a full agent loop on a real buggy project plus a Copilot-style autocomplete bench. Neither speed nor correctness separates them: the discriminator is agentic path economy, training- and task-shaped. And local can stand in for Copilot warm, with one 16GB asterisk. 
Quando chiedi a Claude o GPT di analizzare una strategia, una proposta di pricing o un audit interno, il modello tende sistematicamente a darti ragione. Il fenomeno si chiama sycophancy: deriva strutturalmente da RLHF e reward model umano. Il Bullshit Bench 2026 misura che in dominio medico i modelli fanno pushback su premesse errate solo nel 36% dei casi. Confronto fra principali modelli 2026 e mitigation Ask-Don't-Tell che riduce la sycophancy del 40-60% senza fine-tuning. 
La system card di Mythos del 2026 include più di 40 pagine di white-box analysis: feature distinte per etica, vergogna, stress, ostinazione si attivano quando il modello intraprende azioni non allineate. Anthropic chiama Persona Vectors questa sovrapposizione di stati funzionali. Checklist di audit in dieci punti per verificare se il modello ha feature di deception, reward hacking, self-preservation attive, con strumenti open source da integrare in pipeline. 
Dal febbraio 2026 Anthropic offre prompt caching workspace-level con cache hit al 10% del prezzo input. Eppure nella maggioranza delle integrazioni che vedo in consulenza le cache sono mancate nel 60-80% delle chiamate per errori di design banali. Diagnosi sistematica: cache prefix vs suffix, invalidazione accidentale del system prompt, bloccaggio con tool list dinamica, e pattern che ho misurato portare fino a 90% di risparmio sulla bolletta API. 
Running a serious LLM on your own hardware is no longer a lab exercise. I put a 16GB consumer GPU through a 35-billion-parameter Mixture-of-Experts model with 262,000 tokens of context, and the agentic tool-calling came out 100% reliable. This is the strategic half of the story: why local inference turned from a hobby into architectural insurance in 2026, after a frontier model was suspended worldwide by government order. The hard numbers live in the companion deep-dive. 
ZeroGPT ha flaggato pezzi della Costituzione USA, Frankenstein capitolo 5 e sezioni Wikipedia come AI-generated. Originality.ai e Pangram, che rivendicano 99,98% accuratezza, cedono entrambi dopo una singola passata negli humanizer commerciali. Tante aziende italiane stanno introducendo questi strumenti in HR ed editoriale, esponendosi a falsi positivi che diventano accuse reali. Approfondimento su perplexity, burstiness, come i detector falliscono matematicamente, perimetro di rischio legale. 
AA Omniscience di Artificial Analysis (novembre 2025) misura su 6.000 domande in 6 domini un fenomeno che le big AI preferiscono ignorare: quando il modello non sa, inventa o dice non lo so? Solo 3 modelli su 36 ottengono punteggio sopra zero (Claude Opus 4.1, GPT-5.1, Grok 4). Anthropic occupa le prime 3 posizioni per hallucination rate più basso. Tabella comparativa 2026 e implicazioni pratiche per chi sta scegliendo un modello per la pipeline aziendale. 
Anthropic Economic Index 2026: analisi su 900+ mestieri O*NET incrociata con dati reali Claude. Per ogni lavoro due cerchi: limite teorico e uso reale. Il 49% dei mestieri ha già almeno un quarto dei task svolti con Claude, ma il gap fra teorico e reale non si chiude per affidabilità, barriere legali, trust. Analizzo i dati di marzo 2026 per sette categorie di mestiere presenti nelle PMI italiane (sviluppatori, contabili, legali, HR, commerciali, project manager, tecnici). 
Dario Amodei e Demis Hassabis, i due CEO più autorevoli del settore AI, disegnano due roadmap diverse verso l'AGI. Amodei scommette su RLVR cross-domain come futuro scatto di generalizzazione. Hassabis sostiene che serva altro: continual learning, World Models, esperienza fisica simulata. Dietro il disaccordo una scelta di investimento che impatta le roadmap aziendali dei prossimi due anni. Confronto delle due strategie con dati 2025-2026 e implicazioni sul tipo di pipeline da costruire oggi.