vLLM batte Ollama quando: guida alla scelta del runtime di inference self-hosted
Ollama è il default per iniziare, ma non regge ogni carico. Confronto tecnico dei runtime di inference self-hosted: vLLM per throughput e batching su GPU, TGI e sglang per scenari specifici, llama.cpp server per hardware modesto. Quando ciascuno è la scelta giusta, in base a hardware disponibile, concorrenza richiesta e vincoli di latenza. Per chi porta l'inference on-prem dopo aver deciso di non dipendere da un'API di frontiera. Continua a leggere
Ultima modifica:
La retention obbligatoria a 30 giorni imposta sui modelli Mythos-class, anche per chi aveva zero-data-retention, era già un argomento per l'inference on-prem. La sospensione di Fable 5 del 12 giugno 2026 ne aggiunge un secondo, più forte: la disponibilità. Per una PMI con vincoli GDPR, NIS2 o sovranità del dato, il self-hosting con Ollama o vLLM è l'unica architettura immune sia alla retention imposta sia al kill-switch sovrano. Quando conviene davvero e cosa costa. 
The companion to the Ornith-vs-Qwable benchmark turns from which model to what it costs. I measured the power a 9B coding model draws on a 16GB GPU, then set the energy bill against Claude's and Copilot's 2026 list prices: the marginal cost per million tokens is one to two orders of magnitude below any API tier. But the card only pays off on real token volume, autocomplete alone loses to Copilot's flat plan, and 16GB is a single-stream device: you scale by adding cards, not developers. 
Il 9 giugno 2026 Anthropic lancia Fable 5, il modello più capace mai reso pubblico; il 12 giugno il governo USA ne impone la sospensione globale con una direttiva di export control. Per un decisore che ha messo l'AI in produzione non è una notizia di settore: è la dimostrazione che dipendere da un singolo frontier model non è solo rischio commerciale o tecnico, ma di continuità imposta dall'alto: disponibilità, confidenzialità e portabilità in un colpo solo. 
Il crawl-to-referral ratio di Anthropic è 73.000:1, quello di OpenAI 1.700:1. Il deal storico 'contenuto in cambio di traffico' è rotto. Cloudflare ha risposto con AI Crawl Control e Content Signals Policy, dal luglio 2025 in default-block per i crawler AI sul free tier. Approfondisco le tre categorie (search, ai-input, ai-train), come distinguere senza rompere SEO, il pay-per-crawl beta, e l'impatto strategico dell'acquisizione Human Native di gennaio 2026. 
Self-hosting di LLM medi (Llama 3 70B, Mistral Large) richiede GPU di classe A100 o H100 che non trovi su Hetzner o OVH tradizionali. I provider specializzati sono Scaleway (EU, GDPR-friendly), Lambda Labs (best performance, US-based), RunPod (cheapest spot instances). Ti mostro il confronto su workload reali: costi orari effettivi per token, latenza, affidabilità dell'orchestrazione, compliance GDPR per PMI italiane che non possono esportare dati fuori dall'UE. 
OwnCloud è stato a lungo la via classica per costruire un cloud aziendale economico e autogestito. Nel frattempo quel progetto si è spaccato in due: OwnCloud ha riscritto il motore in Go abbandonando PHP, e il fork Nextcloud è diventato lo standard del self-hosting. Questo articolo aggiorna la guida al 2026: quale piattaforma scegliere, come la metto in produzione su VPS con reverse proxy e TLS, e perché la vera ragione per autogestire un cloud non è più il prezzo, ma la sovranità del dato. 
Un cliente stava per comprare tre server fisici da 80.000€. L'analisi che ho fatto su cinque anni di TCO mostrava che il cloud europeo era il 30% più economico, con flessibilità e affidabilità superiori. Il ragionamento Capex vs Opex in IT non è semplice - vi mostro i fattori che contano davvero. 
Un'azienda manifatturiera con 30 dipendenti spendeva l'80% del budget IT in hardware fisico obsoleto e il 5% in sicurezza. Il benchmark di settore è esattamente l'inverso. Vi mostro come ho aiutato tre clienti a riallocare il budget IT con ROI misurabile entro 12 mesi, partendo dai dati reali. 
Un cliente aveva tutto su Azure: database managed, storage, CDN, Active Directory. Quando il contratto Enterprise è scaduto e il rinnovo era il triplo, non riusciva a migrare perché tutto era profondamente integrato con servizi proprietari. Vi mostro come quantificare il rischio di lock-in e come costruire exit strategy preventive.