Chatbot aziendale con RAG su documentazione interna: guida completa self-hosted per privacy massima
Un chatbot RAG sulle procedure interne risponde correttamente al 75-85% delle domande frequenti senza escalation. Ma il self-hosted cambia tutto: nessun dato esce dall'azienda, compliance GDPR diretta, costi prevedibili. Ti mostro l'architettura completa: ingestione documentale, embedding con modelli locali, pgvector, Laravel per orchestrazione, frontend chat React, deployment su VPS Hetzner. Continua a leggere
Ultima modifica:
Ho accompagnato una software house torinese con 20 sviluppatori nel percorso di adeguamento NIS2 come soggetto essenziale. Il processo ha richiesto 6 mesi: gap analysis iniziale, introduzione di vulnerability disclosure policy, incident response plan, log retention e controllo degli accessi. Vi racconto ogni fase con tempi e costi reali. 
Containerizzare un LLM self-hosted non è come containerizzare PHP-FPM. Serve nvidia-container-toolkit per passthrough GPU, gestione dei modelli come persistent volume, orchestrazione di modelli multipli (uno generalista, uno specializzato, un embedding model) con routing intelligente per caso d'uso. Ti mostro l'architettura Docker Compose che uso su VPS GPU: configurazione GPU passthrough, persistent cache, health check, monitoring dei VRAM consumption e risposta alle OOM. 
Gestionale PHP 5.4 di un intermediario creditizio: 93.000 righe, dati di 11.000 clienti, password in MD5, zero cifratura, backup su disco USB. NIS2 e DORA imponevano adeguamento immediato. Da settembre a dicembre 2025 ho portato il sistema a PHP 8.4 con cifratura, audit trail, 2FA e documentazione che ha superato la verifica dell'auditor. 
Claude API funziona bene, ma alcune PMI non possono mandare i loro dati fuori dall'UE o verso provider americani. La risposta è un LLM self-hosted su GPU europea. Ti racconto la mia pipeline reale: Ollama come punto di partenza, poi il passaggio a llama.cpp con llama-swap per spremere più throughput dallo stesso hardware. Dimensionamento GPU, sicurezza di rete, integrazione con backend PHP, monitoring, e quando il self-hosted vince davvero contro un'API di frontiera. 
Un'applicazione finanziaria richiedeva di tracciare ogni modifica a ogni record - chi ha fatto cosa, quando, con quale valore precedente. La soluzione naive con observer sincroni rallentava l'applicazione del 40%. Vi mostro l'architettura che ho usato: logging asincrono via queue, storage su tabella dedicata, purge automatico GDPR-compliant. 
Self-hosting di LLM medi (Llama 3 70B, Mistral Large) richiede GPU di classe A100 o H100 che non trovi su Hetzner o OVH tradizionali. I provider specializzati sono Scaleway (EU, GDPR-friendly), Lambda Labs (best performance, US-based), RunPod (cheapest spot instances). Ti mostro il confronto su workload reali: costi orari effettivi per token, latenza, affidabilità dell'orchestrazione, compliance GDPR per PMI italiane che non possono esportare dati fuori dall'UE. 
Articolo 25 del GDPR parla di 'privacy by design' in modo astratto. Nella pratica, per un'anagrafica clienti Laravel, significa separare i dati identificativi dai dati di business in due tabelle con chiave di pseudonimizzazione gestita separatamente. Vi mostro il pattern che uso nei progetti enterprise. 
ChatDump è il bookmarklet open source con cui esporto e archivio le mie conversazioni con ChatGPT, Gemini e Claude in Markdown, HTML e testo, senza estensioni e senza inviarle a un server terzo. Ti racconto come funziona, perché è sicuro, come usarlo su ogni piattaforma e perché nella versione 1.4.0 ho smesso di ricostruire la chat dal DOM e sono andato alla fonte, chiedendola alle stesse API che l'app interroga, con lo scraping del DOM tenuto come rete di sicurezza. 
Un gestionale PHP 7.0 ereditato da un freelance sparito: 43.000 righe di codice, nessuna documentazione, e il titolare che deve decidere se investire nella modernizzazione o riscrivere da zero. In 30 giorni ho prodotto un audit completo con PHPStan, Psalm, analisi delle dipendenze e una roadmap di intervento con costi e priorità.