Containerizzare LLM self-hosted su VPS con GPU: nvidia-container-toolkit, orchestrazione di modelli multipli
Containerizzare un LLM self-hosted non è come containerizzare PHP-FPM. Serve nvidia-container-toolkit per passthrough GPU, gestione dei modelli come persistent volume, orchestrazione di modelli multipli (uno generalista, uno specializzato, un embedding model) con routing intelligente per caso d'uso. Ti mostro l'architettura Docker Compose che uso su VPS GPU: configurazione GPU passthrough, persistent cache, health check, monitoring dei VRAM consumption e risposta alle OOM. Continua a leggere
Ultima modifica:
La build Docker di un'applicazione Laravel richiedeva 8 minuti ogni volta. Con l'ottimizzazione del layer caching (dipendenze Composer separate dal codice applicativo), multi-stage build e l'immagine finale Alpine, siamo scesi a 90 secondi. Il CI è diventato abbastanza veloce da aspettare il feedback. 
I test con SQLite in memoria non trovano i bug che nascono dalle differenze tra SQLite e MySQL. Con Testcontainers per PHP, ogni test di integrazione ottiene un'istanza MySQL reale in un container Docker, azzerata tra le esecuzioni. Ho adottato questo approccio per un cliente e-commerce: i bug in staging sono scesi del 60%. 
Il 60% degli incidenti di sicurezza che gestisco derivano da software non aggiornato. Ho implementato un sistema di aggiornamento automatico dei container Docker con Watchtower configurato in modalità monitor, validazione tramite test di smoke test prima del deploy e rollback automatico in caso di health check fallito. 
Ho scansionato con Trivy le immagini Docker di cinque clienti. Il risultato: immagine php:8.2-fpm con 147 CVE, di cui 12 critiche. L'immagine non era stata aggiornata da otto mesi. Vi mostro il processo di hardening: base image minimale, utente non-root, multi-stage build e pipeline di aggiornamento automatico. 
Docker Compose va bene per la produzione di una PMI - ma solo se usato nel modo giusto. Ho visto container configurati senza restart policy, volumi montati su /tmp, secrets in variabili d'ambiente nel file compose. Vi mostro i pattern corretti e i cinque errori più frequenti che trovo nei subentri. 
Nginx ha i suoi pregi, ma quando gestisci 12 applicazioni su un singolo VPS e ogni deploy richiede modifiche manuali alla configurazione, il costo operativo esplode. Ho migrato un cliente con 6 domini Laravel e 3 API Symfony su Traefik: certificati TLS automatici, dashboard web, zero restart per il deploy. 
Il Sysdig 2024 Cloud-Native Security Report documenta che il 91% delle scansioni runtime fallisce e l'83% dei container in produzione gira come root. NIST SP 800-190 (Application Container Security Guide) e l'OWASP Docker Security Cheat Sheet (14 regole) definiscono il framework di hardening. Un Dockerfile multi-stage con utente non-root, --cap-drop=ALL, --read-only e scansione Trivy in CI/CD riduce la superficie d'attacco da decine di CVE a single digits.