Monitoring di LLM in produzione: osservabilità su qualità, costi e anomalie nelle pipeline AI
Deployare un LLM in produzione senza monitoring è come deployare PHP senza log: funziona fino a che non funziona, e capire perché è un incubo. Ti mostro lo stack di osservabilità open source che ho costruito: tracking token e costi per request, latenza p95, evaluation automatica della qualità con LLM-as-judge, alert su comportamenti anomali. Con integrazione Prometheus + Grafana. Continua a leggere
Ultima modifica:
Mettere un LLM in produzione senza monitoring è come deployare un'applicazione PHP senza log. Ho costruito un layer di observability per tre sistemi AI di clienti: cost tracking per richiesta, latenza p95, valutazione automatica della qualità delle risposte e alert su comportamenti anomali. Vi mostro gli strumenti open source che uso. 
Le chiamate LLM sono lente (5-30 secondi), costose (€ per token), soggette a errori transitori (rate limit, 529 overloaded). Farle sincrone nel ciclo HTTP è un anti-pattern garantito. La pipeline giusta passa da Horizon con job dedicati: retry con backoff esponenziale per errori transitori, cost tracking per job con alerting anomalie, timeout management che distingue tra retry-safe e fatal. Ti mostro l'architettura completa con codice reale che uso nella mia pipeline personale su Claude API.