Categoria

Circuit Breaker

Pagina 1 di 1

Circuit Breaker: il pattern che isola un LLM lento dal resto del sistema

Un LLM in produzione è una dependency lenta, non deterministica e occasionalmente indisponibile. Senza circuit breaker, un picco di latenza o un downtime API trascina tutto il sistema dietro: thread bloccati, worker saturati, frontend che timeoutano. Il circuit breaker isola l'instabilità in un modo che il resto del sistema può gestire.

In questa categoria scrivo di circuit breaker applicato: implementazione in Laravel e Symfony per integrazioni Anthropic/OpenAI, configurazione di soglie e timeout in funzione del workload reale, fallback deterministico quando il modello è giù, monitoring del circuit state con alert.

Se hai integrazioni AI senza pattern di resilienza, parliamone. Oppure scopri il mio approccio.

LLM Automation Software Architecture Circuit Breaker OpenTelemetry Refactoring

L'architettura del codebase AI-friendly: deep modules, AI come dependency, e perché il debito non si refactora da solo

L'architettura del codebase AI-friendly: deep modules, AI come dependency, e perché il debito non si refactora da solo Architetture pensate per umani aiutano l'AI di più di architetture pensate per l'AI. Moduli profondi con interfacce semplici. AI integrata come dependency lenta e non deterministica, dietro circuit breaker e fallback. E la verità che spinge il mercato in direzione opposta: il debito accumulato oggi non sarà refactorato da nessun modello futuro, perché refactoring richiede intent originale, non sintassi. Continua a leggere
Ultima modifica: