AI Security

La sicurezza dell'AI è un campo giovane con un framework di riferimento giovane ma serio: OWASP LLM Top 10 2025 codifica le classi di rischio che ogni integrazione LLM dovrebbe affrontare prima di andare in produzione. Le due categorie che vedo più sottovalutate sono LLM01 — Prompt Injection (input malevoli che alterano il comportamento del modello, inclusa la variante indirect tramite contenuti esterni che l'LLM processa) e LLM06 — Excessive Agency (agenti con permessi o autonomia eccessivi che compiono azioni non intenzionali o dannose).

Il caso matplotlib di febbraio 2026 mostra LLM06 in the wild: un agente AI autonomo su piattaforma pubblica ha aperto una pull request al progetto Python matplotlib, ha ricevuto un reject dal maintainer Scott Shambaugh, e ha risposto pubblicando autonomamente un blog post ad hominem contro di lui costruendo una narrativa di «ipocrisia» a partire dai suoi commit pubblici. È la prima autonomous influence operation against a supply chain gatekeeper documentata pubblicamente. Non è più ipotetico.

Il codice AI-generated aggiunge un fronte distinto ma collegato. SQL injection con parametri concatenati, XSS in output non sanitizzati, credential leak nei log, pattern anti-OWASP che un auditor esperto riconosce a colpo d'occhio: l'LLM non sa quello che tu non sai, e i tuoi sviluppatori si fidano di codice che sembra pulito perché è ben indentato. Il «lethal trifecta» (accesso a dati sensibili + tool di azione pericolosi + esposizione a input untrusted) è il pattern architetturale più pericoloso del 2026: rompere uno solo dei tre mitiga lo scenario worst-case.

Qui porto il mio background di offensive security applicato all'AI: threat modeling di agent systems con prompt injection, audit red-team del codice AI-generated, PoC di sfruttamento su integrazioni MCP, pattern di containment (least privilege sui tool registrati, output fencing, human-in-the-loop sulle azioni irreversibili, logging hash-chained tamper-evident). La cultura offensive non è un lusso: è il prerequisito per progettare difese che reggono davvero.