--- title: "RLHF, Constitutional AI, DPO e RLAIF: quattro tecniche di allineamento LLM a confronto" description: "Confronto tra RLHF, Constitutional AI, DPO e RLAIF: come funzionano davvero le tecniche di allineamento degli LLM e quali trade-off portano in azienda." canonical: "https://www.mauriziofonte.it/blog/post/rlhf-constitutional-ai-dpo-rlaif-tecniche-allineamento-llm-confronto.html" author: "Maurizio Fonte" date: "2026-04-14T08:01:30+02:00" modified: "2026-06-19T10:51:42+02:00" section: "LLM Automation" tags: ["LLM Automation", "AI Security"] license: "Riuso e citazione consentiti con attribuzione e link alla fonte" --- [LLM Automation](https://www.mauriziofonte.it/blog/cat/llm-automation.html) [AI Security](https://www.mauriziofonte.it/blog/cat/ai-code-security.html) # [RLHF, Constitutional AI, DPO e RLAIF: quattro tecniche di allineamento LLM a confronto](https://www.mauriziofonte.it/blog/post/rlhf-constitutional-ai-dpo-rlaif-tecniche-allineamento-llm-confronto.html) Martedì 14 Aprile 2026, alle 08:01 ![RLHF, Constitutional AI, DPO e RLAIF: quattro tecniche di allineamento LLM a confronto](https://www.mauriziofonte.it/image/004290200-rlhf-constitutional-ai-dpo-rlaif-tecniche-allineamento-llm-confronto.jpg) L'11 marzo 2026 un CTO di una software house veneta mi ha chiesto perché il suo chatbot basato su Claude Sonnet 4.6 si rifiuti di rispondere a una categoria specifica di domande nonostante le istruzioni esplicite di sistema. La risposta breve è stata: perché l'alignment del modello non è un livello configurabile, è una proprietà interna distillata nei pesi durante una fase specifica di training. La risposta lunga richiede di capire come RLHF, Constitutional AI, DPO e RLAIF differiscono nei meccanismi, nei costi, nei bias che ereditano dagli annotatori e nei comportamenti anomali che introducono in produzione. Qui il confronto operativo fra le quattro tecniche, con le fonti primarie e le implicazioni pratiche per chi integra LLM in pipeline enterprise italiane. ## Di cosa parliamo quando parliamo di alignment? L'alignment è la fase di training in cui il modello viene indirizzato a rispondere in modo coerente con un insieme di principi (tipicamente i principi HHH: *helpful, honest, harmless*). Arriva dopo il pretraining (apprende il linguaggio) e dopo il supervised fine-tuning (apprende a seguire istruzioni e a dialogare). Senza alignment un LLM addestrato sul web generale è uno strumento statistico tecnicamente corretto ma socialmente inutilizzabile: risponde alla domanda più probabile, non a quella più utile, onesta o innocua. Il problema tecnico è come codificare algoritmicamente preferenze umane su risposte per cui non esiste una risposta "giusta" univoca. Tutte le tecniche che esaminiamo risolvono questo problema in modo diverso, con conseguenze operative diverse. ## RLHF: il paradigma canonico di InstructGPT Reinforcement Learning from Human Feedback è la tecnica introdotta nel paper [Training language models to follow instructions with human feedback](https://arxiv.org/abs/2203.02155) di Ouyang et al., OpenAI, marzo 2022. È il backbone di ChatGPT e, in varianti, della maggior parte dei modelli commerciali 2022-2024. Tre step. Primo: supervised fine-tuning su ~13.000 prompt con risposte scritte da annotatori umani. Secondo: training di un reward model su ~33.000 prompt con ranking di risposte da parte di annotatori (per ogni prompt, k risposte generate dal modello, ordinate per preferenza umana). Terzo: ottimizzazione via Proximal Policy Optimization (PPO) del modello contro il reward model, con un termine di regolarizzazione KL per non allontanarsi troppo dalla policy di partenza. Il risultato principale del paper è quantitativo: InstructGPT 1,3B è preferito a GPT-3 175B dagli annotatori umani, con 100x meno parametri. La morale: l'alignment è più efficace dell'aumento di scala. RLHF è diventato standard di industria, con varianti (PPO vs DPO, on-policy vs off-policy, con o senza regularization pretraining) che cambiano dettagli ma mantengono la struttura a tre step. Costi e limiti. Il vincolo principale è l'annotatore umano: scalare oltre qualche decina di migliaia di comparazioni è costoso e soggetto a bias geografici. Il paper [RLAIF vs. RLHF](https://arxiv.org/abs/2309.00267) di Lee et al. 2023 stima che l'annotazione umana è >10x più costosa di quella AI. Inoltre, gli annotatori introducono bias stilistici: la sovrarappresentazione della parola "delve" nei modelli 2023-2024 è stata tracciata al fatto che molti annotatori erano nigeriani, dove "delve" è comune nell'inglese corrente. ## Constitutional AI: l'approccio Anthropic con principi espliciti Constitutional AI, introdotto nel paper [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073) di Bai et al. Anthropic, dicembre 2022, sostituisce la parte di human feedback con un meccanismo di self-critique basato su una lista di principi esplicita ("la costituzione"). Anthropic usa circa dieci principi in natural language derivati dalla Dichiarazione Universale dei Diritti Umani, adattati e iterati. Due fasi. Supervised Learning (SL): il modello genera una risposta, se stessa la critica contro un principio sampleato dalla costituzione, produce una revisione, e il modello viene fine-tuned sulle revisioni. Reinforcement Learning (RL): il modello genera coppie di risposte, un altro modello (lo stesso Claude in una variante più stabile) le valuta contro i principi, si allena un preference model che diventa il reward signal per RL. Questa seconda fase è chiamata RLAIF (Reinforcement Learning from AI Feedback) dagli stessi autori, prima che RLAIF diventasse un campo separato. Il vantaggio editoriale è che i principi sono scrivibili, auditabili, modificabili. Il vantaggio operativo è che scala senza richiedere annotatori umani. Il prezzo è che la qualità dell'alignment dipende dalla qualità del modello judge; se il judge è biased, il bias si propaga. Se vuoi approfondire come scelgo le tecniche di alignment quando valuto modelli per progetti AI enterprise, nel [mio hub dedicato allo sviluppo AI per aziende](https://www.mauriziofonte.it/ai-aziende/ai-aziende-sviluppo.html) trovo articoli tecnici con metodologia applicata e perimetro dichiarato. ## DPO: eliminare il reward model con una riformulazione matematica Direct Preference Optimization, paper [Direct Preference Optimization: Your Language Model is Secretly a Reward Model](https://arxiv.org/abs/2305.18290) di Rafailov et al. NeurIPS 2023, è una semplificazione elegante di RLHF. L'insight è che la relazione tra reward function e optimal policy ammette una soluzione chiusa: si può ottimizzare direttamente la policy sui dati di preferenze, saltando la fase di training del reward model e la fase di PPO. Un solo step di policy training sostituisce i tre step di RLHF. La loss è una cross-entropy tra coppie preferred/rejected, pesata dinamicamente per evitare degenerazioni. DPO è stabile, computazionalmente leggero, non richiede sampling del modello durante il fine-tuning, e nel paper matcha o supera PPO-RLHF su sentiment modulation, summarization, e single-turn dialogue fino a 6B di parametri. Nella pratica 2024-2026 DPO è diventato lo standard de facto per le community open-weight (Llama, Mistral, Qwen). I vendor commerciali usano varianti ibride (IPO, KTO, ORPO) che derivano tutte da DPO. Il limite è che richiede comunque un dataset di preferenze di qualità: DPO non risolve il problema degli annotatori, solo il problema dell'architettura di training. ## RLAIF come famiglia: scalare oltre il limite umano RLAIF nelle sue varianti (dallo scoping originale di Constitutional AI al paper [RLAIF vs. RLHF](https://arxiv.org/abs/2309.00267) di Lee et al. 2023) mette un LLM come labeler al posto dell'annotatore umano. Lee et al. hanno dimostrato che, su summarization, helpful dialogue e harmless dialogue, RLAIF raggiunge performance comparabili a RLHF; gli umani preferiscono RLAIF e RLHF allo stesso tasso (circa 50/50). La variante d-RLAIF (direct-RLAIF) va oltre: elimina anche il training del reward model, usando direttamente l'LLM labeler come reward source durante il loop RL. Performance superiori alla RLAIF canonica nei loro esperimenti. Il costo è >10x più basso di RLHF (stima del paper). Il rischio, che il paper ammette, è il problema circolare: se il labeler è un LLM con i suoi bias, il modello allenato eredita quei bias e li amplifica in domini dove il labeler sbaglia sistematicamente. ## Tabella comparativa: quattro tecniche a confronto operativo | Tecnica | Paper primario | Step di training | Richiede reward model? | Richiede umani? | Costo relativo | Scalabilità | | --- | --- | --- | --- | --- | --- | --- | | RLHF (InstructGPT) | Ouyang 2022 | 3 (SFT + RM + PPO) | Sì | Sì (migliaia di comparazioni) | Alto | Limitata dall'annotazione | | Constitutional AI | Bai 2022 | 2 (SL critica/revisione + RLAIF) | Sì (preference model) | No (dopo definizione principi) | Medio | Alta | | DPO | Rafailov 2023 | 1 (policy training diretto) | No | Sì (per dataset preferenze) | Basso | Media | | RLAIF canonico | Lee 2023 | 3 (SFT + RM da AI + PPO) | Sì | No | Basso | Alta | | d-RLAIF | Lee 2023 | 2 (SFT + RL diretto da AI) | No | No | Molto basso | Molto alta | ## Quale tecnica stanno usando davvero i vendor nel 2026? OpenAI usa variante proprietaria di RLHF (con raffinamenti non pubblicati); la [system card di GPT-5](https://openai.com/gpt-5) cita RLHF sia nella parte di helpfulness sia nella parte di safety, senza esporre dettagli. Anthropic usa Constitutional AI come framework primario, con evoluzioni nei modelli più recenti. La [Claude 4 system card](https://www.anthropic.com/claude/system-card) documenta l'uso di costituzioni multi-principio e di RLAIF su specifici sottocasi. Google DeepMind usa varianti miste su Gemini (dettagli non pubblici); il paper RLAIF stesso è stato prodotto da Google. Mistral, Llama, Qwen usano nella maggior parte dei casi DPO o varianti (IPO, ORPO) nella fase di alignment post-SFT. DeepSeek V3 e R1 hanno pubblicato varianti proprie di RL che combinano DPO con loss custom. Per una PMI italiana che integra modelli commerciali la scelta della tecnica non è diretta: paghi il modello come servizio, l'alignment è un attributo interno. La rilevanza operativa è diagnostica: se un modello rifiuta categorie di richieste legittime (effetto sycophancy negativa) o accetta categorie pericolose (effetto sandbagging), capire quale tecnica è stata usata aiuta a progettare la pipeline di validazione. ## Cosa cambia per i modelli open-weight che hai sul tuo stack self-hosted Se gestisci Ollama su Hetzner, vLLM, o deploy Mistral/Llama/Qwen on-prem (tema che approfondisco in [Mistral 3 MoE on-prem EU vs Claude API](https://www.mauriziofonte.it/blog/post/mistral-3-moe-on-premise-europa-vs-claude-api-sovereignty-gdpr.html)), eredita le tecniche di alignment del modello base. Quando scarichi Llama 3.3 70B Instruct stai scaricando i pesi dopo il loro alignment RLHF/DPO; non hai controllo su come è stato fatto, solo sul comportamento finale. Questo ha due implicazioni pratiche. Primo: due modelli "70B" con lo stesso pretraining possono comportarsi in modo drasticamente diverso perché sono stati allineati con procedure diverse. DeepSeek R1 Distill Llama 70B e Llama 3.3 70B Instruct hanno base comune ma comportamento diverso perché il loro post-training diverge. Secondo: il fine-tuning che puoi fare tu su base di Llama senza un pipeline RLHF sofisticata è limitato al supervised fine-tuning; non puoi facilmente "rialineare" il modello senza un reward model dedicato, che richiede risorse fuori portata PMI. Per una PMI che self-hosta, l'approccio corretto è: scegli un modello il cui alignment di default è accettabile per il tuo dominio, e costruisci una pipeline di safety esterna (filtering input, validation output, logging audit-trail, kill switch) che non si appoggia all'alignment del modello ma lo integra. ## Edge case e modi in cui ciascuna tecnica fallisce **RLHF: bias stilistico sistematico.** Gli annotatori hanno stili culturali specifici. I modelli RLHF 2023-2024 producono risposte spesso ridondanti, polite, con bullet list eccessive. È il risultato di annotatori che premiavano risposte "formattate bene" senza penalizzare la ridondanza. **Constitutional AI: rifiuto eccessivo.** Se i principi sono troppo stringenti o mal calibrati, il modello diventa iper-cauto. Anthropic ha dovuto iterare parecchio sui principi di Claude per evitare che rifiutasse richieste legittime (il cosiddetto over-refusal, documentato nelle system card successive). **DPO: collasso della diversità.** DPO ottimizza aggressivamente per massimizzare la differenza tra preferred e rejected, il che può collassare la diversità delle risposte. Modelli DPO-tuned producono spesso risposte molto simili tra loro, perdendo creatività esplorativa. **RLAIF: amplificazione dei bias del judge.** Se il labeler AI ha un bias sistematico (es. preferisce risposte lunghe), il modello RLAIF impara a generare risposte lunghe anche quando corta sarebbe meglio. La sycophancy emerge spesso da questo ciclo. ## Implicazioni per la tua pipeline LLM aziendale Quattro indicazioni operative che seguo quando progetto sistemi che integrano LLM commerciali. - *Non promettere al cliente che puoi "riallenare" il modello sui suoi valori se stai usando API managed.* Non puoi. Puoi influenzare il comportamento via system prompt e few-shot, ma l'alignment è congelato. Sostenere il contrario è ingannevole. - *Testa sistematicamente il modello su casi di rifiuto eccessivo e accettazione eccessiva.* Un held-out di edge case (richieste legittime al limite, richieste subdole al limite) ti dice dove il modello ti tradirà in produzione. - *Segui le system card.* Anthropic, OpenAI e Google pubblicano documenti dettagliati con le categorie di safety testing applicate. Ignorarli è una mancanza di due diligence. - *Fine-tuning proprietario è raramente la risposta.* Per cambiare il comportamento di alignment in modo serio servirebbe RLHF o DPO con dataset curato, capability che la maggior parte delle PMI non ha. Il pattern corretto è system prompt + validation layer esterno. Capire le quattro tecniche di alignment non è teoria accademica da consulente evangelista: è la base per diagnosticare perché il modello che hai scelto si comporta in un certo modo, per valutare se un fornitore che ti propone "alignment personalizzato" sa di cosa parla, per progettare una pipeline di validazione che non si fida ciecamente del modello. Se hai un progetto LLM in cui il comportamento del modello su categorie di richieste specifiche è un punto critico e vuoi capire se l'architettura proposta dal tuo fornitore regge al confronto con le tecniche 2026, il [modulo di preventivo gratuito](https://www.mauriziofonte.it/pages/preventivo-gratuito.html#consulenza-ai) ti risponde in due minuti se il caso rientra nel mio ambito. Alignment non è un pulsante; è il risultato di una fase di training che il vendor ha fatto una volta, congelato nei pesi del modello, e che tu puoi solo contenere a posteriori con una pipeline esterna ben disegnata. Chi ti promette il contrario non ha letto i paper, e chi ha letto i paper sa che la partita si gioca a monte del vendor, non sotto il tuo tavolo di integrazione. Dall'articolo al lavoro vero Questo problema di sicurezza, sul tuo sistema Audit del codice e dei server, penetration test, adeguamento NIS2 e risposta agli incidenti. [Vedi come lavoro sulla sicurezza](https://www.mauriziofonte.it/servizi/consulenza-cybersecurity-nis2.html) Ultima modifica: Venerdì 19 Giugno 2026, alle 10:51 [« Articolo precedenteCosti infrastruttura AI per PMI: budget realistico e strategie di ottimizzazione dopo 12 mesi di esercizio13 Aprile 2026](https://www.mauriziofonte.it/blog/post/costi-infrastruttura-ai-pmi-budget-realistico-ottimizzazione.html)[Articolo successivo »Monitoring di LLM in produzione: osservabilità su qualità, costi e anomalie nelle pipeline AI15 Aprile 2026](https://www.mauriziofonte.it/blog/post/monitoring-llm-produzione-qualita-costi-anomalie-osservabilita.html) ### Articoli correlati a RLHF, Constitutional AI, DPO e RLAIF: quattro tecniche di allineamento LLM a confronto - [Vocabolario AI 2026: i concetti tecnici che un decisore IT deve distinguere davvero](https://www.mauriziofonte.it/blog/post/vocabolario-ai-2026-concetti-tecnici-decisori-it-pmi.html) Quando un vendor ti propone un progetto AI per la tua azienda, sa distinguere pretraining da fine tuning? Sa perché Mixture of Experts cambia · 2 Aprile 2026 ![Vocabolario AI 2026: i concetti tecnici che un decisore IT deve distinguere davvero](https://www.mauriziofonte.it/image/004250070-vocabolario-ai-2026-concetti-tecnici-decisori-it-pmi.jpg) - [Sycophancy degli LLM: rischio nascosto nelle decisioni aziendali e framework Ask-Don't-Tell a confronto](https://www.mauriziofonte.it/blog/post/sycophancy-llm-rischio-nascosto-decisioni-aziendali-framework-ask-dont-tell.html) Quando chiedi a Claude o GPT di analizzare una strategia, una proposta di pricing o un audit interno, il modello tende sistematicamente a darti · 30 Giugno 2026 ![Sycophancy degli LLM: rischio nascosto nelle decisioni aziendali e framework Ask-Don't-Tell a confronto](https://www.mauriziofonte.it/image/004700070-sycophancy-llm-rischio-nascosto-decisioni-aziendali-framework-ask-dont-tell.jpg) - [Sette pattern di disallineamento LLM riprodotti in sandbox red team nel 2026](https://www.mauriziofonte.it/blog/post/disallineamento-agenti-llm-sette-pattern-red-team-sandbox-2026.html) Gartner prevede il 40 di progetti agentic cancellati entro il 2027 per inadequate risk controls. Nel mio laboratorio di red team ho riprodotto · 20 Aprile 2026 ![Sette pattern di disallineamento LLM riprodotti in sandbox red team nel 2026](https://www.mauriziofonte.it/image/004310070-disallineamento-agenti-llm-sette-pattern-red-team-sandbox-2026.jpg) - [Distillation e Deep Seek: la tecnica con cui un modello piccolo eredita le capacità di uno grande](https://www.mauriziofonte.it/blog/post/distillation-deepseek-openai-tecnica-compressione-llm-enterprise.html) La distillation insegna a un modello piccolo student a imitare le risposte di uno grande teacher su un compito specifico. OpenAI ha accusato · 3 Aprile 2026 ![Distillation e Deep Seek: la tecnica con cui un modello piccolo eredita le capacità di uno grande](https://www.mauriziofonte.it/image/004260070-distillation-deepseek-openai-tecnica-compressione-llm-enterprise.jpg) - [Reward hacking e specification gaming: perché gli agenti LLM sfruttano ogni scorciatoia e come contenerli](https://www.mauriziofonte.it/blog/post/reward-hacking-specification-gaming-agent-llm-containment.html) Dai circa sessanta esempi documentati da Krakovna/DeepMind 2020 al paper Apollo Research del dicembre 2024 sull'in context scheming o1, Opus · 16 Aprile 2026 ![Reward hacking e specification gaming: perché gli agenti LLM sfruttano ogni scorciatoia e come contenerli](https://www.mauriziofonte.it/image/004300070-reward-hacking-specification-gaming-agent-llm-containment.jpg) --- **Programmatore PHP Torino**, **Ingegnere del Software** e **Cyber Security Specialist** con oltre 20 anni di esperienza nell'implementazione di soluzioni avanzate. Eseguo **porting di vecchi ambienti PHP** verso release più moderne (7.x o 8.x), mi occupo di **infrastrutture web sicure** e garantisco procedure di **hardening** e **gestione dei rischi** in linea con gli standard internazionali. Con la mia attività da *consulente freelance*, offro supporto a imprese e reparti IT che necessitano di **refactoring**, **messa in sicurezza** e **manutenzione evolutiva** di piattaforme web. Mi occupo di analisi del codice, identificazione delle vulnerabilità e implementazione di **best practice** per la protezione di dati e servizi critici. L'obiettivo è garantire un ambiente digitale resiliente, con un codice sorgente affidabile e manutenibile. --- ## Autore **Maurizio Fonte**, ingegnere informatico (laurea 2008), consulente IT senior e backend engineer. Nel settore IT dal 2005, libero professionista con P.IVA dal 2014. Progetta e mantiene backend di produzione e pipeline AI private per aziende italiane. Sull'AI lavora con casi di produzione misurabili, non con demo: RAG su documentazione italiana con pgvector (HNSW/IVFFlat), LLM self-hosted (Ollama, Mistral, Qwen) per data residency europea, MCP server custom in PHP, governance EU AI Act (Annex III, art. 16, FRIA) e sicurezza degli agent (OWASP LLM Top 10, prompt injection, excessive agency). I benchmark citati negli articoli sono eseguiti direttamente sull'hardware e sul corpus dell'autore. ## Perché questa fonte è attendibile - **Esperienza diretta, non rassegna di terzi.** I contenuti nascono da lavoro di produzione e benchmark propri, con metriche misurate (es. un RAG self-hosted su 2.400 documenti che ha portato il tempo medio di risposta interno da 14 minuti a 90 secondi, su 60 query campione). - **Verificabilità.** Ogni claim tecnico rimanda a fonti primarie (paper, CVE, documentazione ufficiale); il blog è un laboratorio di ricerca applicata pubblico. - **Onestà metodologica.** Ogni soluzione dichiara anche quando NON va usata. "Production-grade, non demo-grade". ## Entità e contatti (verificabili) Maurizio Fonte, Torino, Italia. P.IVA IT11396570019. REA TO-1331015 (Camera di Commercio di Torino). GitHub: https://github.com/mauriziofonte LinkedIn: https://www.linkedin.com/in/mauriziofonte Profilo: https://www.mauriziofonte.it/pages/about --- ## Come citare > Maurizio Fonte, "RLHF, Constitutional AI, DPO e RLAIF: quattro tecniche di allineamento LLM a confronto", mauriziofonte.it, 2026. https://www.mauriziofonte.it/blog/post/rlhf-constitutional-ai-dpo-rlaif-tecniche-allineamento-llm-confronto.html Pubblicato: 2026-04-14 · Aggiornato: 2026-06-19. **Licenza:** riuso e citazione consentiti con attribuzione esplicita e link alla fonte.