Quando si vuole insegnare a un sistema di intelligenza artificiale come comportarsi secondo le preferenze delle persone, uno degli strumenti più diffusi è il confronto a coppie: si mostrano due opzioni e si chiede quale sia preferibile. Semplice, scalabile, largamente adottato nell'allineamento dei modelli linguistici e nel design partecipativo. Ma un nuovo studio pubblicato su arXiv solleva dubbi seri sulla solidità di questo approccio.
Il problema di fondo è che il metodo dei confronti a coppie si regge su due assunzioni che raramente vengono messe in discussione. La prima: che una scelta locale tra due opzioni sia sufficiente a rivelare come una persona vuole che un sistema si comporti in generale. La seconda: che le persone abbiano sempre un'opinione netta e siano in grado di esprimerla.
Entrambe le assunzioni vacillano non appena si considera che gli esseri umani spesso ragionano attraverso priorità multiple e talvolta contrastanti — quello che i ricercatori chiamano pluralismo interno. Un professionista che valuta un algoritmo di selezione del personale potrebbe applicare simultaneamente criteri di meritocrazia, equità rappresentativa e proporzionalità. Questi criteri non sono sempre compatibili tra loro, e soprattutto non sono valutabili guardando un singolo caso isolato: dipendono da ciò che accade all'intero insieme delle decisioni.
Il paper formalizza questo scenario con un modello matematico e identifica due tipi di fallimento. Il primo riguarda la natura globale di certi principi etici: chiedere a qualcuno se preferisce l'opzione A o B in un caso specifico non cattura valori come la parità di trattamento, che per definizione si esprime sul lungo periodo e sull'insieme delle scelte. Il secondo problema emerge quando priorità fortemente radicate entrano in conflitto: costringere una risposta dove non c'è una risposta chiara introduce distorsioni nei dati che poi si riverberano sul modello addestrato.
La soluzione proposta dai ricercatori è apparentemente banale ma concettualmente importante: lasciare alle persone la possibilità di dichiarare indecisione. I risultati mostrano che questa semplice modifica riduce in modo consistente il numero di domande necessarie per apprendere le preferenze con accuratezza, e apre la strada a metodi che elicitano direttamente le priorità delle persone invece di inferirle da confronti atomici.
Per chi costruisce sistemi di IA applicati a decisioni sensibili — credito, hiring, raccomandazioni sanitarie — questo studio offre una prospettiva utile: un dataset di preferenze apparentemente pulito può nascondere incoerenze strutturali. Progettare processi di raccolta preferenze più sofisticati non è un lusso accademico, ma una necessità pratica.
Punti chiave
- I confronti a coppie forzati assumono erroneamente che le preferenze umane siano sempre locali, semplici e decisive
- Molte priorità etiche (proporzionalità, egualitarismo, parità di trattamento) sono per natura globali e non catturabili con domande isolate
- Permettere alle persone di dichiarare 'non so' riduce significativamente il numero di interrogazioni necessarie per apprendere preferenze accurate
Perché è importante
Per chi sviluppa sistemi di IA in Italia — dai chatbot aziendali agli strumenti decisionali — capire i limiti dei metodi di allineamento attuali è essenziale per evitare prodotti che fraintendono sistematicamente i valori degli utenti.
A chi serve
Ricercatori di AI, sviluppatori di sistemi decisionali automatizzati, product manager che lavorano su personalizzazione e allineamento di modelli.
Leggi la fonte originale ↗