Quante volte abbiamo letto di agenti AI capaci di migliorarsi grazie al feedback? La narrativa è ormai consolidata: si fornisce un'istruzione correttiva, il modello ci ragiona sopra e produce una risposta migliore. Peccato che un nuovo studio pubblicato su arXiv metta seriamente in dubbio questa catena causale.
I ricercatori hanno costruito un protocollo sperimentale rigoroso che separa tre effetti spesso confusi: il vantaggio del feedback reale, quello del feedback generato dal modello stesso, e quello derivante semplicemente dal fatto di avere più tentativi a disposizione. Hanno testato tredici modelli open-weight su quattro benchmark impegnativi — tra cui problemi matematici olimpionici, sfide di programmazione competitiva e ARC-AGI — alternando i ruoli di studente e insegnante.
Il risultato più scomodo: nella maggior parte dei casi, il miglioramento osservato nei sistemi multi-turno non è prova che il feedback venga effettivamente usato. Avere semplicemente più giri di elaborazione — anche senza istruzioni significative — produce risultati simili. Il cosiddetto self-feedback, cioè quando un modello commenta e corregge le proprie risposte, si rivela quasi inutile rispetto al semplice retry.
Dove il feedback fa davvero la differenza è quando arriva da un teacher esterno capace di fornire indicazioni specifiche e non banali, che vadano oltre il generico 'riprova'. In questi casi i guadagni sono misurabili e reali.
Ma la scoperta forse più importante riguarda dove si trova il vero collo di bottiglia: non nel teacher, ma nello studente. La capacità del modello ricevente di interpretare e applicare il feedback conta più dell'identità o della qualità di chi lo fornisce. In altri termini, avere un ottimo sistema di feedback non serve a nulla se il modello che lo riceve non è in grado di agire su di esso in modo efficace.
Per chi progetta sistemi AI in produzione, le implicazioni sono concrete: qualsiasi architettura basata su loop di feedback dovrebbe essere confrontata con una baseline che si limiti a riprovare più volte senza istruzioni aggiuntive. Se il delta è minimo, la complessità aggiuntiva non si giustifica. Il framework sperimentale usato dai ricercatori è disponibile pubblicamente per chi voglia applicarlo ai propri casi d'uso.
Punti chiave
- Il miglioramento nelle interazioni multi-turno è spesso dovuto al semplice fatto di riprovare più volte, non all'utilità del feedback stesso
- Il feedback generato autonomamente dal modello (self-feedback) non porta vantaggi significativi rispetto al semplice retry senza istruzioni
- La capacità del modello 'studente' di sfruttare il feedback è più determinante dei miglioramenti rispetto all'identità o qualità del 'teacher'
Perché è importante
Chi sta costruendo pipeline con agenti AI che si auto-correggono o ricevono feedback in loop rischia di sovrastimare l'efficacia reale di questi meccanismi, sprecando risorse computazionali e complessità architetturale.
A chi serve
Sviluppatori di agenti AI, ricercatori, CTO e product manager che lavorano su sistemi conversazionali o pipeline di automazione basate su LLM.
Leggi la fonte originale ↗