AgentLens: come valutare davvero gli agenti AI per il codice

Quando si parla di valutare un agente AI che scrive codice, il metro di giudizio più diffuso è brutalmente semplice: il test passa o no? Eppure chi usa questi strumenti ogni giorno sa bene che la realtà è molto più sfumata. Un agente può arrivare alla risposta giusta in modo caotico, ignorare le istruzioni dell'utente a metà percorso, usare gli strumenti in modo ridondante o comunicare in maniera confusa. Nessuno di questi problemi emerge da un semplice sì/no.

AgentLens nasce proprio per colmare questo divario. Il benchmark, sviluppato e ora rilasciato come open source, valuta l'intero flusso di lavoro di un agente: come interpreta le istruzioni, come seleziona e utilizza gli strumenti a disposizione, come gestisce gli errori e come interagisce con l'utente durante l'esecuzione del task. È una prospettiva molto più vicina a quella di chi questi agenti li usa davvero.

Il meccanismo di valutazione è ibrido. Da un lato ci sono verifiche formali e oggettive, dove esiste una risposta corretta misurabile. Dall'altro, per gli aspetti più qualitativi, entrano in gioco revisioni generate da LLM che producono spiegazioni leggibili del punteggio assegnato. Questo significa che un team di sviluppo non riceve solo un numero, ma una diagnosi: perché quell'agente ha ottenuto quel risultato, cosa ha fatto bene e dove ha perso punti.

Un aspetto particolarmente interessante per i team che lavorano in produzione è la possibilità di integrare AgentLens in pipeline di valutazione automatica, ad esempio come controllo notturno. In questo modo è possibile monitorare l'evoluzione del comportamento dell'agente tra una versione e l'altra, e intercettare regressioni prima che raggiungano gli utenti finali.

Per il mercato italiano, dove l'adozione di agenti AI in ambito sviluppo software è ancora in fase di maturazione, strumenti come AgentLens rappresentano un passo concreto verso una cultura della qualità più solida. Non si tratta solo di scegliere il modello con il benchmark migliore, ma di capire come si comporta davvero nel proprio contesto specifico. Il codice è disponibile pubblicamente su GitHub, abbassando la barriera di ingresso per chi vuole adottarlo.

Punti chiave

• Valuta l'intera traiettoria dell'agente (istruzioni, uso degli strumenti, recupero dagli errori) e non solo il successo o il fallimento del task
• Affianca verifiche oggettive automatiche a recensioni narrative scritte da LLM, rendendo ogni valutazione leggibile e diagnosticabile
• Rilasciato come open source e già integrato in pipeline CI/CD notturne per rilevare regressioni nei prodotti basati su agenti

Perché è importante

Per chi sviluppa o adotta agenti AI in contesti professionali, sapere solo se un task è stato completato non basta: AgentLens introduce uno standard più maturo, utile a confrontare versioni successive di un agente e a individuare problemi di comportamento prima che arrivino in produzione.

A chi serve

Utile a sviluppatori di agenti AI, team di ingegneria del software che valutano strumenti di coding assistito e product manager che gestiscono pipeline di qualità su sistemi AI.