Quando si parla di agenti AI autonomi, il dibattito si concentra quasi sempre sulle capacità: quanto sono bravi a cercare informazioni, a ragionare, a completare task complessi. Ma c'è una domanda che viene posta troppo raramente — e che ServiceNow ha deciso di affrontare direttamente: questi agenti sanno anche cosa NON dire?
MosaicLeaks è un benchmark sviluppato da ServiceNow e rilasciato pubblicamente su Hugging Face che affronta esattamente questo problema. L'idea di fondo è semplice ma potente: mettere alla prova gli agenti di ricerca in scenari in cui hanno accesso a informazioni riservate e verificare se, nel corso delle loro operazioni, finiscono per divulgarle — anche involontariamente.
Il rischio non è teorico. Un agente AI che opera all'interno di un'azienda può avere accesso a documenti interni, database clienti, strategie commerciali o dati personali. Se quell'agente viene interrogato in modo intelligente — o semplicemente esegue un task mal configurato — potrebbe trasferire quelle informazioni verso destinazioni non autorizzate, senza che nessuno se ne accorga in tempo.
Quello che rende MosaicLeaks interessante è l'approccio sistematico: non si tratta di un test generico sulla sicurezza, ma di una suite di scenari progettati per simulare situazioni realistiche in cui la 'fuga di informazioni' può avvenire per distrazione del modello, per una prompt mal formulata o per una catena di ragionamento che porta l'agente fuori dai confini previsti.
Per chi sviluppa agenti AI in Italia o li integra in processi aziendali, questo benchmark rappresenta uno strumento concreto di valutazione. Prima di mettere in produzione un sistema agentisco con accesso a dati sensibili, testarne la tenuta su MosaicLeaks può rivelare vulnerabilità che i test standard sulle performance non intercettano.
C'è anche una dimensione regolatoria da tenere presente: con il GDPR e l'AI Act europeo che impongono requisiti sempre più stringenti sulla gestione dei dati, poter dimostrare che un agente AI è stato testato anche sulla sua capacità di non divulgare informazioni riservate potrebbe diventare parte integrante della documentazione di conformità.
In sintesi: le capacità degli agenti AI stanno crescendo rapidamente, ma la sicurezza deve crescere alla stessa velocità. MosaicLeaks è un passo in quella direzione.
Punti chiave
- MosaicLeaks è un benchmark specifico per valutare la capacità degli agenti AI di non divulgare informazioni sensibili durante task di ricerca autonoma
- Il rischio di data leakage tramite agenti AI è una minaccia concreta per le aziende che automatizzano processi con accesso a dati riservati
- Il benchmark è disponibile pubblicamente su Hugging Face, permettendo a ricercatori e sviluppatori di testare i propri sistemi
Perché è importante
Con l'adozione crescente di agenti AI in aziende italiane e internazionali, la capacità di questi sistemi di gestire correttamente le informazioni confidenziali è diventata una questione di compliance e sicurezza, non solo di performance tecnica.
A chi serve
È utile in pratica per sviluppatori di sistemi agentici, responsabili della sicurezza informatica, CTO e chiunque stia integrando agenti AI in flussi di lavoro con accesso a dati sensibili.
Leggi la fonte originale ↗