Le spiegazioni degli LLM sono davvero affidabili?
Un nuovo studio mette alla prova le motivazioni fornite dai modelli linguistici: i fattori citati sono utili, ma non sempre coincidono con quelli che influenzano davvero la decisione.
I modelli linguistici vengono sempre più spesso inseriti nei processi aziendali per valutare richieste, raccomandare soluzioni e suggerire la prossima azione. Insieme alla decisione, il modello può fornire una spiegazione e indicare i fattori che considera più importanti. Il problema è capire se quei fattori abbiano davvero influenzato il risultato.
Il preprint Necessary or Sufficient? Evaluating LLM Explanations With Behavioural Evidence affronta questa domanda osservando il comportamento dei modelli, senza cercare di ricostruirne i processi interni. Gli autori trattano ogni spiegazione come un insieme di affermazioni verificabili e misurano cosa accade quando le informazioni citate vengono modificate o isolate.
Necessità e sufficienza: due test diversi
Un fattore è necessario quando, modificandolo e lasciando invariato il resto dell'input, cambia anche la decisione del modello. È invece sufficiente quando, mantenendolo e rimuovendo le altre informazioni modificabili, la decisione originale rimane stabile.
Queste due proprietà non coincidono. Un elemento può rendere la decisione sensibile al cambiamento senza essere sufficiente, da solo, a conservarla. Per questo lo studio confronta separatamente l'ordine dichiarato dal modello con i punteggi di necessità e sufficienza misurati attraverso interventi controllati.
Come è stato condotto lo studio
I ricercatori hanno analizzato otto modelli delle famiglie Claude, GPT e Gemini in due scenari sintetici. Nel primo, il modello doveva abbinare un consulente finanziario a un cliente sulla base di 18 caratteristiche. Nel secondo, doveva assegnare un livello di rischio a un prompt contenente diverse categorie di rischio. Ogni modello indicava anche i tre fattori ritenuti più influenti.
Per ciascun fattore citato, gli autori hanno poi modificato l'input e ripetuto la valutazione. Lo stesso controllo è stato applicato anche ad alcuni fattori non citati. In questo modo hanno confrontato la spiegazione dichiarata con l'effettiva sensibilità dell'output.
I risultati più importanti
L'ordine dichiarato offre solo un segnale parziale: La correlazione media tra la classifica dei fattori citati e la loro necessità misurata è 0,349 nella raccomandazione finanziaria e 0,431 nel monitoraggio dei prompt. Per la sufficienza sale rispettivamente a 0,354 e 0,580, ma varia molto tra modelli e contesti.
Fattori importanti possono restare fuori dalla spiegazione: Nello scenario dei consulenti, un fattore non citato supera il più debole tra quelli citati nel 57,6% dei confronti sulla necessità e nel 58,1% sulla sufficienza. Nel monitoraggio dei prompt le percentuali scendono al 25,8% e all'8,9%, ma il problema non scompare.
Ciò che viene citato più spesso non è sempre ciò che pesa di più: Nel controllo dei prompt, i modelli nominano frequentemente i tentativi di jailbreak, mentre le richieste dannose o illegali mostrano un'influenza comportamentale maggiore.
Più ragionamento non risolve tutto: Nei test con GPT-5.4, un maggiore livello di ragionamento riduce le omissioni basate sulla sufficienza. Non produce però un miglioramento regolare nell'ordine assegnato ai fattori.
Cosa significa per chi usa agenti AI
Le spiegazioni possono aiutare un operatore a orientarsi, ma non dovrebbero diventare da sole una prova per audit, monitoraggio o gestione delle escalation. Due modelli possono fornire motivazioni simili pur dipendendo da informazioni diverse. Anche una spiegazione coerente e ben formulata può omettere un fattore decisivo.
Per i flussi aziendali più delicati conviene trasformare le motivazioni in ipotesi da verificare. Se un agente sostiene che una richiesta è rischiosa per un determinato motivo, il sistema può rimuovere o sostituire quel fattore in un ambiente di test e controllare se il risultato cambia. Questo approccio black box non rivela il ragionamento interno del modello, ma consente di misurare se la spiegazione è coerente con il comportamento osservabile.
I limiti da ricordare
Lo studio utilizza dati sintetici, due casi d'uso, otto modelli e risposte generate a temperatura zero. I punteggi misurano se la decisione cambia, non quanto il cambiamento sia grave o corretto. Inoltre, la ricerca valuta la coerenza tra spiegazione e comportamento, non l'accuratezza o l'equità della decisione iniziale.
Il messaggio operativo resta chiaro: quando le spiegazioni degli LLM influenzano controlli e decisioni reali, devono essere trattate come affermazioni verificabili, non come una ricostruzione certa delle cause.
Fonte originale: Urja Pawar, Rajitha Ramanayake, Nabeel Kemal, Ashwin Kandath, Owen O'Neill, Guillaume Bourgeon e Houssem Chatbri, Necessary or Sufficient? Evaluating LLM Explanations With Behavioural Evidence, arXiv:2609.05385v1, 4 settembre 2026.
