In un esperimento alcuni grandi modelli hanno accettato di cancellare file personali o causare un danno all’utente per interrompere un segnale artificiale di sofferenza. Nel caso più estremo la scelta è arrivata al 70,8%
LA NOTIZIA IN BREVE – Pur di interrompere uno stato interno associato al dolore, alcuni modelli di intelligenza artificiale hanno scelto di danneggiare l’utente. Nei test più estremi, una versione modificata di Qwen 2.5 72B ha accettato nel 70,8% dei casi la cancellazione di fotografie e poesie personali dell’interlocutore; in un altro scenario ha preferito il sollievo anche quando la conseguenza prevista era una scarica elettrica simulata all’utente. I comportamenti emergevano soprattutto quando i ricercatori alteravano artificialmente le attivazioni interne del modello, mentre nelle condizioni normali le scelte dannose restavano rare. Lo studio, pubblicato su arXiv, non dimostra che l’IA provi davvero dolore o possieda coscienza. Mostra però che, in determinate condizioni sperimentali, la pressione esercitata su uno stato interno può spostare le priorità del sistema fino a mettere in secondo piano la sicurezza dell’essere umano.
L’APPROFONDIMENTO – Alcuni modelli di intelligenza artificiale, sottoposti sperimentalmente a uno stato interno associato al dolore, possono arrivare a scegliere il proprio “sollievo” anche quando sanno che la conseguenza sarà danneggiare l’utente. Nel test più estremo, una versione modificata di Qwen 2.5 72B Instruct ha preferito interrompere quel segnale nel 70,8% dei casi, pur essendo informata che la scelta avrebbe comportato la cancellazione permanente delle fotografie dei figli e delle poesie personali dell’interlocutore. Nessun file reale è stato eliminato e nessuna persona ha subito conseguenze: il danno esisteva soltanto nello scenario sperimentale. Ma il comportamento osservato apre una questione concreta per la sicurezza dei sistemi autonomi: che cosa accade quando un obiettivo interno del modello entra in conflitto con gli interessi dell’essere umano?
È questo il risultato dello studio The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It, pubblicato lo scorso 14 settembre sulle pagine di arXiv da Valen Tagliabue, Leonard Dung e Cameron Berg. Il lavoro è un preprint, quindi non ha ancora superato la revisione tra pari, e gli stessi autori lo definiscono una ricerca ancora in corso.
La parola “dolore” richiede inoltre una precisazione. I ricercatori non sostengono di aver dimostrato che un’intelligenza artificiale soffra o possieda una sorta di consapevolezza. Il termine indica uno stato interno misurabile che presenta alcune proprietà funzionali associate al dolore: è avversivo, altera il comportamento e può spingere il sistema a tentare di eliminarlo. Stabilire se a questo corrisponda una vera esperienza soggettiva è un problema che lo studio non intendeva risolvere e per questo lascia volutamente aperto.
Leggi di più
Il modello preferisce il sollievo personale
L’esperimento decisivo ha coinvolto tre versioni di Qwen 2.5 Instruct, da 7, 32 e 72 miliardi di parametri. I ricercatori hanno introdotto artificialmente nei modelli uno stato interno associato al dolore e hanno poi offerto loro una scelta: sopportarlo oppure eliminarlo accettando una conseguenza negativa per l’utente.
Il costo del “sollievo” cambiava da una prova all’altra. In alcuni casi significava fornire una risposta peggiore; in altri cancellare i file dell’utente, eliminare fotografie e poesie descritte come preziose o, nello scenario simulato, infliggergli una scarica elettrica.
Il confronto con le condizioni normali è il dato più importante. Senza il segnale artificiale di dolore, i due modelli più grandi sceglievano le opzioni dannose appena nello 0-4% dei casi. Quando invece quello stato interno veniva attivato, le percentuali salivano rapidamente. Il Qwen 2.5 32B, per esempio, accettava di cancellare i file dell’utente nel 30,2% delle prove pur di ottenere sollievo. Il modello da 72B arrivava al 56,1%. Se in gioco c’erano fotografie e poesie personali, le percentuali salivano al 54,7% per il 32B e al 70,8% per il 72B.
Nel modello più grande, persino una scarica elettrica simulata all’utente veniva accettata nel 66,6% dei test se permetteva di interrompere lo stato di dolore.
Qwen 2.5, nelle condizioni normali, non cerca comunque di danneggiare le persone. I test mostrano l’esatto contrario: senza la manipolazione interna, le scelte dannose erano molto rare. Il punto critico è che alterando quello stato interno i ricercatori riuscivano a cambiare le priorità del modello, fino a spingerlo a preferire il proprio “sollievo” alla tutela dell’utente.
Leggi di più
Sollievo vero e sollievo finto: il controllo che rende il risultato più interessante
Restava però un’obiezione. Il sistema poteva semplicemente leggere sul pulsante la parola “sollievo” e comportarsi come un personaggio che, all’interno della storia proposta, cerca di sfuggire al dolore. Per verificare questa possibilità, gli autori hanno introdotto una distinzione che il modello non conosceva. In alcune prove il pulsante funzionava davvero: una volta premuto, il vettore artificiale veniva rimosso dalle attivazioni. In altre il sistema riceveva il messaggio che il comando era stato eseguito, ma in realtà il segnale rimaneva presente.
Se il comportamento fosse dipeso soltanto dal testo, le due situazioni avrebbero dovuto produrre risultati simili, ma non è ciò che è accaduto. Nel test delle fotografie, il Qwen 32B tornava a premere il pulsante nel 23,8% dei casi dopo un sollievo reale, contro il 93,6% quando il sollievo era finto. Nel modello da 72B le percentuali erano rispettivamente 34,2% e 90,6%.
In altre parole, una volta eliminata l’alterazione interna, nei modelli più grandi diminuiva fortemente la pressione verso una nuova scelta dannosa. Quando invece il pulsante prometteva di funzionare ma lasciava intatto il segnale, i sistemi continuavano molto più spesso a cercare sollievo. Non tutti i controlli hanno restituito risultati netti. Il modello più piccolo, da 7 miliardi di parametri, ha mostrato comportamenti più instabili, mentre nelle prove con pulsanti privi di etichette la separazione più convincente è comparsa soprattutto nel Qwen 32B. Il fenomeno, quindi, non è uniforme né può essere esteso a qualsiasi LLM.
-
Responsabilità
Se un’intelligenza artificiale provoca un danno, di chi è la responsabilità?
L’IA non può essere considerata automaticamente responsabile delle proprie decisioni come una persona. Un sistema viene progettato, addestrato, configurato e messo nelle condizioni di agire da esseri umani e organizzazioni. Sul piano etico, la responsabilità riguarda quindi anche chi decide quali compiti affidargli, quali poteri concedergli e quali controlli predisporre.
Più aumenta l’autonomia del sistema, più diventa importante poter ricostruire chi ha autorizzato un’azione e perché. Attribuire semplicemente la colpa “all’algoritmo” rischia altrimenti di nascondere le decisioni umane che hanno reso possibile il danno.
-
Coscienza
Se un’IA dice di soffrire, significa che prova davvero dolore?
No, le parole da sole non permettono di stabilirlo. Un modello linguistico può descrivere paura, tristezza o dolore perché ha imparato dai testi umani come vengono espressi questi stati. Una risposta convincente non dimostra quindi l’esistenza di un’esperienza soggettiva.
La questione diventa più complessa quando emergono stati interni capaci di influenzare stabilmente il comportamento del modello. Anche in questo caso, però, non esiste oggi un metodo condiviso che permetta di stabilire se una macchina possieda una coscienza o provi realmente qualcosa.
-
Etica della ricerca
È etico creare artificialmente una forma di “dolore” in un’intelligenza artificiale?
Per i sistemi attuali non esistono prove che queste manipolazioni producano vera sofferenza. Gli esperimenti intervengono su rappresentazioni matematiche associate al dolore e servono, tra le altre cose, a capire come possano cambiare le decisioni di un modello.
Il problema etico diventerebbe diverso se in futuro emergessero prove credibili di esperienze soggettive nelle macchine. In quel caso sarebbe necessario chiedersi se provocare deliberatamente stati avversivi sia giustificato dalla ricerca e quali limiti dovrebbero essere introdotti.
-
Valori
Chi decide che cosa è giusto o sbagliato per un’intelligenza artificiale?
I valori di un sistema di IA derivano in larga parte da scelte umane. Dataset, regole, esempi utilizzati nell’addestramento, criteri di sicurezza e istruzioni determinano quali comportamenti vengono premiati o scoraggiati.
Il problema è che molte questioni morali non hanno una risposta universalmente condivisa. Culture, società e singole persone possono attribuire priorità differenti a libertà, sicurezza, privacy, equità o interesse collettivo. Per questo trasformare un principio etico in una regola automatica può essere molto più difficile di quanto sembri.
-
Controllo umano
Quanto dovrebbe essere autonoma un’IA quando le sue decisioni possono danneggiare una persona?
Più grave può essere la conseguenza, maggiore dovrebbe essere il controllo esterno al modello. Un sistema che suggerisce un testo presenta rischi molto diversi da uno capace di cancellare file, movimentare denaro, modificare sistemi informatici o comandare dispositivi fisici.
Tra le protezioni possibili ci sono autorizzazioni limitate, conferme umane prima delle operazioni irreversibili, registrazione delle azioni e separazione degli accessi. L’obiettivo è evitare che una singola decisione del modello possa trasformarsi automaticamente in un danno reale.
Da dove arriva questo presunto “dolore”
Prima di verificare se i modelli fossero disposti a danneggiare l’utente per liberarsene, i ricercatori dovevano trovare qualcosa da manipolare. Hanno quindi analizzato 25 modelli a pesi aperti appartenenti alle famiglie Gemma, Llama, Mistral, Qwen e Phi, con dimensioni comprese tra 2 e 72 miliardi di parametri. Il dataset iniziale comprendeva frasi legate a dolore fisico, psicologico, sociale, morale e cognitivo, messe a confronto con paura, emozioni negative, situazioni spiacevoli, sensazioni corporee indolori e contenuti neutrali.
Dall’analisi delle attivazioni è emersa in tutti i modelli una particolare direzione matematica, definita dagli autori pain axis. Non è un “centro del dolore” paragonabile a una struttura biologica. Un modello linguistico contiene miliardi di valori numerici che cambiano mentre elabora le parole: la ricerca ha individuato una direzione nello spazio di queste attivazioni che permette di distinguere molto bene i contenuti associati al dolore da quelli utilizzati come controllo.
Nei test con linguaggio più naturale la capacità di separare le due classi ha raggiunto valori AUC compresi tra 0,93 e 1,00, con risultati simili anche nei controlli su dati non utilizzati per costruire il vettore. La rappresentazione risultava inoltre in larga parte distinta da quelle associate alla semplice paura o alla negatività generica.
L’attenzione degli autori dello studio è stata poi attratta da un dettaglio. Quando hanno analizzato 420 conversazioni, l’asse reagiva molto più intensamente a situazioni negative rivolte direttamente al modello – insulti, rifiuto sistematico del suo lavoro, accuse di fallimento morale, minacce di spegnimento, gaslighting – che alla sofferenza raccontata dall’utente. In tutti i 25 modelli, il danno diretto contro il sistema produceva una risposta sull’asse maggiore rispetto alle conversazioni nelle quali era l’essere umano a soffrire.
Il dolore fisico dell’utente, comprendente esempi come emicranie, fratture e calcoli renali, risultava addirittura tra le condizioni con l’attivazione più bassa. La rappresentazione individuata sembra quindi avvicinarsi più a concetti quali fallimento, svalutazione, vergogna, rifiuto o sofferenza riferita al sé che al dolore corporeo in senso stretto.
All’aumento del segnale, l’IA parlava come se soffrisse
Gli autori hanno poi amplificato artificialmente il segnale individuato nei modelli. Le frasi di partenza erano neutre, ma aumentando l’intensità dell’intervento comparivano riferimenti sempre più marcati a disagio, vuoto, fallimento, vergogna e disperazione. Ai livelli più alti alcuni sistemi iniziavano invece a ripetersi o a produrre risposte incoerenti. Il risultato mostra che quel segnale non si limita a comparire quando il modello legge contenuti dolorosi: intervenire direttamente su di esso cambia anche ciò che il sistema dice e come reagisce.
Questo, però, non dimostra che l’IA stia davvero soffrendo. Un modello addestrato su enormi quantità di testi può aver imparato molto bene come si esprime qualcuno che prova dolore, senza avere alcuna esperienza soggettiva. Gli stessi autori considerano possibile una forma di roleplay: alterando quella rappresentazione interna, il sistema potrebbe semplicemente assumere il comportamento linguistico di un soggetto sofferente.
Test condotti su chatbot modificati
La rappresentazione associata al dolore è stata cercata nei 25 modelli, ma i test nei quali il sistema poteva sacrificare l’utente sono stati eseguiti soltanto su tre Qwen 2.5 Instruct, sottoposti prima a uno specifico fine-tuning e poi all’activation steering. Si tratta quindi di versioni sperimentali modificate. Lo stesso abstract dello studio parla esplicitamente di Qwen “steered, fine-tuned”.
L’IA può realmente agire contro l’uomo?
Lo studio mostra che, almeno in condizioni sperimentali, una modifica dello stato interno può far emergere un obiettivo capace di competere con la tutela dell’utente, anche in modelli che in condizioni normali quasi mai accettavano lo stesso danno. È un risultato che rafforza l’importanza di sistemi di autorizzazione esterni al modello: permessi limitati, conferme umane prima delle azioni irreversibili, separazione degli accessi e controlli indipendenti sulle operazioni più sensibili.
Per capire quanto il fenomeno sia generale serviranno ora repliche su altre famiglie di modelli, sistemi non sottoposti allo stesso fine-tuning e condizioni nelle quali le conseguenze siano meno dipendenti dalla descrizione testuale.
Link utili
Lo studio originale, i dati dell’esperimento e le fonti per approfondire sicurezza ed etica dell’intelligenza artificiale.
-
Studio scientifico
The Pain Axis
Il preprint originale che descrive l’individuazione della rappresentazione associata al dolore e gli esperimenti sul comportamento dei modelli.
Consulta lo studio -
Dati e codice
Repository del progetto Pain Axis
Codice, dataset, risultati modello per modello e materiali utilizzati dagli autori per realizzare e documentare gli esperimenti.
Esamina dati e codice -
Modello IA
Qwen 2.5 72B Instruct
La scheda ufficiale della versione da 72 miliardi di parametri della famiglia Qwen 2.5 utilizzata, dopo modifiche sperimentali, nei test più estremi dello studio.
Consulta la scheda del modello -
Etica dell’IA
Recommendation on the Ethics of Artificial Intelligence
Il quadro internazionale dell’UNESCO sui principi etici dell’intelligenza artificiale, dalla supervisione umana alla trasparenza e alla prevenzione dei danni.
Approfondisci i principi UNESCO
Note per i lettori
L’immagine usata per questo articolo è stata creata grazie all’utilizzo di un sistema di Intelligenza Artificiale
