L’allucinazione di un’IA ha rischiato di scatenare la guerra tra USA e Cina
Gli Stati Uniti sono stati a un passo dall’intercettare e abbordare una nave
cargo cinese, un’azione che avrebbe potuto avere gravi conseguenze diplomatiche,
se non addirittura portare a una guerra. Con i jet già in volo, l’operazione è
stata annullata un attimo prima dell’esecuzione: alcuni funzionari avevano
approfondito il rapporto alla base della manovra e si erano accorti che il
pretesto era completamente fasullo, l’allucinazione di un chatbot impiegato in
ambito militare.
A raccontare la svista, potenzialmente pericolosissima, è stata nei giorni
scorsi la CNN, la quale ha riportato l’episodio avvenuto la scorsa primavera e
finora ignoto al grande pubblico. Secondo quattro fonti anonime citate
dall’emittente, nel quadro della guerra in Iran le forze armate statunitensi
sono state a un passo dall’assaltare un cargo che navigava nelle acque
mediorientali e che si riteneva trasportasse componenti utili a sostenere un
programma di armi nucleari. A prendere una cantonata è stato un chatbot a cui un
analista si era rivolto per interpretare alcune informazioni sul carico della
nave: lo strumento ha fuso informazioni open source e intelligence segreta in
un’unica informazione, tanto ibrida quanto errata.
L’incidente diplomatico è stato evitato per un soffio, ma il rischio corso suona
come un campanello d’allarme su un problema che le istituzioni americane non
sembrano intenzionate ad affrontare. Per velocizzare le operazioni militari si
fa ormai largo uso di strumenti di IA, notoriamente soggetti ad “allucinazioni”,
cioè a produrre contenuti che non corrispondono al vero, una scelta che viene
direttamente dall’alto. Lo scorso gennaio il segretario della Guerra
statunitense, Pete Hegseth, ha presentato la Strategia di accelerazione
dell’intelligenza artificiale, un piano che mira a «eliminare le barriere
burocratiche» all’introduzione dei vari modelli di IA nelle forze armate,
favorendone un’integrazione a largo spettro che abbraccia la filosofia preferita
dalla Silicon Valley: «move fast and break things».
Che la tecnologia possa fornire dati errati ai servizi di intelligence chiamati
a gestire il pronto intervento in situazioni militari delicate non è certo una
novità. Il 26 settembre 1983, molto prima dell’avvento delle IA per come le
conosciamo oggi, un difetto nel sistema sovietico di rilevamento dei missili
nucleari è entrato nella storia: i satelliti scambiarono alcuni riflessi di luce
per il lancio di cinque razzi avversari. L’ufficiale di turno, Stanislav Petrov,
contravvenendo al protocollo, decise di ignorare l’allarme, ritenendo poco
credibile che gli USA volessero annientare Mosca con appena cinque missili. La
scelta di Petrov evitò che l’URSS rispondesse a un attacco inesistente con una
rappresaglia immediata e, forse, impedì al mondo di precipitare in una guerra
nucleare. La sua freddezza è l’esempio più virtuoso del principio “human in the
loop“: ogni informazione elaborata da uno strumento deve essere vagliata da un
essere umano, che si assume la responsabilità della decisione finale.
Nell’episodio raccontato dalla CNN gli eventi si sono conclusi per il meglio,
tuttavia il caso mette in luce un problema tutt’altro che trascurabile.
L’operazione contro l’imbarcazione cinese è stata fermata in extremis, quando
alcuni ufficiali, approfondendo il rapporto, hanno scoperto che era stato
prodotto con l’aiuto dell’IA e che il chatbot aveva identificato in modo errato
il carico. Fino a quel momento, però, l’errore era passato indisturbato sotto
gli occhi di un analista, il quale aveva usato lo stesso chatbot prima per
interpretare le informazioni sulla nave e poi per trasformare la sua conclusione
in un rapporto destinato ai superiori. Un essere umano era dunque presente a
ogni passaggio, ma il suo compito si è ridotto a interrogare lo strumento e a
trasmetterne i risultati, non a verificarli in modo indipendente. Complice una
narrazione che sopravvaluta la macchina e un governo che sembra incapace di
garantirne un’integrazione corretta, il principio dello “human in the loop”
rischia così di diventare una formula vuota. Una leggerezza che le istituzioni
non dovrebbero mai permettersi, soprattutto quando si rischia di scatenare una
guerra.
The post L’allucinazione di un’IA ha rischiato di scatenare la guerra tra USA e
Cina appeared first on L'INDIPENDENTE.