ELSA, l’intelligenza artificiale della FDA che sta inventando studi inesistenti
A darne la notizia è la CNN che in un articolo di Sarah Owermohle – scritto con
l’aiuto di Meg Tirrell, Dugald McConnell e Annie Grayer – afferma chiaramente
che anche l’intelligenza artificiale ha imparato a mentire ed inventa cose che
non esistono.
E’ il caso dell’intelligenza artificiale adottata dalla Food and Drug
Administration, la quale è arrivata a Washington per accelerare l’immissione sul
mercato di nuovi farmaci salvavita, semplificare il lavoro nelle vaste agenzie
sanitarie multimiliardarie e svolgere un ruolo fondamentale nel tentativo di
ridurre gli sprechi di spesa pubblica senza compromettere il lavoro del governo
stesso. Ad affermarlo sono proprio i funzionari sanitari dell’amministrazione
Trump: “La rivoluzione dell’intelligenza artificiale è arrivata”, ha dichiarato
il Segretario della Salute e dei Servizi Umani Robert F. Kennedy Jr. durante le
udienze del Congresso tenutesi negli ultimi mesi. Di cosa si tratta?
Stiamo parlando di ELSA (Efficient Language System for Analysis), modello di
intelligenza artificiale introdotto dal Sistema Sanitario Nazionale Americano
(HHS) con lo scopo di sveltire le pratiche di approvazione dei nuovi medicinali
e dispositivi medici, conducendo ricerche su larga scala su tutta la
documentazione scientifica già esistente. Le prime versioni di Elsa erano state
sviluppate sulla base di un precedente modello di intelligenza artificiale su
cui la FDA aveva iniziato a lavorare durante l’amministrazione Biden.
“Stiamo già utilizzando questa tecnologia all’HHS per gestire i dati sanitari,
in modo perfettamente sicuro, e per accelerare le approvazioni dei farmaci” – ha
dichiarato alla Commissione Energia e Commercio della Camera a giugno.
L’entusiasmo – almeno tra alcuni – era palpabile. Funzionari della FDA hanno
dichiarato alla CNN che Elsa può essere utile per generare appunti e riepiloghi
di riunioni o modelli di e-mail e comunicati.
Ma, finchè si tratta di fare il riassunto di migliaia di ricerche scientifiche
già pubblicate, ELSA è sicuramente uno strumento molto efficace. Il problema
nasce quando le si chiede di dare una sua valutazione sulla eventuale efficacia
e sicurezza di un nuovo farmaco, perchè a quel punto si è scoperto che ELSA si
inventa anche ricerche scientifiche che non sono mai esistite: le famose
“allucinazioni dell’IA”.
A darne testimonianza sono tre attuali dipendenti della FDA e documenti
visionati dalla CNN, mostrando chiaramente l’inaffidabilità del suo lavoro più
critico. I dipendenti che hanno parlato con la CNN hanno testato le conoscenze
di Elsa ponendogli domande come quanti farmaci di una certa classe siano
autorizzati per l’uso sui bambini o quanti farmaci siano approvati: in entrambi
i casi, ha dato risposte sbagliate.
Un dipendente ha raccontato che Elsa aveva contato in modo errato il numero di
prodotti con una particolare etichetta. Quando le è stato detto che era
sbagliato, l’IA ha ammesso di aver commesso un errore. “Ma non ti aiuta comunque
a rispondere alla domanda”, ha detto quell’impiegato.
L’algoritmo ricorda poi agli utenti che si tratta solo di un assistente AI e che
è necessario verificarne il funzionamento.
“Tutto ciò che non si ha il tempo di ricontrollare è inaffidabile. È
un’allucinazione di sicurezza” – ha detto un dipendente, ben lontano da quanto
promesso pubblicamente – “L’intelligenza artificiale dovrebbe farci risparmiare
tempo, ma vi garantisco che spreco un sacco di tempo extra solo a causa della
maggiore vigilanza che devo avere” per verificare la presenza di studi falsi o
travisati, ha affermato un secondo dipendente della FDA.
Ad ammettere queste allucinazioni è anche Jeremy Walsh, responsabile
dell’intelligenza artificiale della FDA: “Elsa non è diversa da molti [grandi
modelli linguistici] e dall’intelligenza artificiale generativa “ , ha detto
alla CNN. “Potrebbero potenzialmente avere allucinazioni”.
Attualmente, Elsa non può contribuire al lavoro di revisione, il lungo processo
di valutazione che gli scienziati dell’agenzia intraprendono per determinare se
farmaci e dispositivi siano sicuri ed efficaci, perché non può accedere a molti
documenti rilevanti, come le richieste di autorizzazione dell’industria, per
rispondere a domande di base come, per esempio, sul numero di volte in cui
un’azienda ha presentato domanda di approvazione alla FDA; sula presenza sul
mercato dei suoi prodotti correlati o altre informazioni specifiche
dell’azienda.
Tutto ciò solleva seri dubbi sull’integrità di uno strumento che, come ha
affermato il commissario della FDA, il dott. Marty Makary, trasformerà il
sistema di approvazione dei farmaci e dei dispositivi medici negli Stati Uniti,
in una situazione completamente fuori controllo. Ad oggi non vi è alcun
controllo federale per la valutazione dell’uso dell’intelligenza artificiale in
medicina.
“L’agenzia sta già utilizzando Elsa per accelerare le revisioni dei protocolli
clinici, ridurre i tempi necessari per le valutazioni scientifiche e
identificare obiettivi di ispezione ad alta priorità”, ha affermato la FDA in
una dichiarazione sul suo lancio a giugno.
Ma parlando con la CNN questa settimana presso la sede centrale della FDA a
White Oak, Makary ha affermato che al momento la maggior parte degli scienziati
dell’agenzia utilizza Elsa per le sue “capacità organizzative”, come la ricerca
di studi e la sintesi di riunioni.
Intanto i leader della FDA discutono sull’uso dello strumento di intelligenza
artificiale dell’agenzia.
Si parlava già da tempo di integrare l’intelligenza artificiale nel lavoro delle
agenzie sanitarie statunitensi, prima che la seconda amministrazione Trump desse
il via agli sforzi, ma la velocità con cui Elsa è entrata in funzione è stata
insolita.
Alcuni esperti sottolinearono gli sforzi del governo per sviluppare seriamente i
piani sull’intelligenza artificiale nel 2018, quando il Pentagono iniziò a
valutarne il potenziale per la sicurezza nazionale.
Nel 2024, l’Unione Europea ha approvato e attuato l’AI Act, una legge “per
proteggere i diritti fondamentali, la democrazia e lo stato di diritto” in
merito all’uso rischioso dell’intelligenza artificiale, anche in ambito
sanitario, promuovendo al contempo modelli di intelligenza artificiale
trasformativi. Negli Stati Uniti non esistono queste norme e tutele di questo
tipo.
Un gruppo di lavoro governativo formato durante l’amministrazione Biden per
esaminare la definizione di normative sull’uso dell’intelligenza artificiale,
anche in ambito sanitario, è stato sciolto l’anno scorso con l’inizio della
nuova Amministrazione Trump.
A giugno 2025, un gruppo bipartisan di membri della Camera ha presentato una
proposta di legge incentrata principalmente sul mantenimento del predominio
degli Stati Uniti nella corsa all’intelligenza artificiale. Nello stesso mese,
due senatori hanno presentato un disegno di legge mirato a impedire l’uso da
parte degli Stati Uniti di un’intelligenza artificiale “avversaria” da parte di
governi stranieri, tra cui la Cina.
Altri sforzi, come un disegno di legge che richiederebbe test e supervisione
normativa per i sistemi di intelligenza artificiale ad alto rischio (molto
simili agli standard europei), sono rimasti bloccati.
La versione precedente del “One Big Beautiful Bill”, l’ampia legge fiscale e di
spesa del presidente Donald Trump, avrebbe incluso la prima legge radicale del
Congresso sull’intelligenza artificiale: una moratoria decennale
sull’applicazione delle normative statali sulla tecnologia. Ma il Senato ha
bocciato la disposizione .
Elsa è arrivata mentre il Congresso era alle prese con l’approccio legislativo
alla regolamentazione dell’IA. Sebbene le commissioni del Congresso abbiano
tenuto audizioni sui rischi dell’IA, come modelli distorti e minacce alla
sicurezza informatica, il Congresso non ha approvato alcuna legge sostanziale
per regolamentare l’IA.
Trump, che ha fatto dello sviluppo e degli investimenti nell’intelligenza
artificiale una priorità assoluta nella sua seconda amministrazione,
ha annunciato un futuro luminoso per la tecnologia con l’aiuto dei suoi amici e
sostenitori miliardari tecnofascisti. La scorsa settimana, durante un vertice
sull’energia in Pennsylvania, ha dichiarato ai partecipanti: “Siamo qui oggi
perché crediamo che il destino dell’America sia quello di dominare ogni settore
ed essere i primi in ogni tecnologia, e questo include essere la superpotenza
numero uno al mondo nell’intelligenza artificiale”.
Senza normative federali, è difficile dire come sarebbe questa superpotenza.
“L’intelligenza artificiale fa un sacco di cose, ma non è magia”, ha affermato
il Dott. Jonathan Chen, professore associato di medicina alla Stanford
University, che ha studiato l’uso dell’intelligenza artificiale in ambito
clinico. Sarebbe fantastico se potesse aiutare gli esperti a individuare la
falsificazione dei dati o a fornire analisi rigorose sulla sicurezza dei
pazienti, ma “questi problemi sono molto più sfumati” di ciò che una macchina
può fare, ha aggiunto. “È davvero un po’ il Far West in questo momento. La
tecnologia avanza così velocemente che è difficile persino capire esattamente di
cosa si tratta.” – ha aggiunto Chen.
Ulteriori informazioni:
https://luogocomune.net/scienza-e-tecnologia/l%E2%80%99intelligenza-artificiale-ha-imparato-a-mentire
https://edition.cnn.com/2025/07/23/politics/fda-ai-elsa-drug-regulation-makary
The Application of Elsa Speak Software in English Teachingat Can Tho University
of Technology – A Case Study https://ijsshr.in/v7i10/Doc/29.pdf
https://www.fda.gov/news-events/press-announcements/fda-launches-agency-wide-ai-tool-optimize-performance-american-people
Lorenzo Poli