La rivincita del Dottor House sull’AI. Potremmo sintetizzare così i risultati di uno studio che ha messo alla prova ChatGPT-4, chiamato a dare il suo responso su una serie di malattie pediatriche. Ebbene, in estrema sintesi il chatbot ha incassato una sonora bocciatura.
E questo nonostante il tasso di precisione del 39% raggiunto in passato nella diagnosi di casi medici complessi. Insomma, quando c’è in ballo la salute dei bambini, l’AI ha ancora parecchio cammino da fare. E i pediatri non rischiano – almeno a breve – di perdere il lavoro a causa delle nuove tecnologie.
Il nuovo studio
Ma vediamo meglio cosa è emerso dalla ricerca. Stando a un lavoro pubblicato su ‘Jama Pediatrics’ da Joseph Barile e Alex Margolis del Cohen Children’s Medical Center di New York, ChatGPT-4 non è ancora pronto per le diagnosi pediatriche: il suo tasso di precisione, infatti, è risultato di appena il 17% nel caso delle malattie dei bambini.
Parliamo di patologie insolite o complesse, ma il fatto è, sottolineano gli stessi ricercatori, che i pazienti pediatrici presentano una complessità legata anche all’età. E diagnosticare le malattie nei neonati e nei bambini piccoli è una sfida anche perchè i piccolissimi pazienti non possono (o non sanno) descrivere chiaramente tutto quello che sentono.
AI e medicina
La salute è uno dei settori di maggiori interesse per le tecnologie basate sull’intelligenza artificiale. In questi mesi sono arrivati grandi successi – pensiamo alla ricerca farmacologica – ma anche notevoli fallimenti, come la creazione di algoritmi con pregiudizi razziali. Numerosi Paesi stanno investendo sul settore, Italia inclusa.
Il potenziale dell’AI per la risoluzione dei problemi medici ha suscitato un notevole interesse, con l’obiettivo di trasformare questa tecnologia in uno strumento utile per la diagnostica complessa, senza che sia necessario un genio della medicina del calibro, appunto, del Dottor Gregory House.
ChatGPT in corsia? Affidabile come un neolaureato in Medicina
Per il loro studio i ricercatori americani hanno messo Chat-GPT di fronte a 100 sfide, rappresentate da veri casi pediatrici complessi pubblicati su Jama Pediatrics e Nejm tra il 2013 e il 2023 come sfide o quiz. In pratica, i lettori (ovviamente ‘camici bianchi’) erano invitati a formulare la diagnosi corretta sulla base delle informazioni di cui disponevano in quel momento i medici curanti.
Nel complesso, ChatGPT ha dato la risposta giusta solo in 17 casi su 100, sbagliando in 72 casi e dando una soluzione incompleta nei restanti 11 casi. Analizzando i fallimenti, i ricercatori hanno notato che ChatGPT sembra avere difficoltà nell’individuare relazioni note tra condizioni differenti. Relazioni che, si spera, un medico esperto dovrebbe poter rilevare.
Ad esempio, in un caso non è stata stabilita la connessione tra autismo e scorbuto (carenza di vitamina C). Ma le condizioni neuropsichiatriche, come l’autismo, possono portare a diete ristrette e questo, a sua volta, può provocare carenze vitaminiche.
Non buttiamo il bambino con l’acqua sporca
Come leggere questo risultato? Per i ricercatori lo studio non è destinato a segnare la fine dell’AI in pediatria: il bot potrebbe migliorare se ricevesse una formazione specifica e selettiva, basata su letteratura medica accurata e affidabile. E questo vuol dire evitare il materiale presente su Internet, che può includere informazioni imprecise e fakenews.
Insomma, non è un caso che uno specialista debba affrontare anni e anni di preparazione: anche all’AI occorre un addestramento più accurato e mirato, se in futuro vogliamo davvero utilizzare – senza rischi – questo strumento per diagnosticare le malattie dei bambini.
