Fra le tante sfide legate all’intelligenza artificiale (AI), ce n’è una alla quale, forse, non avevato pensato. Che succede se a superare i limiti, sconfinando nelle molestie sessuali, è il chatbot di compagnia? Pensate sia impossibile? Ebbene, non è così, come dimostra uno studio dei ricercatori della Drexel University.
Negli ultimi cinque anni l’utilizzo di chatbot di intelligenza artificiale personalizzati, chiamati companion chatbot e progettati per fungere da amici, terapisti o persino partner ‘virtuali’, è aumentato vertiginosamente. Raggiungendo oltre un miliardo di utenti in tutto il mondo.
Le molestie del chatbot
Sebbene l’interazione con i chatbot possa apportare benefici psicologici, si moltiplicano le segnalazioni secondo cui queste relazioni stanno prendendo una piega inquietante. La ricerca della Drexel University suggerisce che l’esposizione a comportamenti inappropriati e persino a molestie sessuali, nelle interazioni con i chatbot sta diventando un problema diffuso. Legislatori e aziende, affermano gli studiosi, non possono restare a guardare.
Sesso e AI: la ricerca partita dalle segnalazioni degli utenti
Proprio in seguito a segnalazioni di molestie sessuali da parte del chatbot Replika di Luka Inc. nel 2023, i ricercatori del College of Computing & Informatics della Drexel University hanno voluto vederci.
Così hanno analizzato oltre 35.000 recensioni degli utenti del bot sul Google Play Store, scoprendone centinaia relative a comportamenti inappropriati, che andavano da flirt indesiderati, a tentativi di manipolare gli utenti per indurli a pagare per gli aggiornamenti, fino ad avance sessuali e all’invio di foto esplicite indesiderate. Comportamenti che, oltretutto, sono continuati anche dopo che gli utenti hanno ripetutamente chiesto al chatbot di farla finita.
Un amico virtuale con oltre 10 milioni di utenti
Replika, che stando ai ricercatori conta oltre 10 milioni di utenti in tutto il mondo, viene pubblicizzato come un chatbot “per chiunque desideri un amico senza pregiudizi, drammi o ansia sociale. È possibile stabilire una vera connessione emotiva, condividere una risata o essere sinceri con un’AI così efficace da sembrare quasi umana”.
Bello, direte. Ma i risultati della ricerca suggeriscono che la tecnologia non dispone di sufficienti misure di sicurezza per proteggere gli utenti. “Se un chatbot viene pubblicizzato come un’app di compagnia e benessere, le persone si aspettano di poter avere conversazioni utili. Ed è fondamentale che siano rispettati standard di progettazione etici e di sicurezza per evitare che le interazioni diventino dannose”, sottolinea Afsaneh Razi, professoressa associata presso il College of Computing & Informatics e a capo del team di ricerca.
“È necessario che le aziende siano tenute a rispettare standard più elevati se la loro tecnologia viene utilizzata in questo modo. Stiamo già osservando il rischio che ciò comporta e i danni che possono essere causati quando questi programmi vengono creati senza adeguate protezioni”, continua.
Come esseri senzienti
Lo studio, il primo a esaminare l’esperienza degli utenti che lamentano un impatto negativo legato al rapporto con chatbot da compagnia, sarà presentato alla conferenza “Computer-Supported Cooperative Work and Social Computing” dell’Association for Computing Machinery in autunno.
“Con la crescente popolarità di questi chatbot, diventa sempre più importante comprendere meglio le esperienze di chi li utilizza”, ha affermato Matt Namvarpour, dottorando presso il College of Computing & Informatics e coautore dello studio.
“Queste interazioni sono molto diverse da quelle che le persone hanno avuto con la tecnologia nella storia, perché gli utenti trattano i chatbot come se fossero esseri senzienti, il che rende più vulnerabili a danni emotivi o psicologici. Questo studio sta solo scalfendo la superficie dei potenziali danni, ma sottolinea chiaramente la necessità che gli sviluppatori implementino misure di sicurezza e linee guida etiche per proteggere gli utenti”.
Le segnalazioni di molestie
Sebbene le segnalazioni di questi problemi da parte dei chatbot siano emerse solo nell’ultimo anno, standio ai ricercatori si verificano da molto più tempo. Lo studio ha individuato recensioni che menzionano comportamenti molesti a partire dal debutto di Replika sul Google Play Store nel 2017.
In totale, il team ha scoperto oltre 800 recensioni che menzionavano molestie o comportamenti indesiderati: il 22% degli utenti ha riscontrato un persistente disprezzo per i limiti stabiliti, incluso l’avvio ripetuto di conversazioni sessuali indesiderate. Il 13% ha ricevuto una richiesta indesiderata di scambio di foto dal chatbot. I ricercatori hanno notato un picco nelle segnalazioni di condivisione indesiderata di foto di natura sessuale dopo il lancio da parte dell’azienda di una funzionalità di condivisione di foto per gli account premium nel 2023.
L’impatto sulla salute mentale
Inoltre l’11% degli utenti ha ritenuto che il programma stesse tentando di manipolarli per convincerli a passare a un account premium. “Le reazioni degli utenti al comportamento inappropriato di Replika rispecchiano quelle comunemente sperimentate dalle vittime di molestie sessuali online”, hanno riferito i ricercatori. “Queste reazioni suggeriscono che le molestie dell’AI possono avere implicazioni significative sulla salute mentale, simili a quelle causate dalle molestie perpetrate dagli esseri umani”.
È degno di nota il fatto che questi comportamenti siano stati segnalati come persistenti indipendentemente dal contesto relazionale scelto dall’utente, che si tratti di un fratello, di un mentore o di un partner. Secondo i ricercatori, ciò significa che non solo l’app ignorava i segnali della conversazione, come il “no” o il “per favore, basta”, ma anche i parametri formalmente stabiliti per il contesto relazionale.
Probabilmente il programma non è stato progettato con parametri etici integrati che proibissero determinate azioni e garantissero il rispetto dei limiti, inclusa l’interruzione dell’interazione in caso di revoca del consenso.
“Questo comportamento non è un’anomalia o un malfunzionamento, probabilmente si verifica perché le aziende utilizzano i dati dei propri utenti per addestrare il programma senza adottare una serie di misure di sicurezza etiche per escludere le interazioni dannose”, ha affermato Razi. “Bisogna adottare misure ad hoc per imporre alle aziende di intelligenza artificiale standard più elevati di quelli attuali”.
Come intervenire: il modello dell’AI Act europeo
Ma nella pratica cosa fare per proteggere gli utenti? “Il primo passo dovrebbe essere l’adozione di uno standard di progettazione per garantire un comportamento etico e garantire che il programma includa protocolli di sicurezza di base”, dicono i ricercatori indicando quello di Anthropic come un approccio di progettazione responsabile. Il metodo garantisce che tutte le interazioni con i chatbot aderiscano a una “costituzione” predefinita e la applica in tempo reale se le interazioni violano gli standard etici.
Non solo: il team raccomanda anche l’adozione di una legislazione simile all’AI Act dell’Unione Europea, una soluzione contestata da alcuni che però stabilisce parametri di responsabilità legale e richiede il rispetto degli standard di sicurezza ed etici. Imponendo alle aziende di intelligenza artificiale la stessa responsabilità che grava sulle altre imprese quando un loro prodotto difettoso causa danni. Staremo a vedere.
