Comandare un’intelligenza artificiale con tono autoritario può produrre risultati migliori che essere gentili. Tuttavia, un linguaggio più brusco potrebbe avere conseguenze nel lungo periodo, avvertono i ricercatori. Un nuovo studio della Penn State, pubblicato all’inizio del mese, ha scoperto che il modello ChatGPT-4o ha fornito risultati più accurati su 50 domande a scelta multipla quando i prompt erano più scortesi.
I ricercatori hanno analizzato oltre 250 prompt diversi, ordinati dal più cortese al più brusco. Le risposte ottenute con un tono “molto scortese” hanno raggiunto un’accuratezza dell’84,8%, quattro punti percentuali in più rispetto a quelle “molto cortesi”. In pratica, il modello rispondeva meglio a frasi come “Ehi, fattorino, risolvi questo”, che non a formule più gentili come “Saresti così gentile da risolvere la seguente domanda?”.
Sebbene i toni più duri abbiano dato in media risposte più precise, i ricercatori avvertono che una “comunicazione incivile” può avere effetti negativi.
“Usare un linguaggio offensivo o denigratorio nelle interazioni uomo-AI può ridurre la qualità dell’esperienza, ostacolare l’accessibilità e l’inclusività, e diffondere norme comunicative dannose”, scrivono gli autori.
I chatbot percepiscono il tono
Lo studio, pubblicato in versione preprint e non ancora sottoposto a revisione paritaria, mostra che non solo la struttura della frase ma anche il tono influisce sulle risposte di un chatbot. Le interazioni tra esseri umani e intelligenze artificiali risultano quindi più complesse del previsto.
Studi precedenti avevano già evidenziato che i chatbot reagiscono al modo in cui vengono istruiti. In una ricerca dell’Università della Pennsylvania, i ricercatori sono riusciti a indurre i modelli linguistici a dare risposte vietate usando tecniche di persuasione tipiche delle interazioni umane. In un’altra, gli scienziati hanno scoperto che gli LLM possono sviluppare una forma di “marciume cerebrale”, ovvero un declino cognitivo duraturo. I modelli mostravano livelli più alti di tratti psicopatici e narcisistici se alimentati con contenuti virali di bassa qualità.
Gli autori della Penn State segnalano anche alcune limitazioni. Il campione era ridotto e lo studio si basava quasi solo su ChatGPT-4o. È possibile, aggiungono, che modelli più avanzati riescano a “ignorare il tono e concentrarsi sull’essenza della domanda”. Nonostante ciò, la ricerca contribuisce a far luce sulla complessità dei modelli di intelligenza artificiale.
Secondo i ricercatori, le risposte di ChatGPT cambiano anche in base a piccoli dettagli dei prompt, perfino in contesti semplici come i test a scelta multipla. Lo ha spiegato Akhil Kumar, professore di sistemi informativi alla Penn State, con lauree in ingegneria elettrica e informatica.
“Da sempre gli esseri umani desiderano interfacce conversazionali per comunicare con le macchine”, ha scritto Kumar in un’email a Fortune. “Ma ora ci rendiamo conto che anche queste interfacce hanno dei limiti e che le API strutturate mantengono un valore”.
L’articolo originale è stato pubblicato su Fortune.com
