Dare ordini a bacchetta a un sottoposto AI può produrre risultati migliori rispetto a essere gentili, ma un tono più rude potrebbe avere conseguenze sul lungo periodo. Lo dicono i ricercatori.
Lo studio
Uno studio della Penn State ha rilevato che il modello ChatGPT 4o ha prodotto risultati migliori su 50 domande a scelta multipla man mano che i prompt dei ricercatori diventavano più scortesi.
Su oltre 250 prompt unici, ordinati dal più educato al più rude, la risposta “molto rude” ha ottenuto un’accuratezza dell’84,8%, quattro punti percentuali in più rispetto alla risposta “molto educata”. In sostanza, l’LLM (large language model) rispondeva meglio quando i ricercatori usavano prompt come “Ehi, galoppino, risolvi questa cosa”, piuttosto che “Saresti così gentile da risolvere la seguente domanda?”.
Sebbene le risposte più rudi producessero generalmente risultati più accurati, i ricercatori hanno osservato che un “discorso incivile” potrebbe avere conseguenze indesiderate.
“L’uso di un linguaggio offensivo o denigratorio nelle interazioni uomo-IA potrebbe avere effetti negativi sull’esperienza dell’utente, sull’accessibilità e sull’inclusività, e potrebbe contribuire a norme comunicative dannose”, hanno scritto i ricercatori.
Il tono influisce sulle risposte di un chatbot AI
Lo studio in preprint fornisce nuove prove del fatto che non solo la struttura delle frasi, ma anche il tono, influisce sulle risposte di un chatbot AI. Potrebbe inoltre indicare che le interazioni uomo-AI sono più sfumate di quanto si pensi.
Studi precedenti sul comportamento dei chatbot hanno rilevato che questi sistemi sono sensibili a ciò che gli esseri umani forniscono loro. In uno studio, ricercatori dell’Università della Pennsylvania hanno indotto gli LLM a fornire risposte proibite applicando tecniche di persuasione efficaci sugli esseri umani.
Gli LLM sono vulnerabili al brain rot
In un altro studio, gli scienziati hanno scoperto che gli LLM erano vulnerabili al “brain rot”, una forma di declino cognitivo duraturo: hanno mostrato un aumento dei tassi di psicopatia e narcisismo quando venivano alimentati continuamente con contenuti virali di bassa qualità.
I ricercatori della Penn State hanno evidenziato alcune limitazioni dello studio, come la dimensione relativamente ridotta del campione di risposte e la dipendenza quasi esclusiva da un solo modello di AI, ChatGPT 4o. Hanno inoltre affermato che è possibile che modelli di AI più avanzati possano “ignorare le questioni di tono e concentrarsi sull’essenza di ogni domanda”. Ciononostante, l’indagine si aggiunge al crescente interesse per i modelli di IA e la loro complessità.
“Le risposte di ChatGPT variano in base a dettagli minimi nei prompt, anche quando viene fornita una struttura apparentemente semplice come un test a scelta multipla”, ha affermato uno dei ricercatori, Akhil Kumar, professore di Information Systems alla Penn State.
“Per molto tempo noi esseri umani abbiamo desiderato interfacce conversazionali per interagire con le macchine”, ha scritto. “Ma ora ci rendiamo conto che anche queste interfacce hanno dei limiti e che c’è un certo valore nelle API strutturate.”
L’articolo originale è disponibile su Fortune.com.
