È una nuova versione della favola della “lepre e della tartaruga”: un gruppo di sviluppatori software esperti ha partecipato a un esperimento in cui doveva completare parte del proprio lavoro con l’aiuto di strumenti di AI. Proprio come la lepre, i programmatori si aspettavano che l’AI velocizzasse il lavoro e ne aumentasse la produttività. Invece, la tecnologia li ha rallentati. L’approccio da tartaruga, ovvero senza AI, si è rivelato più rapido nel contesto dell’esperimento.
I risultati, pubblicati in uno studio questo mese, hanno sorpreso sia gli sviluppatori coinvolti sia gli autori della ricerca: Joel Becker e Nate Rush, membri dello staff tecnico dell’organizzazione no profit Model Evaluation and Threat Research (METR).
I ricercatori hanno coinvolto 16 sviluppatori software, con un’esperienza media di cinque anni, incaricandoli di completare 246 compiti, ognuno parte di progetti su cui stavano già lavorando. Per metà di questi compiti potevano utilizzare strumenti di AI—la maggior parte ha scelto l’editor di codice Cursor Pro o Claude 3.5/3.7 Sonnet—mentre per l’altra metà dovevano lavorare da soli.
Convinti che l’AI li avrebbe resi più produttivi, gli sviluppatori avevano previsto che la tecnologia avrebbe ridotto del 24% il tempo di completamento dei compiti. Invece, l’uso dell’AI ha fatto aumentare il tempo medio del 19% rispetto a quando non la utilizzavano.
“Anche se mi piace credere che la mia produttività non ne abbia risentito usando l’AI, non è da escludere che non mi abbia aiutato quanto pensavo, o che addirittura abbia ostacolato i miei sforzi”, ha scritto Philipp Burckhardt, uno dei partecipanti, in un post sul suo blog.
Perché l’AI rallenta alcuni lavoratori
Dove hanno sbagliato, allora, le lepri? Gli sviluppatori esperti, immersi nei propri progetti, disponevano probabilmente di un contesto più ampio rispetto a quello accessibile agli assistenti AI, e questo li ha costretti a riadattare i propri obiettivi e strategie di risoluzione dei problemi agli output dell’AI, sui quali hanno anche dovuto investire tempo per il debugging, secondo lo studio.
“La maggior parte degli sviluppatori che hanno partecipato ha osservato che, anche quando l’output dell’AI è utile—e spesso contiene elementi davvero impressionanti—devono comunque dedicare molto tempo a sistemare il codice per renderlo adatto al progetto”, ha spiegato Rush a Fortune.
Altri sviluppatori hanno perso tempo a scrivere i prompt per i chatbot o ad attendere la generazione dei risultati da parte dell’AI.
Questi risultati smentiscono le promesse ambiziose sull’impatto dell’AI sull’economia e sul lavoro, tra cui un previsto aumento del 15% del PIL degli Stati Uniti entro il 2035 e un incremento del 25% della produttività.
Rush e Becker, però, evitano di trarre conclusioni generalizzate sul futuro dell’AI.
Innanzitutto, il campione dello studio è ristretto e non rappresentativo: si trattava di un gruppo specializzato, per il quale questi strumenti erano nuovi. Inoltre, la ricerca misura la tecnologia in un momento preciso, e non esclude che in futuro possano essere sviluppati strumenti AI in grado di migliorare realmente i flussi di lavoro degli sviluppatori.
Lo scopo dello studio era, in senso ampio, quello di frenare l’adozione affrettata dell’AI nel mondo del lavoro e altrove, sottolineando che servono più dati concreti sugli effetti reali dell’AI prima di prendere decisioni importanti in merito.
“Alcune delle decisioni che stiamo prendendo oggi sullo sviluppo e la diffusione di questi sistemi possono avere conseguenze molto rilevanti”, ha detto Rush. “Se dobbiamo farlo, non limitiamoci alla risposta ovvia. Puntiamo a misurazioni di alta qualità”.
L’impatto dell’AI sulla produttività, in generale
Secondo alcuni economisti, la ricerca di METR si inserisce in un quadro più ampio che mostra come l’AI non stia portando benefici uniformi alla produttività. Mentre sta iniziando ad avere un impatto su alcune mansioni di base, secondo Aneesh Raman, chief economic opportunity officer di LinkedIn, per i lavoratori esperti, come gli sviluppatori, i benefici potrebbero essere minimi.
“Per chi ha già vent’anni di esperienza—o in questo caso cinque—non è detto che l’uso di questi strumenti debba essere imposto, se già riescono a svolgere bene il lavoro con i metodi attuali”, ha spiegato Anders Humlum, professore associato di economia alla Booth School of Business dell’Università di Chicago.
Humlum ha condotto ricerche simili sull’impatto dell’AI sulla produttività. In uno studio preliminare di maggio su 25.000 lavoratori in 7.000 aziende in Danimarca—un paese con un’adozione dell’AI simile a quella degli Stati Uniti—ha rilevato un miglioramento modesto del 3% della produttività tra i lavoratori che usano questi strumenti.
La sua ricerca supporta anche la tesi dell’economista del MIT e premio Nobel Daron Acemoglu, secondo cui il mercato ha sopravvalutato i guadagni di produttività dell’AI. Acemoglu sostiene che solo il 4,6% dei compiti nell’economia statunitense potrà realmente diventare più efficiente grazie all’AI.
“Nella corsa ad automatizzare tutto, anche i processi che non dovrebbero esserlo, le aziende sprecheranno tempo ed energie, senza ottenere i benefici promessi”, ha scritto Acemoglu per Fortune. “La verità è che per ottenere reali guadagni di produttività da una tecnologia servono aggiustamenti organizzativi, investimenti complementari e miglioramento delle competenze dei lavoratori, tramite formazione e apprendimento sul lavoro”.
Il caso degli sviluppatori rallentati dall’AI dimostra la necessità di riflettere con attenzione su quando usare questi strumenti, osserva Humlum. Mentre molte ricerche precedenti si sono basate su dati auto-riferiti o su compiti semplici e ben definiti, i dati relativi alle sfide affrontate da lavoratori esperti complicano il quadro.
“Nella realtà, molti compiti non si riducono a scrivere una frase su ChatGPT”, ha detto Humlum. “Molti esperti hanno accumulato una grande esperienza, che ha un valore enorme, e non dovremmo ignorarla o rinunciarvi”.
“Prenderei tutto ciò come un utile promemoria per essere molto cauti su quando e come usare questi strumenti”, ha concluso.
L’articolo originale è disponibile su Fortune.com
