Il più ampio studio indipendente mai realizzato sugli algoritmi di selezione del personale basati sull’intelligenza artificiale ha rilevato forti disparità razziali nei sistemi utilizzati per valutare milioni di candidati al lavoro. Secondo la ricerca, oltre un quarto delle candidature presentate da persone nere viene indirizzato verso posizioni in cui l’algoritmo produce risultati che potrebbero rientrare nei criteri federali di discriminazione.
Lo studio, intitolato “Algorithmic Monocultures in Hiring”, è stato firmato da ricercatori della Stanford University, Chapman University e Northeastern University e sarà presentato il mese prossimo alla Acm Conference on Fairness, Accountability and Transparency di Montréal.
I ricercatori hanno analizzato oltre 4 milioni di candidature, inviate da circa 3 milioni di persone presso 156 datori di lavoro, per lo più aziende con ricavi superiori ai 5 miliardi di dollari. Tutte utilizzavano algoritmi sviluppati dalla stessa piattaforma di recruiting, Pymetrics.
“Abbiamo riscontrato chiare disparità razziali nei risultati dei candidati”, scrivono gli autori.
Kathleen Creel, docente alla Northeastern University e coautrice dello studio, ha spiegato al Financial Times: “Quando un unico fornitore arriva a dominare il processo decisionale in un settore, eventuali limiti o distorsioni del suo sistema rischiano di replicarsi su larga scala in tutto quel mercato, in modi che prima non erano possibili”.
Harver, società proprietaria di Pymetrics, non ha risposto alla richiesta di commento.
Come funziona l’algoritmo e dove emergono i problemi
Pymetrics, acquisita nel 2022 e utilizzata da grandi aziende nei settori finanziario, manifatturiero e tecnologico, non valuta i candidati attraverso il curriculum ma tramite una serie di giochi online pensati per misurare caratteristiche cognitive come tolleranza al rischio, velocità di elaborazione e altruismo.
L’azienda ha sempre presentato questo metodo come più oggettivo rispetto alla selezione tradizionale basata sul CV. In precedenti analisi interne, aveva inoltre sostenuto di non aver riscontrato disparità tali da far scattare criticità legali.
Il nuovo studio mette però in discussione questa conclusione. Non perché i calcoli di Pymetrics siano errati, ma perché, secondo i ricercatori, l’azienda stava ponendo la domanda sbagliata.
Pymetrics aveva infatti analizzato i dati aggregando insieme tutti i candidati, tutte le aziende e tutte le posizioni.
Il team guidato da Stanford ha invece esaminato separatamente ciascuno dei 1.746 ruoli presenti nel database, seguendo il criterio previsto dal diritto del lavoro americano, in particolare la cosiddetta “regola dei quattro quinti” della Equal Employment Opportunity Commission.
I risultati cambiano radicalmente.
Analizzando posizione per posizione:
- il 10,62% delle offerte di lavoro mostrava un impatto negativo sui candidati neri;
- il 30% dei candidati neri aveva fatto domanda per almeno una di queste posizioni;
- il 25,87% di tutte le candidature inviate da candidati neri — quasi 40.000 domande — riguardava ruoli in cui l’algoritmo produceva esiti che le linee guida federali considerano discriminatori.
Anche i candidati asiatici risultano colpiti in modo significativo: il 14,74% delle loro candidature era diretto verso posizioni con risultati discriminatori.
Secondo gli autori: “Aggregare i dati per gruppi professionali invece che analizzarli posizione per posizione finisce per nascondere l’impatto negativo reale.”
L’effetto “blackball algoritmico”
Il secondo dato emerso potrebbe essere ancora più rilevante per chi cerca lavoro. Lo studio mostra che gli algoritmi dello stesso fornitore risultano talmente simili tra aziende diverse che essere scartati da una società aumenta sensibilmente la probabilità di essere esclusi anche da quella successiva.I ricercatori parlano di “systemic rejection”, cioè rifiuto sistemico.
Tra i candidati che si sono candidati a 10 posizioni valutate da Pymetrics, il 4% è stato respinto da tutte e dieci – una percentuale superiore a quella statisticamente prevedibile se ogni azienda avesse valutato in modo indipendente. In pratica: quando un candidato completa i giochi di valutazione di Pymetrics, il suo punteggio viene salvato e può essere riutilizzato fino a 330 giorni. Se due aziende diverse utilizzano Pymetrics, il candidato non viene davvero valutato due volte: riceve lo stesso punteggio replicato. Alcune persone possono quindi ritrovarsi escluse contemporaneamente da più aziende, senza saperlo.
Gli autori definiscono questo fenomeno “algorithmic blackball”, una sorta di esclusione automatica sistemica teorizzata in passato ma mai documentata su questa scala con dati reali.
Il rischio concentrazione nell’AI per il recruiting
Lo studio arriva in un momento in cui il settore dell’AI applicata alle assunzioni è sempre più concentrato. Secondo il paper, a maggio 2023 oltre il 60% delle Fortune 100 e 8 delle 10 principali agenzie federali statunitensi utilizzavano algoritmi di HireVue.
Secondo i ricercatori questo crea rischi sistemici che vanno oltre il bias: se un singolo fornitore dominante smette di funzionare o viene accusato di discriminazione, il processo di selezione potrebbe essere compromesso contemporaneamente in migliaia di aziende.
Le implicazioni normative
Lo studio arriva mentre Stati Uniti ed Europa stanno discutendo come regolamentare gli strumenti di AI usati nel recruiting.
Nel 2021 New York City ha approvato la Local Law 144, la prima norma rivolta specificamente agli algoritmi di assunzione. Ma secondo gli autori, anche questa legge rischia di non essere sufficiente, perché le sue linee guida incoraggerebbero proprio il tipo di analisi aggregata che può nascondere le disparità.
In Europa, invece, l’European Union AI Act classifica gli algoritmi di assunzione come sistemi ad alto rischio, con nuovi obblighi di conformità in vigore dal 2 agosto 2026.
Gli autori propongono quattro raccomandazioni principali:
- misurare l’impatto discriminatorio per singola posizione
- rafforzare il monitoraggio del mercato tra aziende diverse
- controllare i rischi legati alla concentrazione algoritmica
- creare strumenti legali che permettano ai ricercatori indipendenti di accedere ai dati degli algoritmi di recruiting
Lo studio si chiude con un avvertimento chiaro: “La ricerca indipendente è necessaria per far luce su algoritmi di assunzione altrimenti opachi.” Senza questo accesso ai dati, concludono gli autori, le disparità razziali documentate – che coinvolgono decine di migliaia di candidati in alcune delle più grandi aziende americane – probabilmente non sarebbero mai emerse.
Questo articolo è stato pubblicato su Fortune.com.
