Nell’epoca degli algoritmi, della delega cognitiva all’AI e del biocomputing, occorre riportare l’attenzione sul concetto di responsabilità. Ne parliamo in questo articolo da Compas a Soshanna Zuboff.
Nel contributo precedente ci siamo lasciati con un interrogativo cruciale: chi è, nell’epoca degli algoritmi, della delega cognitiva all’intelligenza artificiale e del biocomputing, il vero soggetto responsabile? Nel tentativo di formulare una risposta emerge con evidenza come la nozione di responsabilità con cui oggi continuiamo a operare sia stata costruita su un’antropologia che l’accelerazione tecnologica ha progressivamente indebolito e che, in alcune delle sue articolazioni, appare ormai inadeguata, se non persino obsoleta.
Nel maggio del 2016, ProPublica rende pubblici i risultati di un’indagine destinata a diventare un caso di studio permanente nella letteratura sull’intelligenza artificiale applicata al diritto.
Il sistema si chiama Compas, Correctional Offender Management Profiling for Alternative Sanctions, ed è adottato in numerosi tribunali degli Stati Uniti per stimare il rischio di recidiva degli imputati, orientando le decisioni su cauzione, custodia cautelare ed entità della pena. L’analisi condotta su oltre diecimila casi nel distretto di Broward County, Florida, documenta una distorsione sistematica: i soggetti afroamericani risultano classificati ad alto rischio di recidiva quasi il doppio delle volte rispetto ai soggetti bianchi che recidivano effettivamente. Non viene ritenuto responsabile il giudice, che ha utilizzato il punteggio come strumento orientativo. Non l’azienda sviluppatrice, che ha difeso la propria metodologia. Non il legislatore, che non aveva previsto alcun obbligo di trasparenza algoritmica. La responsabilità non è negata. È semplicemente introvabile. Si è dissolta nella catena.
Il caso Compas non è un fallimento procedurale correggibile con aggiustamenti tecnici. È la dimostrazione empirica di qualcosa che Paul Ricoeur aveva già descritto sul piano filosofico. In Sé come un altro, Ricoeur elabora la figura del soggetto responsabile attraverso una triade fenomenologica che è al tempo stesso una topografia della coscienza morale: poter fare, poter narrare, poter rispondere. Il soggetto è tale nella misura in cui è capace di agire, di rendere conto delle proprie azioni attraverso una narrazione coerente e verificabile, e di accettare l’imputazione degli effetti del proprio comportamento, riconoscendosi come l’autore di ciò che ha fatto o omesso.
La responsabilità non è una categoria giuridica applicata dall’esterno. È una struttura del sé, la forma stessa in cui un essere umano si costituisce come soggetto agente nel tempo e nello spazio. Quando la catena causale si distribuisce su più strati opachi, questa struttura si incrina: il giudice di Broward County non poteva narrare ciò che non conosceva, e chi non può narrare non può rispondere, nel senso pieno che Ricoeur attribuisce a questa parola.
Hannah Arendt, in ‘Vita activa’, propone un concetto di azione di straordinaria densità filosofica. Agire è iniziare qualcosa di nuovo, introdurre qualcosa di imprevedibile nel tessuto del mondo. L’azione è sempre esposta: non si controlla dove arriva, ma si sa da chi origina. Chi agisce appare nella pluralità, si rende riconoscibile, accetta che il mondo risponda o reagisca alla sua azione.
La macchina non agisce in senso arendtiano. Esegue. Anche quando produce output inattesi, non inaugura nulla di nuovo: replica, a scala e velocità incomparabili, le strutture che sono state impresse nei suoi parametri da chi l’ha progettata e addestrata. Il problema è che chi agisce tramite la macchina può sottrarsi alla condizione strutturale dell’azione, che è l’esposizione. Delegare a un sistema opaco significa agire senza apparire, decidere senza rispondere, produrre effetti senza lasciare traccia riconoscibile di sé. Non è responsabilità condivisa. È responsabilità evaporata.
Hans Jonas, ne ‘Il principio responsabilità’, compie un ulteriore salto teorico. La tecnologia moderna, infatti, introduce una frattura senza precedenti: per la prima volta nella storia, l’agire umano è in grado di produrre effetti che si estendono su scale temporali e spaziali enormemente superiori alla capacità dell’uomo di prevederne le conseguenze e di esercitarne il controllo.
In questo scenario, la concezione tradizionale della responsabilità mostra tutta la propria insufficienza. Essa nasce infatti come responsabilità retrospettiva: interviene dopo l’evento dannoso, quando il nesso tra azione ed effetto è già compiuto. Ma nell’età della tecnica avanzata questo modello si rivela inadeguato, perché gli effetti dell’azione tecnologica possono manifestarsi in modo diffuso, cumulativo e irreversibile.
Quando la responsabilità viene chiamata ad agire, il danno non solo si è già prodotto, ma spesso si è già incorporato stabilmente nelle strutture economiche, sociali e relazionali, divenendo parte integrante del loro funzionamento quotidiano.
Jonas elabora per questo il principio della responsabilità anticipatoria: non rispondere di ciò che si è fatto, ma esercitare la cautela come imperativo morale di fronte a ciò che si potrebbe fare. Ora, sarebbe impreciso affermare che il diritto sia del tutto privo di strumenti in questa direzione. Il principio di precauzione è già presente nell’ordinamento italiano ed europeo, in materia ambientale, sicurezza e salute nei luoghi di lavoro e alimentare, e impone di adottare misure preventive anche in assenza di una rigorosa certezza scientifica sul danno.
Ma questo principio presuppone che il rischio sia almeno identificabile, che si sappia, con sufficiente approssimazione, di cosa si ha paura. Nei sistemi algoritmici complessi questa condizione spesso non è soddisfatta: i rischi emergono da dinamiche interne che nessun progettista ha determinato nei dettagli e che nessuna autorità di vigilanza può ispezionare senza accesso al codice, ai dati di addestramento e ai parametri del modello. Non è assenza di volontà precauzionale. È che lo strumento precauzionale presuppone una conoscenza del rischio che l’opacità algoritmica strutturalmente impedisce.
Shoshana Zuboff, in ‘Il capitalismo della sorveglianza’, aggiunge la dimensione politica che trasforma il problema da teorico a strutturale. La diffusione della responsabilità lungo la catena algoritmica non è una conseguenza inattesa della complessità tecnica. È, in molti casi, una condizione che il mercato ha interesse a mantenere e a riprodurre.
Al centro della catena stanno i grandi operatori tecnologici che progettano i modelli, li addestrano su patrimoni di dati di portata inimmaginabile e li distribuiscono come servizi in licenza. Alla periferia della catena si trovano le imprese che li integrano nei propri processi, i professionisti che li utilizzano come strumenti di supporto decisionale, i cittadini che ne subiscono le valutazioni.
I benefici economici si concentrano al centro e chi controlla il modello controlla il valore generato dall’elaborazione. I rischi si scaricano invece verso la periferia, sul paziente danneggiato da una diagnosi algoritmica errata, sull’imputato classificato come recidivo ad alto rischio da un sistema automatizzato, sul lavoratore escluso da una selezione automatizzata senza possibilità di replica. Nessuno di questi soggetti ha avuto voce nella progettazione del sistema che li riguarda.
Questa asimmetria non è governabile cercando un singolo responsabile lungo la catena. Richiede di ripensare il soggetto stesso della responsabilità: non più un individuo, ma una costellazione di relazioni tra progettisti, istituzioni, mercati e comunità, organizzata in modo tale che nessuno possa agire senza apparire, decidere senza esporsi, produrre effetti senza lasciare traccia riconoscibile di sé.
Non è un problema tecnico. Non è nemmeno, soltanto, un problema giuridico. È un problema di architettura del potere. E come tale richiede non riforme parziali, ma nel senso più preciso del termine, una scelta di civiltà.
La dissoluzione della responsabilità produce però un secondo effetto, più silenzioso e per questo più insidioso. Quando nessuno risponde, quando la catena causale è opaca e distribuita, il prodotto sistemico non è solo un vuoto giuridico. È una crisi della fiducia. Non la sfiducia verso una fonte specifica, ma qualcosa di più profondo e più difficile da recuperare: l’erosione della fiducia come categoria, la sensazione diffusa che non si possa sapere nulla con certezza, che tutte le fonti siano potenzialmente compromesse, che ogni informazione possa essere falsa.
La crisi della fiducia non è un fenomeno parallelo alla dissoluzione della responsabilità. Ne è la conseguenza diretta. Ed è il tema che affronteremo nel prossimo contributo, perché capire questo nesso è il presupposto senza il quale ogni risposta, tecnica, normativa o culturale, rimane ingenua e miope.
L’articolo originale è stato pubblicato sul numero di Fortune Italia di giugno 2026 (numero 5, anno 9)
