OpenAI è alla ricerca di un nuovo dipendente per aiutare ad affrontare i crescenti pericoli dell’intelligenza artificiale, e l’azienda tecnologica è disposta a spendere più di mezzo milione di dollari per coprire il ruolo.
OpenAI sta assumendo un “head of preparedness” (responsabile della preparazione operativa) per ridurre i danni associati alla tecnologia, come quelli legati alla salute mentale degli utenti e alla sicurezza informatica, ha scritto il CEO Sam Altman in un post su X sabato. La posizione prevede una retribuzione di 555.000 dollari all’anno, più azioni (equity), secondo l’annuncio di lavoro.
“Sarà un lavoro stressante e ti butterai nella mischia praticamente subito”, ha detto Altman.
La spinta di OpenAI ad assumere un dirigente per la sicurezza arriva nel mezzo delle crescenti preoccupazioni delle aziende sui rischi dell’IA per le operazioni e la reputazione. Un’analisi di novembre dei documenti annuali della Securities and Exchange Commission (SEC), condotta dalla società di dati finanziari e analisi AlphaSense, ha rilevato che nei primi 11 mesi dell’anno, 418 aziende con un valore di almeno 1 miliardo di dollari hanno citato danni reputazionali associati a fattori di rischio dell’IA. Questi rischi per la reputazione includono set di dati IA che mostrano informazioni distorte o mettono a repentaglio la sicurezza. Le segnalazioni di danni reputazionali legati all’IA sono aumentate del 46% rispetto al 2024, secondo l’analisi.
“I modelli stanno migliorando rapidamente e sono ora capaci di molte grandi cose, ma stanno anche iniziando a presentare alcune sfide reali”, ha detto Altman nel post sui social media.
“Se vuoi aiutare il mondo a capire come dotare i difensori della sicurezza informatica di capacità all’avanguardia, garantendo al contempo che gli aggressori non possano usarle per nuocere (idealmente rendendo tutti i sistemi più sicuri), e analogamente per come rilasciamo capacità biologiche e persino per acquisire fiducia nella sicurezza dei sistemi in esecuzione che possono auto-migliorarsi, ti prego di considerare la candidatura”, ha aggiunto.
Il precedente responsabile della preparazione di OpenAI, Aleksander Madry, è stato riassegnato l’anno scorso a un ruolo legato al ragionamento dell’IA (reasoning), con la sicurezza dell’IA come parte correlata del lavoro.
Gli sforzi di OpenAI per affrontare i pericoli dell’IA
Fondata nel 2015 come organizzazione non profit con l’intenzione di utilizzare l’IA per migliorare e beneficiare l’umanità, OpenAI ha faticato, agli occhi di alcuni dei suoi ex leader, a dare priorità al suo impegno per lo sviluppo di una tecnologia sicura. L’ex vicepresidente della ricerca dell’azienda, Dario Amodei, insieme a sua sorella Daniela Amodei e a diversi altri ricercatori, ha lasciato OpenAI nel 2020, in parte a causa delle preoccupazioni che l’azienda stesse dando priorità al successo commerciale rispetto alla sicurezza. Amodei ha fondato Anthropic l’anno successivo.
OpenAI ha affrontato diverse cause per omicidio colposo quest’anno, con l’accusa che ChatGPT abbia incoraggiato i deliri degli utenti, sostenendo inoltre che le conversazioni con il bot fossero legate ai suicidi di alcuni utenti. Un’inchiesta del New York Times pubblicata a novembre ha rilevato quasi 50 casi di utenti di ChatGPT che hanno avuto crisi di salute mentale durante la conversazione con il bot.
OpenAI ha dichiarato ad agosto che le sue funzioni di sicurezza potrebbero “degradarsi” a seguito di lunghe conversazioni tra gli utenti e ChatGPT, ma l’azienda ha apportato modifiche per migliorare il modo in cui i suoi modelli interagiscono con gli utenti. All’inizio di quest’anno ha creato un consiglio di otto persone per consigliare l’azienda sui limiti di sicurezza (guardrails) per sostenere il benessere degli utenti e ha aggiornato ChatGPT per rispondere meglio nelle conversazioni sensibili e aumentare l’accesso alle linee dirette di crisi (hotlines). All’inizio del mese, l’azienda ha annunciato sovvenzioni per finanziare la ricerca sull’intersezione tra IA e salute mentale.
L’azienda tecnologica ha anche ammesso di aver bisogno di misure di sicurezza migliori, affermando in un post sul blog questo mese che alcuni dei suoi prossimi modelli potrebbero presentare un rischio di sicurezza informatica “alto” mentre l’IA avanza rapidamente. L’azienda sta adottando misure — come l’addestramento dei modelli a non rispondere a richieste che compromettono la sicurezza informatica e il perfezionamento dei sistemi di monitoraggio — per mitigare tali rischi.
“Abbiamo una solida base per misurare le crescenti capacità”, ha scritto Altman sabato. “Ma stiamo entrando in un mondo in cui abbiamo bisogno di una comprensione e di una misurazione più sfumate di come tali capacità potrebbero essere abusate, e di come possiamo limitare questi aspetti negativi sia nei nostri prodotti che nel mondo, in un modo che ci permetta a tutti di godere degli enormi benefici”.
L’articolo completo è su Fortune.com
