Perché la maggior parte delle strategie di governance dell’IA sono già in difficoltà
Rischio di conformità: Le organizzazioni spesso credono che la documentazione legale sia sufficiente, senza riconoscere i reali rischi di conformità legati all'IA.
Panorama normativo: La governance dell'IA opera all'interno di leggi frammentate che richiedono consapevolezza degli standard legali esistenti e delle responsabilità connesse.
Rilevamento del pregiudizio: I pregiudizi nell'IA derivano spesso da dati storici e influiscono sulle pratiche di assunzione, spesso senza intenzionalità o consapevolezza.
Responsabilità dei fornitori: Contare solo sulle certificazioni di conformità dei fornitori può oscurare rischi organizzativi significativi legati agli strumenti di IA.
Necessità di governance: Una governance efficace dell'IA richiede supervisione esecutiva e responsabilità chiare per garantire la conformità e ridurre i rischi.
La burocrazia può far sembrare la conformità un obiettivo raggiunto. Il reparto legale approva, i contratti vengono archiviati con una clausola di indennizzo che promette protezione. Ma spesso questi passaggi creano solo l’illusione della sicurezza, non la realtà.
Recentemente ho partecipato a una conferenza con diverse sessioni dedicate allo scenario normativo relativo all’IA sul posto di lavoro. Professionisti, avvocati del lavoro ed esperti di conformità hanno passato gran parte di due giorni a smontare le ipotesi su cui le organizzazioni hanno costruito le loro strategie di governance dell’IA. Il quadro che è emerso non era quello di un pericolo imminente. L’esposizione è già qui.
Il quadro regolatorio
Il governo federale non ha approvato una legislazione completa sull’IA. È a questo dato che molti dirigenti si fermano, ed è proprio il motivo per cui così tanti sottovalutano il proprio rischio. Lo scenario reale è un mosaico di statuti statali, ordinanze locali e leggi federali vigenti che si applicano anche senza norme specifiche sull’IA.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Sentite tutta questa retorica ‘non regolamenteremo questa cosa’ dall’attuale amministrazione. Non fatevi ingannare da questo. Stanno vendendo certezza dove certezza non ce n’è.
Kelly e tutti gli altri avvocati intervenuti alla conferenza sono stati abbastanza espliciti su quanto possa costare alle organizzazioni questa lettura errata. Le priorità strategiche 2024–2028 dell’EEOC, tra cui l’Hiring Initiative to Reimagine Equity, puntano in modo specifico sui sistemi apparentemente neutri, ossia strumenti che non discriminano esplicitamente ma che producono risultati discriminatori.
La legislazione federale già copre questa fattispecie. Lo fa anche l’AI Act dell’UE, che si applica a qualsiasi organizzazione con operazioni o attività di impiego in Europa.
Il celebre caso Workday, una class action che accusava il software HR dell’azienda di discriminare i candidati per età e razza, ha dimostrato chiaramente che l’esposizione legale non aspetta il Congresso.
Il problema della reperibilità
Una delle conversazioni più scioccanti della conferenza ha riguardato la documentazione. In particolare, cosa succede quando le vostre decisioni generate dall’IA finiscono in fase di discovery.
I prompt AI possono essere oggetto di citazione in giudizio. Logiche interne, input decisionali, configurazioni dei modelli utilizzate in selezione del personale, gestione delle performance o processi di retribuzione possono essere richiesti come prove. Le organizzazioni che non sono in grado di produrre registri dettagliati delle decisioni prese dall’IA risalenti a quattro anni prima si espongono a rischi significativi sia in sede di contenzioso che in caso di revisione normativa.
Non si tratta solo di teoria. Man mano che gli agenti AI assumono ruoli sempre più autonomi nelle operazioni HR, la questione della responsabilità si fa più stringente. Quando un sistema agentico prende o influenza una decisione importante in ambito lavorativo e qualcosa va storto, la legge attribuisce la responsabilità completamente all’azienda datrice di lavoro, non al fornitore.
La responsabilità oggettiva per gli agenti pone l’organizzazione nella posizione di rispondere direttamente degli esiti prodotti da strumenti che potrebbe non comprendere del tutto.
Di conseguenza, i requisiti di conservazione dei documenti stanno cambiando. Una governance che non è stata progettata tenendo in conto la reperibilità dovrà essere ricostruita sotto pressione.
Dove entra davvero il bias
La maggior parte delle organizzazioni affronta il bias nell’IA come fosse un problema del fornitore. Comprano uno strumento AI, chiedono se è stato sottoposto ad audit, ricevono una qualche forma di risposta affermativa e vanno avanti. La comunità legale e di conformità ha iniziato a sottolineare quanto questa visione sia incompleta.
Il bias entra nei sistemi di intelligenza artificiale attraverso dati storici, le definizioni di successo, i filtri di selezione e le variabili proxy. Quando un sistema AI viene addestrato su anni di dati relativi a chi è stato assunto, a chi è stato promosso e che giudizi di performance sono stati attribuiti, apprende le preferenze dell’organizzazione. Queste preferenze spesso contengono discriminazioni radicate che nessuno ha progettato intenzionalmente, ma che il modello incorpora e amplifica.
Il bias viene amplificato,
Kelly ha sottolineato, "trasformando decisioni isolate in modelli diffusi a livello istituzionale."
Lo standard legale per l’impatto disparato non richiede intenzionalità. Il ricorrente deve dimostrare una disparità statistica, e la soglia è già definita. La cosiddetta regola dei quattro quinti, o regola dell’80%, stabilisce che se il tasso di selezione di un gruppo protetto è inferiore all’80% di quello del gruppo più selezionato, questo costituisce prova di impatto disparato.
Uno strumento AI che analizza migliaia di curriculum al mese può superare questa soglia senza che nessuno in azienda lo abbia mai voluto consapevolmente.
Uno studio dell'Università di Washington citato durante una sessione ha illustrato la portata del problema. Quando i nomi dei candidati maschi neri sono stati confrontati con quelli dei candidati maschi bianchi nei sistemi di screening tramite AI, i sistemi hanno preferito i nomi neri nello zero percento dei casi.
Lo standard del trattamento disparato, che copre la discriminazione intenzionale, presenta le sue complicazioni specifiche per l’AI. Gli input diretti che utilizzano caratteristiche protette come dati espliciti sono il caso più ovvio. Ma i motivi nascosti sono più difficili da rilevare e più complessi da contrastare, come ad esempio selezionare un fornitore specificamente perché il loro strumento di screening tende a escludere i candidati più anziani, pur presentando internamente la scelta come una preferenza per una "cultura dinamica".
Questa argomentazione non neutralizza l’intento dal punto di vista legale.
Perché la vigilanza orientata al fornitore fallisce
Il modello di governance predefinito nella maggior parte delle organizzazioni passa attraverso il rapporto con il fornitore. L’assunto è che se lo strumento del fornitore supera le certificazioni o viene fornito con documentazione di audit, allora l’organizzazione ha soddisfatto i propri obblighi.
Questo assunto non resiste al confronto né con la legge né con la realtà operativa.
"Alla fine della giornata, la responsabilità ricadrà sull’organizzazione," ha detto Kelly. "Tutto il rischio verrà dallo stesso contenitore. Potrete collaborare con chiunque in ambito compliance, rischio, legale, tutti lavorando per minimizzare il rischio nelle rispettive aree, ma l’unico modo per riuscirci è che le persone nella vostra organizzazione capiscano cosa state usando e per quale scopo. Se mi sfugge che il vostro team di recruiting sta usando una tecnologia che noi non testiamo per il rischio, il nostro lavoro è in parte inutile."
Chris Lippert, direttore presso Schellman, ha indicato il panorama delle certificazioni fornitore come parte del problema. Molti strumenti AI nelle funzioni HR non sono stati certificati da enti indipendenti.
Greenhouse, una delle piattaforme di tracciamento dei candidati più diffuse, ha ricevuto la certificazione ISO/IEC 42001 solo a febbraio di quest’anno. L’implicazione per il settore è che le organizzazioni hanno adottato funzionalità potenziate da AI molto prima che gli strumenti venissero validati, e molte utilizzano ancora versioni non verificate.
Solo perché un’applicazione ha l’AI non significa che debba essere usata. E se aggiunge funzionalità AI, quello è il momento di notare qualcosa e segnalarlo. Le vostre policy aziendali vengono aggiornate prima dell’implementazione della tecnologia? No. Siete esposti prima che possa essere inserito come policy.
Lippert ha raccomandato di basarsi sulle valutazioni di impatto sulla privacy che le organizzazioni probabilmente hanno già completato. La revisione del rischio AI non deve essere costruita da zero. Gli stessi stakeholder, gli stessi framework analitici e gran parte della struttura documentale esistono già nella maggior parte dei programmi di conformità.
Trattare la governance AI come un’estensione di quel lavoro piuttosto che come un’iniziativa separata la rende più concreta e duratura.
More Articles
Il divario di governance ai vertici
I requisiti di governance operativa non sono complicati da elencare.
- Punti di verifica di supervisione umana
- Cadenza di validazione
- Responsabilizzazione dei fornitori
- Monitoraggio degli esiti
- Documentazione,
- Controllo delle versioni
Questi aspetti sono ben compresi. Ciò che è meno chiaro in molte organizzazioni è chi ne sia il responsabile, e se qualcuno con l’autorità necessaria stia effettivamente vigilando.
Il consenso generale su tutti i framework di rischio dell’IA è che deve essere sostenuto dall’alto verso il basso. Bisogna avere quella responsabilità.
Il punto di Howard si collega a una modalità di fallimento più ampia. Le strutture di governance costruite a livello di team o di funzione, senza un mandato esecutivo e un chiaro senso di responsabilità, tendono a essere applicate in modo incoerente e difficili da far rispettare.
Quando una business unit adotta un nuovo strumento di IA senza passare per un processo di revisione stabilito, il divario che si crea non emerge fino a quando non arriva un reclamo, una causa legale o un'indagine normativa.
La deriva dei modelli aggrava questo problema. Gli strumenti di IA cambiano nel tempo, a volte tramite aggiornamenti dei fornitori, altre volte a causa dei cambiamenti nei dati sottostanti che vengono elaborati. Uno strumento che ha superato un audit di bias in fase di implementazione potrebbe non superarlo diciotto mesi dopo.
"Quando i modelli vanno alla deriva, aumenta anche il rischio che stai assumendo", ha detto Howard. "Bisogna dare alle persone il potere di parlare quando qualcosa sembra fuori posto."
Testare secondo le proprie condizioni
L'assenza di un quadro federale obbligatorio fa sì che le organizzazioni siano in gran parte lasciate a progettare i propri protocolli di test. Il consiglio di Kelly su questo punto è stato diretto.
"Sei da solo", ha detto. "Questa è la realtà."
L'implicazione pratica è che le organizzazioni devono eseguire i propri test sui bias, in modo continuo, e farlo con una tutela legale in atto. Condurre i test sotto il privilegio avvocato-cliente consente all'organizzazione di individuare i problemi senza creare automaticamente prove accessibili di tali problemi.
Si tratta di un investimento con un ritorno chiaro, in particolare per qualsiasi organizzazione che utilizzi l'IA nei processi di selezione del personale, dove l'esposizione legale è massima e i requisiti di documentazione sono più stringenti.
Le organizzazioni che stanno anticipando il problema hanno smesso di presumere che il fornitore abbia già fatto il lavoro e hanno iniziato a trattare la governance dell'IA come una disciplina operativa con una reale proprietà, test effettivi e una responsabilità concreta.
