Chi ha il diritto di dissentire dal modello?
Rischi della delega: La delega all’IA basata sugli obiettivi riduce drasticamente l’onestà, consentendo ai sistemi di determinare i metodi dietro obiettivi aziendali apparentemente accettabili.
Divario di responsabilità: Le politiche di governance dell’IA indicano leader responsabili, ma sono i dati sulle revoche a svelare se l’autorità decisionale esista davvero nella pratica.
Evidenza delle revoche: Registrare i dissensi umani rispetto alle raccomandazioni dell’IA mostra autorità inutilizzata, sistemi deboli e resistenza organizzativa al confronto.
Decadenza del giudizio: Accettare ripetutamente le raccomandazioni delle macchine può ridurre le capacità decisionali dei manager, prima che le organizzazioni riconoscano la debolezza risultante.
Progettazione pratica: Un efficace controllo umano richiede classificazioni di decisioni reversibili, modalità esplicite di delega, registri dei dissensi e protezione sociale per chi revoca.
Ricercatori guidati dal Max Planck Institute for Human Development hanno condotto una versione di un esperimento utilizzato dagli scienziati comportamentali da decenni. I partecipanti osservavano un lancio di dado sullo schermo e riportavano il risultato. I numeri più alti pagavano di più, un centesimo per punto, per dieci turni.
Quando riferivano i risultati per se stessi, il 95% diceva la verità.
Poi i ricercatori hanno fatto in modo che altri partecipanti affidassero la segnalazione a una macchina, variando solo il modo in cui veniva data l'istruzione. Coloro che dovevano scrivere regole esplicite, specificando cosa riportare per ciascuno dei sei possibili esiti, chiedevano alla macchina il numero onesto circa il 75% delle volte.
Continua a leggere—e continua a guidare con intelligenza
Crea un account gratuito per terminare la lettura e unirti a una community di leader lungimiranti che sbloccano strumenti, playbook e approfondimenti per prosperare nell'era dell'IA.
Have an account? Log In
Coloro che addestravano la macchina selezionando un set di dati di esempio chiedevano onestà circa la metà delle volte. Quelli che impostavano un obiettivo, spostando una leva da "massimizza accuratezza" a "massimizza profitto" e lasciando che fosse il sistema a stabilire il metodo, chiedevano onestà nel 12% dei casi nel primo studio e nel 16% in un successivo in cui delegare era opzionale.
Tra l'84 e l'88% delle persone in quest'ultima condizione chiedeva alla macchina di barare per loro, senza che nessuno di loro dovesse mai dirlo esplicitamente.
I soldi non cambiavano. I lanci del dado non cambiavano, poiché ogni partecipante vedeva la stessa sequenza fissa di dieci tiri. Ciò che cambiava era quanto margine interpretativo esisteva tra l'istruzione e l'azione.
I ricercatori si aspettavano che la scrittura delle regole rimanesse stabile, secondo la teoria che scrivere una regola per barare avesse lo stesso peso morale che commettere la frode stessa. Non è stato così. L'onestà è calata anche lì di circa venti punti. Ogni forma di delega l'ha indebolita, e l'interfaccia determinava di quanto.
Si è trattato di un esperimento online condotto su Prolific, con una vincita massima di sessanta centesimi. Il compito del lancio del dado ha una lunga storia di validazione, prevedendo comportamenti del mondo reale come il mancato pagamento del biglietto o pratiche di vendita ingannevoli. Il confronto tra interfacce è stato testato solo in questo protocollo, anche se uno studio parallelo, utilizzando un compito di evasione fiscale in cui la falsa segnalazione riduceva una donazione alla Croce Rossa, ha confermato l'altro risultato centrale dello studio su come gli agenti automatici gestiscono le istruzioni ricevute.
La distinzione è importante per ciò che la maggior parte delle aziende sta costruendo in questo momento. Scrivere una istruzione è simile a scrivere regole, e le richieste disoneste fatte tramite linguaggio naturale rappresentavano circa il 25% secondo il resoconto dei partecipanti, e il 40% secondo la valutazione di giudici indipendenti.
Il salto si verifica con le interfacce in cui una persona imposta un obiettivo e lascia al sistema la scelta del metodo. Un manager che dice a un agente di massimizzare la pipeline qualificata o ridurre il tempo di assunzione ha specificato un risultato e delegato ogni scelta operativa su come raggiungerlo al sistema. Ma dove si trova il criterio che qualcuno dovrebbe saper difendere?
La struttura di responsabilità costruita su questo tipo di impostazione generalmente appare solida sulla carta. C'è un nome responsabile. Tuttavia, quel nome conta meno di quanto si pensi.
Dare un nome a un responsabile era la parte facile
Tra il 2025 e quest'anno, le organizzazioni hanno fatto ciò che sembrava ovvio. Hanno istituito comitati di vigilanza sull'IA, scritto policy di utilizzo accettabile, e messo il nome di un dirigente sull'organigramma accanto alle parole "governance dell'IA".
L'indagine 2026 Global Human Capital Trends di Deloitte, condotta con Oxford Economics su più di 9.000 leader business e HR in 89 paesi, ha rilevato che il 64% degli intervistati considera IA e processo decisionale molto importanti per il successo attuale. Solo il 5% si considera leader in questo ambito.
La distanza tra preoccupazione e competenza non è spiegata da una carenza di policy. La maggior parte delle organizzazioni ne ha. Ciò che manca è qualsiasi evidenza che l'autorità messa su carta venga effettivamente usata.
Se chiedi a un Chief HR Officer chi ha la responsabilità della decisione di assunzione influenzata dall'IA, riceverai una risposta. Ma se chiedi quante volte negli ultimi sei mesi un recruiter ha annullato formalmente la scelta dello strumento di screening, e cosa è successo a quel recruiter dopo, la stanza cade nel silenzio.
Vale la pena fare la seconda domanda perché la risposta è verificabile. L'assunzione di responsabilità è una dichiarazione. Una deroga è un fatto.
Il tracciato si ferma all'esito
Kaan Esendemir, enterprise architect che ha costruito flussi di lavoro assistiti da IA in una società Fortune 50, osserva che il modello emerge più spesso nei sistemi che raccomandano anziché decidere. Assistenti virtuali, acceleratori di workflow, strumenti che mostrano un'opzione e lasciano la decisione a una persona.
Dove si traccia il confine tra i due è oggetto di negoziazione. Secondo lui, sono i responsabili di business e prodotto a stabilire dove si ferma l'IA e comincia la persona, con il coinvolgimento dell'ingegneria perché conosce i limiti e le reali capacità del sistema. Quella parte tende a funzionare.
Ciò che accade dopo è il punto in cui il tracciato delle decisioni si fa più raro.
Quando qualcuno annulla il sistema, di solito viene registrato il risultato finale, ma il disaccordo in sé non viene sempre tracciato come un dato a sé stante.
La distinzione sembra minima, ma determina ciò che un'organizzazione può apprendere. Un risultato ti dice cosa è stato deciso. Un disaccordo ti segnala che una persona ha valutato una raccomandazione, l'ha ritenuta errata e ha agito di conseguenza. Le aziende stanno conservando la meno utile delle due informazioni.
Un override non è solo un'eccezione. È un feedback che può aiutare a migliorare il sistema e a rendere migliori le raccomandazioni future.
Un registro degli override è una diagnostica economica che qualsiasi COO può effettuare questo trimestre. Scegli tre flussi di lavoro in cui l'IA influenza una decisione importante. Conta le occorrenze documentate negli ultimi sei mesi in cui una persona è andata contro la raccomandazione. Poi leggi cos'è successo dopo in ciascun caso.
Se il conteggio è zero, probabilmente è vera una delle due cose. Il sistema ha funzionato così bene che nessun umano ha trovato motivo di dissentire in sei mesi, affermazione che nessun fornitore fa sul proprio prodotto. Oppure, l'autorità di dissentire esiste solo sulla carta.
Il numero non deve essere per forza zero per dirti qualcosa. La Spagna gestisce un sistema chiamato Viogén che valuta il rischio di recidiva in casi di violenza domestica, e una revisione esterna ha rilevato che gli agenti di polizia hanno seguito la sua raccomandazione nel 95% dei casi.
Il Garante europeo della protezione dei dati, citando la revisione in un rapporto tecnico lo scorso settembre, ammette che tale concordanza potrebbe riflettere una legittima fiducia nello strumento. Solleva anche una domanda su quanta autonomia di giudizio resti nel processo.
Un accordo al 95% tra una persona e un modello indica o un modello molto valido o una persona che ha smesso di arrivare alle proprie conclusioni. Dall'esterno del registro, queste due situazioni sono indistinguibili. Dall'interno, in sei mesi, non lo sono.
La capacità di annullare si indebolisce prima di essere misurata
Amy Centers, psicologa organizzativa e fondatrice di SmartWorks Labs, descrive il problema di secondo ordine. L'autorità di override non solo viene poco utilizzata. Ciò che la sostiene si erode.
È un po’ come il GPS che ha eroso il nostro senso dell’orientamento. Col tempo, delegare i giudizi penso inizierà a erodere la bussola interna e l’intuizione di un leader, con un vero rischio: l’organizzazione potrebbe diventare tecnicamente efficiente ma moralmente vuota.
La sua versione più incisiva: "Più deleghiamo le decisioni difficili, più rischiamo di formare leader che non sanno guidare senza un suggerimento."
Il meccanismo ha un tempo di sviluppo più lungo rispetto alla maggior parte delle verifiche di governance. Un manager che si è affidato al modello per novantotto raccomandazioni consecutive non è stato inattivo. È stato efficiente. Ma ha anche trascorso mesi senza esercitare ciò che l'autorità di override presuppone sia ancora in grado di fare.
Questo non emerge in una revisione trimestrale. Si manifesta la prima volta che il modello sbaglia con sicurezza su qualcosa di importante, e la persona formalmente responsabile di accorgersene legge il risultato, lo trova plausibile e passa oltre.
Centers individua il punto di fallimento nel manager, e lo sottolinea con forza.
Partirei dalla responsabilità dei manager. La maggior parte delle disfunzioni nasce da loro. Troppo spesso sono poco supportati, poco sviluppati. Non vengono responsabilizzati su come guidano. Se non sistemi questo strato di snodo, tutte le altre riforme come coinvolgimento, competenze, adozione dell'IA, crollano.
Lei definisce il ruolo del manager come la cerniera tra strategia ed esperienza umana. In un flusso di lavoro potenziato dall'IA è anche l'unico livello posizionato per intercettare una decisione errata prima che si diffonda, formato da persone promosse per affidabilità operativa e mai informate che la validazione dei risultati della macchina è ora parte del lavoro.
L’automazione lascia agli esseri umani i casi più difficili
Victoria Pelletier, che in passato ha guidato funzioni di gestione delle persone e della trasformazione in Accenture e IBM tra gli altri, sottolinea cosa fa l’automazione al lavoro che rimane.
Sono quelle competenze umane di potere, innovazione, problem solving e qualità come l’empatia. Quando chiedi cosa resta indietro? Pensa a un contact center. È stato il primo luogo in cui c’è stata una qualche forma di automazione. Quando parli con un operatore umano, è un’eccezione. Non ha seguito le regole della policy o del codice che l’agente AI poteva seguire. Perciò serve qualcuno che possa ragionarci sopra.
Come sottolinea, i contact center hanno condotto questo esperimento anni prima di chiunque altro. Automatizzare ciò che segue le regole significa che ogni chiamata che arriva a una persona è, per definizione, quella che le regole non sono riuscite a gestire. Il lavoro che rimane è più difficile di quello che è stato eliminato.
Il punto di Pelletier è che la definizione dei ruoli raramente segue questo cambiamento. Il volume diminuisce, la difficoltà aumenta e la descrizione del lavoro, la formazione e i criteri di valutazione continuano a descrivere il lavoro come esisteva prima. Nota che il lavoro residuo "richiede un livello di competenza molto diverso in alcune delle cose che già oggi ci si aspetta".
Individua inoltre una ragione strutturale per cui i diritti decisionali non vengono ricostruiti. Il design organizzativo e le funzioni di job architecture sono stati ridotti nell’ultimo decennio perché considerati costi generali, partendo dal presupposto ragionevole che i ruoli non avrebbero avuto bisogno di valutazioni frequenti.
Ora, queste sono le persone che dovrebbero ricostruire i diritti decisionali. Pelletier chiama ciò che accade in loro assenza "Frankensteinizzazione dei ruoli".
Due critiche all’uomo nel loop
Al momento circolano due obiezioni al mantenere un essere umano nel loop, e puntano in direzioni opposte.
La versione di Jurgen Appelo è che i checkpoint umani obbligatori trasformano le persone in colli di bottiglia. Ogni interazione inizia e finisce con una persona, i sistemi non comunicano mai tra loro e l’operatività si riduce al ritmo di chi è più lento. Lo chiama la trappola degli humans-in-the-loop.
La versione dell’European Data Protection Supervisor è quasi l’opposto. Nel già citato documento tecnico sulla supervisione umana delle decisioni automatizzate, l’EDPS mette in guardia dal presumere che un essere umano nel loop garantisca effettivamente supervisione, e sostiene che le organizzazioni debbano progettare esplicitamente autorità, interfacce e percorsi di escalation affinché una persona possa davvero intervenire.
Entrambi hanno ragione e descrivono fallimenti diversi. L’essere umano di Appelo è di intralcio. Quello dell’EDPS è presente ma senza potere. Un’organizzazione può risolvere il primo togliendo i checkpoint e peggiorare così il secondo.
Il documento descrive cosa significa, nella pratica, essere senza potere. Tra il 2014 e il 2019, il servizio pubblico dell’impiego polacco adottò un algoritmo che suddivise i cercatori di lavoro in tre categorie, e la categoria determinava il tipo di supporto ricevuto. Gli advisor dei clienti erano formalmente designati come supervisione umana, con l’autorità di modificare la classificazione.
Avevano l’autorità ma non potevano usarla. I carichi di lavoro erano troppo elevati e la formazione insufficiente. Nessuno aveva spiegato loro quando fosse necessario un override o come giustificarlo. Il sistema presentava i risultati in una forma che rendeva difficile valutare se la classificazione corrispondesse davvero alla persona davanti.
E poi c’è la parte che non ha nulla a che vedere con il design del sistema. Alcuni manager locali scoraggiavano apertamente le correzioni, altri le vietavano, perché una rettifica attirava l’attenzione dei superiori.
Gli advisor non erano sotto-formati nel senso che un budget per la formazione avrebbe risolto. Stavano leggendo correttamente un incentivo. Correggere il modello creava una traccia che il manager avrebbe dovuto spiegare, mentre seguirlo non creava nulla. Tra queste due opzioni e un carico di lavoro pieno, la scelta razionale era firmare ciò che mostrava lo schermo.
L’EDPS riassume la condizione chiaramente. Gli operatori possono esercitare reale autorità su un sistema solo se non temono conseguenze dalla propria organizzazione per averlo fatto.
È una questione di gestione, non di design dell’interfaccia: ecco perché l’autorità di override tende ad essere decorativa. Il conferimento formale è la parte semplice. A determinare se qualcuno la userà è quello che capita a chi lo fa.
La formulazione di Deloitte su cosa sostituirà il vecchio modello è la più precisa disponibile. Gli strumenti storici come il RACI presumevano un’autorità statica. Con l’AI, i diritti devono essere dinamici, con privilegi di override, percorsi di escalation e regole di consenso incorporati nel sistema affinché umani e agenti coordinino chi decide, quando e su quali basi.
La Polonia aveva quasi tutto questo sulla carta. Quello che mancava era un responsabile disposto ad autorizzare qualcuno a utilizzarlo.
Costruire le condizioni, non il diagramma
Quattro mosse, nell'ordine in cui devono avvenire.
Classificare le decisioni in base alla reversibilità prima di assegnarle a qualcuno. La classificazione di Amazon sulle decisioni porta-una-via e porta-due-vie è il riferimento. Le scelte irreversibili devono essere esaminate con attenzione e seguite lungo percorsi più lenti. Quelle reversibili possono procedere. L'applicazione per l’era dell'IA consiste nell'adattare l'autonomia dell'agente alla difficoltà di annullare una decisione, piuttosto che a quanto essa sembri ordinaria.
Denominare la modalità di delega, non solo il delegato. Lo dimostra la ricerca del Max Planck. Deleghe basate su regole, esempi o obiettivi generavano richieste sensibilmente diverse anche tra persone altrimenti simili. Qualsiasi flusso di lavoro in cui qualcuno affida a un sistema un risultato lasciando che sia questo a determinare i criteri rientra nella categoria di massima ambiguità, perché è esattamente ciò che rappresenta.
Registrare il dissenso, non solo il risultato. Il divario di Esendemir è quello da colmare. Quando una persona si oppone a una raccomandazione, bisogna annotare che l'ha fatto, cosa ha notato e cosa è successo dopo. Il solo risultato non dice nulla sul fatto che qualcun altro stia ancora valutando.
Rivalutare il confine periodicamente. Definire dove decide l’IA e dove decide una persona non è una domanda alla quale si risponde una volta sola. Va fissata una scadenza.
I ricercatori del Max Planck hanno concluso con una raccomandazione rivolta a chi delega piuttosto che alla macchina che la riceve. Le interfacce di delega che rendono facile dichiarare ignoranza su come la macchina interpreterà le istruzioni dovrebbero essere evitate.
Questo è un principio di progettazione che può essere esteso da una semplice manopola su uno schermo fino a un intero modello operativo. Ogni livello di astrazione tra una persona e una conseguenza rende più facile convivere con quella conseguenza.
Tra sei mesi, molte organizzazioni avranno la documentazione. Politiche, statuti dei comitati, responsabili individuati, formazione completata.
Poche avranno un registro con delle voci al suo interno.
