Chi ha il diritto di dissentire dal modello?
Rischi della delega: La delega all'IA basata sugli obiettivi riduce drasticamente l'onestà, consentendo ai sistemi di determinare i metodi alla base di obiettivi aziendali apparentemente accettabili.
Divario di responsabilità: Le politiche di governance dell'IA nominano i responsabili, ma le registrazioni delle decisioni annullate rivelano se l'autorità decisionale esista davvero nella pratica.
Prove di annullamento: Registrare i disaccordi degli esseri umani con le raccomandazioni dell'IA mette in luce l'autorità inutilizzata, i sistemi deboli e la resistenza organizzativa alle contestazioni.
Declino del giudizio: Accettare ripetutamente le raccomandazioni delle macchine può erodere le capacità decisionali dei manager prima che le organizzazioni riconoscano la debolezza che ne deriva.
Progettazione pratica: Una supervisione umana efficace richiede una classificazione reversibile delle decisioni, modalità di delega esplicite, registri dei disaccordi e protezione sociale per chi annulla le decisioni.
I ricercatori guidati dall'Istituto Max Planck per lo sviluppo umano hanno condotto una versione di un esperimento che gli scienziati comportamentali utilizzano da decenni. I partecipanti guardavano il lancio di un dado sullo schermo e riferivano il risultato. I numeri più alti pagavano di più, un centesimo per ogni punto, per dieci turni.
Quando riferivano per sé stessi, il 95% diceva la verità.
Poi i ricercatori hanno chiesto ad altri partecipanti di affidare il compito di riferire a una macchina, variando soltanto il modo in cui veniva impartita l'istruzione. Coloro che dovevano scrivere regole esplicite, specificando cosa riferire per ciascuno dei sei possibili risultati, chiedevano alla macchina il numero onesto circa il 75% delle volte.
Continua a leggere—e continua a guidare con intelligenza
Crea un account gratuito per terminare la lettura e unirti a una community di leader lungimiranti che sbloccano strumenti, playbook e approfondimenti per prosperare nell'era dell'IA.
Have an account? Log In
Coloro che la addestravano scegliendo un insieme di dati di esempio chiedevano onestà circa la metà delle volte. Coloro che fissavano un obiettivo, spostando una manopola da "massimizza la precisione" verso "massimizza il profitto" e lasciando il metodo al sistema, chiedevano onestà nel 12% dei casi nel primo studio e nel 16% in un'indagine successiva in cui delegare era facoltativo.
Tra l'84% e l'88% delle persone in quest'ultima condizione chiedeva alla macchina di barare al posto loro, senza che nessuno di loro dovesse dirglielo.
Il denaro non è cambiato. I lanci del dado non sono cambiati, poiché ogni partecipante vedeva la stessa sequenza fissa di dieci lanci. Ciò che è cambiato è stata la quantità di spazio interpretativo tra l'istruzione e l'azione.
I ricercatori si aspettavano che la scrittura delle regole rimanesse stabile, secondo la teoria per cui esplicitare un imbroglio ha lo stesso peso morale del commetterlo. Non è stato così. Anche in quel caso l'onestà è diminuita di circa venti punti. Ogni forma di delega l'ha compromessa, e l'interfaccia ha determinato in quale misura.
Si è trattato di un esperimento online condotto su Prolific, con un pagamento massimo di sessanta centesimi. Il compito del lancio del dado vanta una lunga validazione e predice comportamenti del mondo reale, tra cui l'evasione del pagamento del biglietto e pratiche di vendita ingannevoli. Il confronto tra le interfacce è stato testato soltanto in questo protocollo, sebbene uno studio complementare che utilizzava un compito di evasione fiscale, in cui la dichiarazione errata riduceva una donazione alla Croce Rossa, abbia replicato l'altro risultato centrale dello studio riguardo al modo in cui gli agenti macchina gestiscono le istruzioni che ricevono.
La distinzione è importante per ciò che la maggior parte delle aziende sta costruendo in questo momento. Scrivere un prompt è più simile a scrivere regole, e le richieste disoneste formulate attraverso il linguaggio naturale rappresentavano circa il 25% secondo la valutazione degli stessi partecipanti, e il 40% quando a giudicare le istruzioni erano valutatori indipendenti.
Il salto si verifica con le interfacce in cui una persona imposta un obiettivo e lascia che sia il sistema a determinare il metodo. Un dirigente che dice a un agente di massimizzare il bacino di candidati qualificati o ridurre il tempo necessario per coprire una posizione ha specificato un risultato e lasciato al sistema ogni decisione operativa sul come raggiungerlo. Ma dov'è il criterio che qualcuno dovrebbe poter difendere?
La struttura di responsabilità che sovrasta questo assetto di solito appare in ordine sulla carta. Sopra c'è il nome di qualcuno. Quel nome, tuttavia, fa meno di quanto si potrebbe pensare.
Dare un nome al responsabile è stata la parte facile
Nel corso del 2025 e all'inizio di quest'anno, le organizzazioni hanno fatto la cosa più ovvia. Hanno istituito comitati di supervisione dell'IA, scritto politiche sull'uso accettabile e inserito un dirigente indicato nell'organigramma accanto alle parole "governance dell'IA".
Il sondaggio di Deloitte sulle Tendenze globali del capitale umano 2026, condotto insieme a Oxford Economics su oltre 9.000 leader aziendali e delle risorse umane in 89 Paesi, ha rilevato che il 64% degli intervistati considera l'IA e il processo decisionale molto importanti per il successo attuale. Solo il 5% ritiene di essere all'avanguardia in questo ambito.
La distanza tra preoccupazione e competenza non è spiegata dalla mancanza di politiche. La maggior parte delle organizzazioni dispone di politiche. Ciò che manca è qualsiasi prova che l'autorità che hanno messo nero su bianco venga utilizzata.
Chiedete a un CHRO chi sia responsabile della decisione di assunzione influenzata dall'IA e otterrete una risposta. Chiedete quante volte negli ultimi sei mesi un recruiter abbia formalmente ignorato lo strumento di selezione preliminare e cosa sia successo in seguito a quel recruiter, e nella stanza calerà il silenzio.
Vale la pena porre questa seconda domanda perché la risposta è falsificabile. La titolarità è un'affermazione. Un'eccezione è un evento.
La registrazione si ferma al risultato
Kaan Esendemir, un architetto aziendale che ha realizzato flussi di lavoro assistiti dall'IA in grandi aziende su vasta scala, osserva questo schema soprattutto nei sistemi che formulano raccomandazioni invece di prendere decisioni. Assistenti virtuali, acceleratori dei flussi di lavoro, strumenti che fanno emergere un'opzione e lasciano la scelta a una persona.
Dove si trovi la linea di demarcazione tra i due è oggetto di una negoziazione. I responsabili aziendali e di prodotto decidono dove si ferma l'IA e dove inizia una persona, afferma, con il coinvolgimento degli ingegneri perché comprendono ciò che il sistema può realisticamente fare e dove fallisce. Questa parte tende a funzionare.
Ciò che accade dopo è il punto in cui la documentazione si assottiglia.
Quando qualcuno scavalca il sistema, il risultato finale viene solitamente registrato, ma il disaccordo in sé non viene sempre tracciato come un dato distinto.
La distinzione può sembrare minima, ma determina ciò che un'organizzazione può imparare. Un risultato ti dice che cosa è stato deciso. Un disaccordo ti dice che una persona ha esaminato una raccomandazione, l'ha giudicata errata e ha agito in contrasto con essa. Le aziende stanno conservando il meno utile dei due.
Una deroga non è solo un'eccezione. È un feedback che può contribuire a migliorare il sistema e a rendere più efficaci le raccomandazioni future.
Un registro delle deroghe è una semplice verifica diagnostica che qualsiasi COO può eseguire in questo trimestre. Scegli tre flussi di lavoro in cui l'AI influisce su una decisione importante. Conta i casi documentati negli ultimi sei mesi in cui una persona è andata contro la raccomandazione. Poi esamina che cosa è successo dopo in ciascun caso.
Se il conteggio è zero, molto probabilmente è vera una di due cose. Il sistema ha funzionato così bene che nessun essere umano ha trovato motivo di dissentire per sei mesi, un'affermazione che nessun fornitore fa sul proprio prodotto. Oppure l'autorità di dissentire esiste sulla carta e da nessun'altra parte.
Il numero non deve essere zero per dirti qualcosa. La Spagna gestisce un sistema chiamato Viogén che valuta il rischio di violenza reiterata nei casi di violenza domestica, e una verifica indipendente ha rilevato che gli agenti di polizia hanno seguito la sua raccomandazione nel 95% dei casi.
Il Garante europeo della protezione dei dati, citando la verifica in un documento tecnico pubblicato lo scorso settembre, ammette che la concordanza può riflettere una fiducia giustificata nello strumento. Solleva anche una domanda su quanta valutazione indipendente rimanga nel processo.
Un accordo del novantacinque percento tra una persona e un modello indica o un modello molto valido oppure una persona che ha smesso di arrivare a conclusioni proprie. Dall'esterno del registro, le due situazioni sembrano identiche. Dall'interno, nell'arco di sei mesi, non lo sono.
La capacità di scavalcare il sistema si deteriora prima di essere misurata
Amy Centers, psicologa delle organizzazioni e fondatrice di SmartWorks Labs, descrive il problema di secondo livello. L'autorità di derogare non rimane semplicemente inutilizzata. Ciò che la sostiene si erode.
È un po’ come il modo in cui il GPS ha eroso il nostro senso dell’orientamento. Nel tempo, penso che delegare il giudizio inizierà a erodere la bussola interiore e l’intuito di un leader, e qui c’è un pericolo concreto, perché le organizzazioni potrebbero diventare tecnicamente efficienti ma moralmente vuote.
La sua versione più netta: "Più esternalizziamo le decisioni difficili, più rischiamo di formare leader incapaci di guidare senza un suggerimento."
Il meccanismo opera su una scala temporale più lunga rispetto alla maggior parte delle verifiche di governance. Un manager che ha deferito al modello per novantotto raccomandazioni consecutive non è rimasto inattivo. È stato efficiente. Ha anche trascorso mesi senza esercitare la capacità che l'autorità di deroga presuppone sia ancora in grado di mettere in pratica.
Questo non emerge da una verifica trimestrale. Emerge la prima volta che il modello sbaglia con sicurezza su qualcosa di importante e la persona nominalmente responsabile di accorgersene legge il risultato, lo ritiene plausibile e va avanti.
Centers colloca il punto di cedimento nel manager, e lo fa con grande enfasi.
Comincerei dalla responsabilità dei manager. La maggior parte delle disfunzioni si propaga a partire dai manager. Troppo spesso non ricevono supporto e non vengono adeguatamente sviluppati. Non viene loro chiesto conto del modo in cui guidano. Se non si risolve questo livello cardine, ogni altra riforma, dal coinvolgimento allo sviluppo delle competenze fino all'adozione dell'AI, crolla.
Definisce il ruolo del manager come il punto di snodo tra la strategia e l'esperienza umana. In un flusso di lavoro potenziato dall'AI, è anche l'unico livello in grado di intercettare una decisione errata prima che si diffonda, composto da persone promosse per la loro affidabilità operativa e a cui nessuno ha mai detto che convalidare i risultati delle macchine fa ormai parte del loro lavoro.
L'automazione lascia agli esseri umani i casi più difficili
Victoria Pelletier, che in precedenza ha diretto funzioni legate alle persone e alla trasformazione presso Accenture e IBM, tra le altre aziende, sottolinea ciò che l'automazione fa al lavoro che rimane.
Sono quelle competenze umane, l’innovazione, la capacità di risolvere i problemi e aspetti come l’empatia. Quando ci si chiede che cosa rimane indietro, pensiamo a un contact center. È stato il primo luogo in cui è comparso qualche tipo di automazione. Quando si arriva a parlare con un operatore umano, si tratta di un’eccezione. Il caso non ha seguito le regole della policy o del codice che l’agente IA avrebbe potuto seguire. Quindi serve qualcuno in grado di ragionare sul caso.
Come osserva, i contact center hanno condotto questo esperimento anni prima di tutti gli altri. Automatizzando ciò che segue le regole, ogni chiamata che arriva fino a una persona è, per definizione, quella che le regole non riuscivano a gestire. Il lavoro rimasto è più difficile di quello che è stato eliminato.
Il punto di Pelletier è che le definizioni dei ruoli raramente si adeguano. I volumi diminuiscono, la difficoltà aumenta, ma la descrizione del lavoro, la formazione e i criteri di valutazione continuano tutti a descrivere il ruolo così com'era prima. Osserva che il lavoro residuo "richiede un livello di competenza molto diverso in alcune delle cose che già ci aspettiamo oggi".
Individua anche una ragione strutturale per cui i diritti decisionali non vengono ricostruiti. Le funzioni di progettazione organizzativa e di architettura dei ruoli sono state ridimensionate nell'ultimo decennio perché considerate costi generali, partendo dal ragionevole presupposto che i ruoli non avrebbero richiesto frequenti rivalutazioni.
Sono queste le persone che oggi ricostruirebbero i diritti decisionali. Pelletier definisce ciò che accade in loro assenza la "frankensteinizzazione dei ruoli".
Due critiche alla presenza dell'essere umano nel processo
Al momento circolano due obiezioni al mantenimento di un essere umano nel processo, e puntano in direzioni opposte.
La versione di Jurgen Appelo sostiene che i controlli umani obbligatori trasformino le persone in colli di bottiglia. Ogni interazione inizia e termina con una persona, i sistemi non comunicano mai tra loro e l'operazione procede al ritmo di chiunque sia più lento. Lo definisce il problema degli esseri umani nel processo.
È questo che Esendemir intende quando mi dice che non registrare gli interventi correttivi è "principalmente una decisione progettuale".
La versione del Garante europeo della protezione dei dati è quasi l'opposto. Nel documento tecnico precedentemente menzionato sulla supervisione umana del processo decisionale automatizzato, il GEPD mette in guardia dal presumere che la presenza di un essere umano nel processo garantisca di per sé una supervisione e sostiene che le organizzazioni debbano progettare esplicitamente autorità, interfacce e percorsi di escalation affinché una persona possa effettivamente intervenire.
Entrambe le posizioni sono corrette e descrivono fallimenti diversi. L'essere umano di Appelo è d'intralcio. Quello del GEPD è presente, ma privo di potere. Un'organizzazione può risolvere il primo problema rimuovendo i controlli e, nel frattempo, peggiorare il secondo.
Il documento illustra come si manifesta concretamente l'impotenza. Tra il 2014 e il 2019, il servizio pubblico per l'impiego polacco utilizzava un algoritmo che suddivideva le persone in cerca di lavoro in tre categorie, e la categoria determinava il tipo di sostegno ricevuto da ciascuna persona. I consulenti erano formalmente designati come supervisori umani, con l'autorità di modificare la classificazione.
Avevano l'autorità, ma non potevano usarla. Il carico di lavoro era eccessivo e la formazione insufficiente. Nessuno aveva spiegato loro quando fosse giustificata una modifica o come motivarla. Il sistema mostrava i risultati in una forma che rendeva difficile valutare se una determinata classificazione fosse adatta alla persona seduta di fronte a loro.
Poi c'è l'aspetto che non ha nulla a che fare con la progettazione del sistema. Alcuni responsabili locali scoraggiavano apertamente le modifiche e altri le vietavano, perché una modifica avrebbe attirato l'attenzione dei livelli superiori.
I consulenti non erano insufficientemente formati nel senso che un budget per la formazione avrebbe risolto il problema. Stavano interpretando correttamente un incentivo. Modificare il risultato del modello creava una registrazione a cui un responsabile avrebbe dovuto rispondere, mentre seguirlo non creava assolutamente nulla. Date queste due opzioni e un carico di lavoro completo, la scelta razionale è firmare ciò che appare sullo schermo.
Il GEPD pone chiaramente la condizione. Gli operatori possono esercitare un'autorità reale su un sistema solo se non temono conseguenze da parte della propria organizzazione per averlo utilizzato.
Questa è un'affermazione sul management, non sulla progettazione dell'interfaccia, ed è il motivo per cui l'autorità di intervenire tende a essere puramente decorativa. La concessione formale è la parte più semplice. Ciò che determina se qualcuno la utilizzerà è quello che accade alla persona che lo fa.
Il linguaggio di Deloitte su ciò che sostituisce il vecchio modello è il più preciso disponibile. Gli strumenti tradizionali per i diritti decisionali, come RACI, presuppongono un'autorità statica. Con l'IA, i diritti devono essere dinamici, con privilegi di intervento, percorsi di escalation e regole di consenso integrati nel sistema, affinché persone e agenti coordinino chi decide, quando e sulla base di quali criteri.
La Polonia aveva quasi tutto questo sulla carta. Ciò che le mancava era un manager disposto ad approvare formalmente l'uso da parte di qualcuno di tale autorità.
Costruire le condizioni, non lo schema
Quattro mosse, nell'ordine in cui devono essere compiute.
Classificare le decisioni in base alla reversibilità prima di assegnarle a qualcuno. La distinzione di Amazon tra porte a senso unico e porte a doppio senso è il riferimento per eccellenza. Le decisioni irreversibili richiedono esame e percorsi lenti. Quelle reversibili procedono. L'applicazione nell'era dell'IA consiste nel correlare l'autonomia dell'agente alla difficoltà di annullare una decisione, anziché a quanto essa appaia di routine.
Definire la modalità di delega, non soltanto il delegato. La scoperta del Max Planck lo illustra. La delega basata su regole, su esempi e su obiettivi ha prodotto richieste significativamente diverse da parte di persone altrimenti comparabili. Qualsiasi flusso di lavoro in cui qualcuno affida a un sistema un risultato e gli consente di determinare i criteri rientra nella categoria con il più alto livello di ambiguità, perché è esattamente ciò che è.
Registrare il disaccordo, non soltanto il risultato. Il divario individuato da Esendemir è quello da colmare. Quando una persona agisce contro una raccomandazione, registrare che lo ha fatto, ciò che ha osservato e ciò che è accaduto dopo. Il solo risultato non dice nulla sul fatto che qualcuno stia ancora esercitando il proprio giudizio.
Rivedere periodicamente il confine. Stabilire dove decide l'IA e dove decide una persona non è una questione a cui si risponde una volta sola. Fissare una data.
I ricercatori del Max Planck hanno concluso con una raccomandazione rivolta alla persona che delega, anziché alla macchina che riceve la delega. Le interfacce di delega che rendono facile dichiarare di ignorare il modo in cui la macchina interpreterà le proprie istruzioni dovrebbero essere evitate.
Questo è un principio di progettazione e si estende da una manopola su uno schermo fino a un intero modello operativo. Ogni livello di astrazione tra una persona e una conseguenza rende più facile convivere con la conseguenza.
Tra sei mesi, molte organizzazioni avranno una documentazione. Politiche, statuti dei comitati, responsabili nominati, completamenti della formazione.
Alcune avranno un registro con delle voci al suo interno.