Puoi Misurare il Giudizio?
Cecità ai Dati: Le metriche di utilizzo mostrano l’adozione dell’IA, ma non possono rivelare se i dipendenti stanno migliorando, peggiorando o rinunciando al proprio giudizio.
Autovalutazione: I dipendenti spesso valutano erroneamente l’impatto dell’IA sulla loro performance, rendendo inaffidabili sondaggi e benefici auto-riportati.
Segnali di Giudizio: Il giudizio dell’IA può essere misurato tramite accettazione, modifica, rifiuto delle risposte, errori seminati e valutazione di risposte concorrenti plausibili.
Rischio Junior: L’IA può impedire ai dipendenti junior di esercitarsi nelle attività fondamentali, ritardando lo sviluppo delle competenze e nascondendo le debolezze fino a decisioni critiche.
Progetta per Primo: Le organizzazioni dovrebbero misurare la capacità umana prima di riprogettare il lavoro, altrimenti l’automazione rischia di cristallizzare un declino delle competenze non riconosciuto.
La tua dashboard AI ti dice quante persone stanno usando gli strumenti. Non può dirti cosa stanno facendo quegli strumenti a loro.
Questo è stato un tema ricorrente in molte delle sessioni a cui ho partecipato la settimana scorsa all’AI4 di Las Vegas.
Le organizzazioni hanno trascorso due anni a costruire reportistica intorno a postazioni attivate, utenti attivi settimanali, prompt inviati, ore di lavoro dichiarate risparmiate. Questi numeri rispondevano a una domanda posta dalla leadership nel 2023, ovvero se qualcuno avrebbe effettivamente utilizzato la tecnologia. L’adozione era il rischio, quindi misurare l’adozione aveva senso.
Continua a leggere—e continua a guidare con intelligenza
Crea un account gratuito per terminare la lettura e unirti a una community di leader lungimiranti che sbloccano strumenti, playbook e approfondimenti per prosperare nell'era dell'IA.
Have an account? Log In
Questa domanda ora non necessita più di una risposta. Ma lo strumento costruito per rispondervi è rimasto in funzione e oggi è puntato su un problema che in realtà non è concepito per rilevare.
Una delle sessioni a cui ho assistito si intitolava "Oltre l’adozione: costruire giudizio sull’AI nel flusso del lavoro". L’impostazione di Sharahn McClung era la versione più chiara che abbia mai sentito di questo concetto. Le aziende misurano la velocità. Misurano l’utilizzo. Poi presumono un miglioramento. I primi due sono conteggiati. Il terzo è dedotto.
La ricerca pubblicata da BCG a giugno suggerisce che questa deduzione sia abbastanza spesso sbagliata da essere rilevante. In uno studio su 70 leader C-suite e dirigenti senior, la metà ha dichiarato che stanno già osservando le competenze erodersi all’interno delle proprie organizzazioni, e oltre il 60% si aspetta che diventi una minaccia concreta entro tre-cinque anni. Solo uno su dieci aveva una strategia a livello organizzativo o iniziative mirate in corso. Un terzo non ne aveva mai discusso.
Se ascolti il nostro podcast, probabilmente mi avrai sentito parlare della necessità che i leader siano un po’ più filosofici in questi tempi. Ma qui la questione diventa più pratica che filosofica. Se volessi sapere se l’AI sta rendendo le tue persone migliori o peggiori, dove guarderesti?
Inizia escludendo la risposta ovvia
L’istinto è quello di chiederlo a loro.
C’è un motivo per non fidarsi di questo istinto, e viene da uno studio su persone che avrebbero dovuto essere nella miglior posizione per rispondere.
Nel luglio 2025, METR ha condotto una prova randomizzata con 16 sviluppatori open source esperti, impegnati su 246 problemi reali in base di codice che conoscevano a fondo. Prima di iniziare, gli sviluppatori prevedevano che gli strumenti AI li avrebbero resi circa il 24% più veloci. Sono stati il 19% più lenti. Successivamente, dopo aver vissuto l’intera esperienza, stimavano ancora di essere stati circa il 20% più rapidi.
Due aspetti di questo risultato meritano di essere ricordati.
METR ora definisce il risultato storico, e un follow-up nel febbraio 2026 ha riscontrato alcune evidenze di maggiore velocità con modelli più recenti. Il dato specifico sul rallentamento potrebbe non descrivere gli strumenti utilizzati oggi dai tuoi team.
Ciò che resta valido è il secondo risultato, che è quello più utile in ogni caso. Erano professionisti esperti su un terreno familiare, con un esito direttamente osservabile, e la distanza tra la loro percezione e le prestazioni effettivamente misurate era di quasi 40 punti. Nessun modello migliore rende automaticamente le persone più capaci di valutare le proprie performance.
Qualunque approccio di misurazione che passa dall’auto-relazione eredita quel problema. I sondaggi sul coinvolgimento che chiedono se l’AI sta aiutando daranno delle risposte. Le risposte saranno sincere. Saranno anche affidabili più o meno quanto le stime di quegli sviluppatori.
Due curve, stessa forma
Immagina due team con traiettorie di utilizzo identiche. Entrambi crescono costantemente, mostrando una sana adozione secondo ogni metrica attualmente raccolta.
Un team ha imparato quando il modello merita fiducia e quando va contrastato. La loro capacità sta crescendo in modo esponenziale. L’altro da mesi accetta i risultati come verità assoluta. La loro competenza si sta esaurendo sotto una linea che sale.
Non esiste una metrica d’uso che separi quei team.
Un working paper di Wharton pubblicato a gennaio ha misurato quanto siano realmente lontani. Steven Shaw e Gideon Nave hanno svolto tre esperimenti preregistrati con circa 1.400 partecipanti in oltre 9.000 prove, randomizzando se un assistente AI restituisse risposte corrette o sbagliate attraverso prompt nascosti preimpostati.
Rispetto a un gruppo di riferimento senza accesso all’AI, l’accuratezza saliva di 25 punti percentuali quando l’AI aveva ragione. Quando sbagliava, l’accuratezza scendeva di 15 punti sotto il livello base senza AI.
Hai letto bene, sotto le persone che non avevano mai usato lo strumento. Nei compiti in cui il modello era inaffidabile, l’accesso a esso peggiorava la performance rispetto al non averlo affatto.
La fiducia in sé stessi aumentava in entrambe le condizioni, anche dopo gli errori.
Shaw e Nave definiscono questo comportamento “resa cognitiva”, cioè accettare i risultati generati dall’AI senza un’adeguata verifica, accantonando sia l’intuizione che la riflessione. Inquadrano la cognizione artificiale come un terzo sistema che opera al di fuori del cervello, capace di integrare o sostituire il ragionamento umano.
Questo era uno studio di laboratorio che utilizzava problemi di ragionamento, non dipendenti che svolgono il proprio lavoro, e questa distinzione è importante tenerla ben presente. Quello che stabilisce è il meccanismo e la sua entità in condizioni controllate.
I leader di BCG descrivono lo stesso schema all'interno delle organizzazioni reali. Quasi il 90% ha identificato i team che accettano l'output dell'IA senza verificarlo come un sintomo di calo delle competenze. Più della metà ha descritto un'erosione del senso di responsabilità in parallelo. Uno di loro è stato schietto, affermando che quando il risultato non è positivo, la responsabilità viene attribuita all'IA.
In cosa si scompone il giudizio
Il giudizio sembra qualcosa che resista alla misurazione. La sessione di McClung è stata utile proprio perché ha rifiutato questa premessa, scomponendo il termine in azioni osservabili.
Fidarsi di una buona risposta e andare avanti. Contestare nuovamente un risultato corretto è una forma di spreco. Un team che verifica tutto due volte non sta esercitando giudizio, sta fallendo nello svilupparne uno. L’accettazione efficiente appartiene all’elenco delle cose desiderabili.
Sostituire una risposta errata ma sicura. La parte difficile. L’output è convincente, il modello non mostra esitazioni, e individuare l’errore richiede abbastanza conoscenze autonome per rendersi conto che qualcosa non va. Questa è l’azione che fallisce per prima e quella che nessun dato sull’utilizzo può rilevare.
Sapere quando non ricorrere affatto allo strumento. La versione di McClung di questa situazione è stato il momento più umano della sessione. Ha raccontato che a volte scrive un prompt e si rende conto, mentre lo scrive, che tutto il ragionamento era già avvenuto durante la stesura, lasciando nulla da fare con la risposta ottenuta.
Non so voi, ma personalmente ho paura della pagina bianca. La guardo e non so da dove cominciare. E a volte mi accorgo che, quando sono arrivata a scrivere il prompt, ho già fatto tutto il mio processo e il mio ragionamento in esso, e in realtà non ho più bisogno dello strumento.
Ognuna di queste è una decisione che una persona prende prima che qualsiasi risultato venga prodotto. Nessuna di esse migliora con l’aumento dell’utilizzo. Sono input che un’organizzazione deve costruire, e considerarli prodotti collaterali dell’adozione è il modo in cui si arriva alla situazione descritta dagli intervistati di BCG.
Spiega anche perché giudizio e presa di decisione abbiano ottenuto il punteggio di rischio di perdita di competenza più alto tra tutte le abilità nel loro studio, insieme alla comprensione e definizione del problema, che questi stessi leader hanno indicato come la competenza più importante per la performance organizzativa a lungo termine.
Tre modi per osservare il giudizio
Ordinati in base a quanto presto si può iniziare.
Accettare, modificare, rifiutare.
Ogni sessione con l’IA genera una traccia di ciò che è stato chiesto, della risposta ottenuta e di ciò che la persona ne ha fatto dopo. Accettare una risposta corretta o una errata produce dati identici e rappresenta atti opposti di giudizio. La modifica è la prova che qualcuno ha letto l’output, ci ha ragionato e ha pensato prima di inviarlo.
Aggregato su un team nell’arco di mesi, questo rapporto smette di essere un’aneddoto e diventa qualcosa che si può monitorare nel tempo.
L’ostacolo è l’accesso. La maggior parte delle funzioni HR attualmente non può vedere questi dati, e accedervi è una questione che coinvolge l’IT e i responsabili delle piattaforme AI, non qualcosa che si può attivare la prossima settimana. Le organizzazioni che ci arriveranno per prime saranno quelle dove chi si occupa delle persone e chi gestisce le piattaforme già dialogavano.
L’errore seminato
Prendi un compito reale. Inserisci intenzionalmente un difetto nell’output del modello, scelto in anticipo. Un numero sbagliato, un passaggio mancante, un’affermazione infondata. La persona lo individua prima che venga utilizzato?
Il punto di forza rispetto a qualsiasi test è che viene applicato a consegne reali e viene valutato sempre nello stesso modo. Poiché l’errore è stato selezionato in anticipo, non vi è ambiguità nella valutazione e puoi confrontare un mese con l’altro in modo oggettivo.
La sensibilità della pratica però è reale. Se gestito male, sembra una trappola e avvelena immediatamente la fiducia. Funziona quando i team sanno che viene svolta, ne comprendono il motivo e vedono che i risultati vengono usati in modo formativo, non punitivo.
Giudizio valutativo
Due risposte, entrambe fluide, entrambe plausibili, una sottilmente sbagliata. La persona può identificare quale, e spiegare perché?
Questa è la situazione più vicina a ciò che richiede il lavoro degli esperti ed è anche la più costosa da gestire, perché la creazione del manuale delle risposte corrette richiede che qualcuno con vera esperienza nel settore costruisca alternative plausibili ma difettose. Sii onesto con te stesso riguardo a quel costo prima di impegnartici.
Le Versioni Già in Funzione
Alcune organizzazioni si sono mosse senza attendere una strumentazione perfetta.
Alla CNIL, l'autorità francese per la protezione dei dati, i manager sono responsabili della valutazione di quanto i dipendenti siano in grado di mettere in discussione i risultati dell'IA, non solo di utilizzarli. Il confronto critico è diventato una dimensione visibile e valutata della performance.
È la prima cosa che prenderei in prestito. Non richiede nuovi strumenti e sposta la questione nel sistema di valutazione delle performance, che è già gestito dalle Risorse Umane. Risolve anche un problema che BCG ha individuato altrove nella sua ricerca, cioè che i tassi di certificazione aumentano mentre la reale capacità potrebbe non farlo.
Shell ha ricostruito i percorsi di apprendimento dei neofiti in modo che le nuove persone incornicino autonomamente il problema, testino le ipotesi e producano un'analisi di base prima che l'IA intervenga sul lavoro. I primi risultati riportati hanno evidenziato domande migliori e ragionamenti più chiari alla base delle decisioni.
Alcune aziende effettuano "prove di fallimento" con l'IA, introducendo deliberatamente allucinazioni e imprevisti durante la formazione, affinché mettere in dubbio i risultati diventi un riflesso piuttosto che una semplice istruzione. Una banca indiana tiene una sessione strutturata di lavoro senza IA ogni primo venerdì del mese in tutte le funzioni.
Nessuna di queste è propriamente una misurazione. Sono pratiche che la misurazione ti direbbe se hai realmente bisogno di adottare.
Il Problema Arriva Tardi
Il cinquantatré per cento dei leader intervistati da BCG ha indicato una crescita più lenta dei talenti junior.
Il lavoro analitico di base è tradizionalmente il terreno su cui si forma il giudizio. La ricerca, le prime bozze, il debug, il lento lavoro di scomposizione di un problema e la scoperta di quali parti si sono sbagliate. Nessuno gode di queste ripetizioni, ma tutti ne hanno bisogno.
È proprio questo lavoro che le organizzazioni affidano prima di tutto all’IA. E le persone che ne traevano apprendimento ora si aspettano che operino senza quel supporto, a volte a un livello che uno degli intervistati BCG ha descritto come alla pari di un dipendente con cinque o dieci anni di esperienza.
C'è però una complicazione nella misurazione. Tutto quello detto finora rileva il declino rispetto a un riferimento di base. Per chi è esperto, questo approccio funziona perché il riferimento esiste e puoi osservarne le variazioni.
Per chi è stato assunto l’anno scorso, il riferimento non esiste. La capacità non si è mai formata, e la sua assenza è identica in apparenza a una normale performance dei primi anni, finché non occorre prendere una decisione senza supporto. Non stai misurando l’erosione, ma qualcosa che non si è mai manifestato, e nessuno degli attuali strumenti è progettato per questo.
Ciò significa che è proprio nei livelli junior che questo fenomeno costa di più e diventa visibile più tardi.
Perché la Sequenza Conta
La riprogettazione del lavoro è l’iniziativa dei prossimi due trimestri in molte organizzazioni con cui parlo. Inventari di compiti, test con agenti, organigrammi disegnati attorno a ciò che è affidato alle macchine e ciò che resta alle persone.
Quelle decisioni si cristallizzano. Determinano quali capacità verranno valorizzate e quali i tuoi collaboratori si troveranno a esercitare per anni a venire, e quali cadranno in disuso per sempre.
Prenderle su un declino non misurato incorpora il declino nella struttura stessa. Decideresti cosa devono continuare a fare gli esseri umani senza avere una reale percezione di ciò che sono ancora in grado di fare e dove le loro capacità si sono atrofizzate.
Non credo che lo strumento di misurazione debba essere perfetto prima di iniziare. Il test di errore volontario potrebbe essere implementato in un mese nella maggior parte delle funzioni. L’approccio della CNIL richiede una conversazione con i manager e una riga nel modello di valutazione.
Quello che vorrei, prima di approvare una riprogettazione, è una risposta a una domanda e le prove che la supportano.
Se domani spegnessi l’IA per il tuo team, le persone sarebbero migliori rispetto a prima che la introducessi, oppure peggiori?
