Si Può Misurare il Giudizio?
Cecità da Metrica: Le metriche d’uso mostrano l’adozione dell’IA, ma non possono rivelare se i dipendenti stanno migliorando, peggiorando o rinunciando al giudizio.
Autovalutazione: I dipendenti spesso giudicano male l’impatto dell’IA sulle proprie prestazioni, rendendo inaffidabili i sondaggi e i benefici auto-dichiarati.
Segnali di Giudizio: Il giudizio dell’IA diventa misurabile tramite i pattern accetta, modifica, rifiuta, errori seminati e valutazioni di risposte concorrenti plausibili.
Rischio Junior: L’IA può impedire ai dipendenti junior di esercitare il lavoro basilare, ritardando lo sviluppo delle capacità e nascondendo le debolezze fino al momento delle decisioni critiche.
Progetta Prima: Le organizzazioni dovrebbero misurare la capacità umana prima di riprogettare il lavoro, altrimenti l’automazione potrebbe fissare in modo permanente un declino delle competenze non riconosciuto.
La tua dashboard AI ti dice quante persone stanno usando gli strumenti. Non può dirti cosa stanno facendo questi strumenti a loro.
Questo è stato un tema ricorrente in molte delle sessioni a cui ho partecipato la scorsa settimana all'AI4 di Las Vegas.
Le organizzazioni hanno passato due anni a costruire report su postazioni attivate, utenti attivi settimanali, prompt inviati, ore dichiarate risparmiate. Quei numeri rispondevano a una domanda fatta dalla leadership nel 2023, ovvero se qualcuno avrebbe davvero utilizzato la cosa. L’adozione era il rischio, quindi misurare l’adozione aveva senso.
Continua a leggere—e continua a guidare con intelligenza
Crea un account gratuito per terminare la lettura e unirti a una community di leader lungimiranti che sbloccano strumenti, playbook e approfondimenti per prosperare nell'era dell'IA.
Have an account? Log In
Quella domanda ormai non ha più bisogno di una risposta. Ma lo strumento creato per rispondere a essa è rimasto in uso ed è ora orientato su un problema che non è davvero stato progettato per vedere.
Una delle sessioni a cui ho partecipato si chiamava "Oltre l’adozione: sviluppare giudizio sull’AI nel flusso di lavoro". L’impostazione di Sharahn McClung era la versione più chiara che abbia sentito di questo concetto. Le aziende misurano la velocità. Misurano l’utilizzo. Poi presumono il miglioramento. I primi due vengono conteggiati. Il terzo è dedotto.
Una ricerca pubblicata da BCG a giugno suggerisce che questa deduzione sia sbagliata abbastanza spesso da essere rilevante. In uno studio su 70 leader C-suite e dirigenti senior, la metà ha dichiarato di vedere già competenze erodersi all’interno delle proprie organizzazioni, e oltre il 60% si aspetta che diventi una minaccia concreta entro tre-cinque anni. Solo uno su dieci aveva una strategia a livello organizzativo o iniziative mirate in corso. Un terzo non ne aveva ancora parlato affatto.
Se ascolti il nostro podcast, probabilmente mi avrai sentito parlare della necessità, per i leader, di essere un po’ più filosofici in questi tempi. Ma qui la questione diventa più pratica che filosofica. Se volessi sapere se l’AI sta rendendo le tue persone migliori o peggiori, dove guarderesti?
Inizia Escludendo la Risposta Ovvia
L’istinto è chiedere a loro.
C’è un motivo per diffidare di quell’istinto, ed emerge da uno studio su persone che avrebbero dovuto essere nelle migliori condizioni per rispondere.
Nel luglio 2025, METR ha condotto uno studio randomizzato con 16 sviluppatori open-source esperti che lavoravano su 246 problemi reali in codebase che conoscevano perfettamente. Prima di iniziare, gli sviluppatori prevedevano che gli strumenti AI li avrebbero resi circa il 24% più veloci. In realtà erano il 19% più lenti. Successivamente, dopo aver vissuto l’esperienza completa, stimavano ancora di essere stati circa il 20% più veloci.
Ci sono due aspetti di questo risultato che vale la pena ricordare.
METR ora classifica il risultato come storico, e un follow-up nel febbraio 2026 ha trovato alcune evidenze di un’accelerazione su modelli più recenti. Lo specifico dato di rallentamento potrebbe non descrivere gli strumenti utilizzati dai tuoi team oggi.
Ciò che resta è il secondo risultato, che è comunque il più utile. Questi erano professionisti esperti su un terreno familiare con un risultato direttamente osservabile, e la distanza tra la loro percezione e la loro performance misurata arrivava a quasi 40 punti. Nessun modello migliore rende le persone più brave a leggere la propria performance.
Qualsiasi approccio di misurazione che passa dall’autovalutazione eredita quel problema. I sondaggi di coinvolgimento che chiedono se l’AI sta aiutando produrranno risposte. Le risposte saranno sincere. Saranno però affidabili più o meno quanto le stime di quegli sviluppatori.
Due Curve, Stessa Forma
Immagina due team con traiettorie di utilizzo identiche. Entrambi salgono costantemente e mostrano una sana adozione su ogni metrica che raccogli attualmente.
Un team ha imparato quando vale la pena fidarsi del modello e quando deve essere smentito. La loro capacità si sta accrescendo. L’altro accetta da mesi i risultati come fatti. La loro capacità si sta erodendo sotto una linea in aumento.
Non esiste una versione di metrica di utilizzo che separi questi due team.
Un working paper di Wharton di gennaio ha misurato quanto siano effettivamente distanti. Steven Shaw e Gideon Nave hanno condotto tre esperimenti preregistrati con circa 1.400 partecipanti su oltre 9.000 prove, randomizzando se un assistente AI desse risposte accurate o sbagliate tramite prompt seed nascosti.
Rispetto a una baseline di partecipanti senza accesso all’AI, la precisione aumentava di 25 punti percentuali quando l’AI aveva ragione. Quando sbagliava, la precisione calava di 15 punti sotto la baseline senza AI.
Hai letto bene, sotto le persone che non hanno mai avuto lo strumento. Nei compiti dove il modello era inaffidabile, avervi accesso rendeva i partecipanti peggiori che non avercelo affatto.
La fiducia aumentava in entrambe le condizioni, anche dopo gli errori.
Shaw e Nave definiscono il comportamento “resa cognitiva”, cioè adottare i risultati dell’AI con un controllo minimo, scavalcando sia l’intuizione che la riflessione. Presentano la cognizione artificiale come un terzo sistema che opera esternamente al cervello, in grado di integrare o sostituire il ragionamento umano.
Questo era uno studio di laboratorio che utilizzava problemi di ragionamento, non dipendenti che svolgevano il proprio lavoro, ed è importante mantenere chiara questa distinzione. Ciò che stabilisce è il meccanismo e la sua entità in condizioni controllate.
I dirigenti di BCG descrivono lo stesso schema all’interno di organizzazioni reali. Quasi il 90% ha identificato i team che accettano l’output dell’IA senza sottoporlo a verifica come un sintomo di declino delle capacità. Più della metà ha descritto un’erosione della responsabilità in parallelo. Uno di loro lo ha detto chiaramente, affermando che quando il risultato non è positivo, la responsabilità viene assegnata all’IA.
In cosa si scompone il giudizio
Il giudizio sembra qualcosa di difficile da misurare. La sessione di McClung è stata utile proprio perché ha rifiutato questo presupposto e ha suddiviso il concetto in atti osservabili.
Confidare in una buona risposta e andare avanti. Contestare nuovamente un risultato corretto è una forma di spreco. Un team che verifica ogni cosa due volte non sta esercitando il giudizio, sta mancando di svilupparne uno. L’accettazione efficiente è una delle cose da ricercare.
Sovrascrivere una risposta errata ma convincente. La parte difficile. L’output sembra buono, il modello non mostra incertezze e individuare l’errore richiede conoscenze indipendenti sufficienti per accorgersi che qualcosa non va. Questo è il primo atto che viene meno ed è quello che nessun dato di utilizzo può rilevare.
Sapere quando non servirsi affatto dello strumento. La versione di McClung di questo concetto è stata il momento più umano della sessione. Ha raccontato di aver scritto talvolta un prompt e di essersi accorta, durante la scrittura, che tutte le riflessioni le aveva già fatte nel corso della stesura, lasciando poi nulla da fare con la risposta ottenuta.
Non so voi, ma io personalmente ho paura del foglio bianco. Lo guardo e non so da dove cominciare. E a volte mi accorgo che, quando ho finito di scrivere il prompt, ho già fatto tutto il mio processo e il mio ragionamento nel prompt stesso, e in realtà non ho bisogno dello strumento.
Ciascuno di questi è una decisione che una persona prende prima che qualsiasi risultato venga diffuso. Nessuno di questi migliora semplicemente aumentando l’uso. Sono competenze che un’organizzazione deve costruire, e considerarle semplici sottoprodotti dell’adozione è il modo per arrivare alla situazione descritta dagli intervistati di BCG.
Questo spiega anche perché il giudizio e la presa di decisione presentino il punteggio più alto di rischio di perdita di competenze tra tutte quelle analizzate nello studio, insieme alla comprensione e alla definizione dei problemi, che gli stessi leader hanno indicato come le capacità più importanti per le prestazioni a lungo termine di un’organizzazione.
Tre modi di vedere il giudizio
Ordinati in base a quanto presto si può iniziare.
Accettare, modificare, rifiutare.
Ogni sessione con l’IA genera un registro di ciò che è stato chiesto, della risposta ricevuta e di cosa ne ha fatto la persona. Accettare una risposta corretta e accettare una sbagliata producono dati d’uso identici ma rappresentano atti di giudizio opposti. La modifica è la prova che qualcuno ha letto l’output, ci ha riflettuto e poi l’ha approvato.
Aggregando questi dati su un team nell’arco di mesi, quel rapporto smette di essere un semplice aneddoto e diventa qualcosa che si può monitorare nel tempo.
L’ostacolo è l’accesso. La maggior parte delle funzioni HR attualmente non può vedere questi dati, e accedervi è una questione da discutere con l’IT e i responsabili della piattaforma IA, non qualcosa che si possa avviare in una settimana. Le organizzazioni che ci riusciranno per prime saranno quelle in cui il team delle persone e quello della piattaforma erano già in dialogo.
L’errore inserito
Prendi un compito reale. Inserisci un errore noto in ciò che torna dal modello, scelto in anticipo. Una cifra sbagliata, un passaggio saltato, un’affermazione non supportata. La persona se ne accorge prima che vada avanti?
Il punto di forza rispetto a qualsiasi test è che si basa su veri deliverable e il punteggio è sempre lo stesso. Poiché l’errore è stato selezionato in anticipo, non ci sono ambiguità nella valutazione e si possono confrontare facilmente i risultati di un mese con quelli di un altro.
La sensibilità è reale, però. Se gestito male, sembra una trappola e distrugge subito la fiducia. Funziona quando i team sanno che questa pratica esiste, ne comprendono il motivo e vedono che i risultati vengono usati per lo sviluppo, non per punire.
Giudizio valutativo
Due risposte, entrambe fluenti, entrambe plausibili, una sottilmente sbagliata. La persona riesce a identificare quale, e a spiegare perché?
Questa è la situazione più vicina a ciò che richiede il lavoro di un esperto ed è la più costosa da realizzare, perché costruire la chiave delle risposte richiede che qualcuno con vera competenza nel settore crei alternative plausibili ma difettose. Sii onesto con te stesso riguardo a quel costo prima di impegnarti in quest’operazione.
Le versioni già in funzione
Alcune organizzazioni hanno agito senza aspettare una strumentazione perfetta.
Alla CNIL, l’autorità francese per la protezione dei dati, i manager sono responsabili della valutazione se i dipendenti possono mettere in discussione i risultati dell’IA, non solo usarli. L’impegno critico è diventato una dimensione visibile e valutata della performance.
È questa la pratica che adotterei per prima. Non richiede nuovi strumenti e sposta la questione nel sistema di valutazione delle performance, che l’HR già gestisce. Risolve anche un problema individuato da BCG in altre ricerche, cioè che il tasso di certificazioni aumenta mentre la reale competenza potrebbe no.
Shell ha ricostruito i percorsi di apprendimento per i neoassunti in modo che i nuovi arrivati possano in autonomia inquadrare il problema, testare le ipotesi e produrre un’analisi di base prima che l’IA intervenga sul lavoro. I primi risultati riferiti includono domande migliori e ragionamenti più chiari dietro le decisioni.
Alcune aziende effettuano delle simulazioni di fallimento dell’IA, introducendo deliberatamente allucinazioni e imprevisti nella formazione così che mettere in dubbio i risultati diventi un riflesso e non un semplice comando. Una banca indiana tiene una sessione strutturata di lavoro senza IA il primo venerdì di ogni mese, coinvolgendo tutte le funzioni.
Nessuna di queste è una vera misurazione. Sono pratiche che la misurazione ti direbbe se sono necessarie.
Il problema si manifesta tardi
Il cinquantatre percento dei leader intervistati da BCG ha indicato nello sviluppo più lento dei talenti junior la causa principale.
È proprio nel lavoro analitico di base che, tradizionalmente, si costruisce il senso del giudizio. La ricerca, le prime bozze, il debug, il lento processo di scomposizione di un problema e di scoperta di quali parti hai sbagliato. Nessuno ama quelle ripetizioni, ma tutti ne hanno bisogno.
È proprio quel lavoro che le organizzazioni affidano per primo all’IA. E le persone che in passato imparavano da queste attività, ora si trovano a doverle gestire senza aiuti, in alcuni casi a un livello che uno degli intervistati BCG descrive come quello di un dipendente con cinque o dieci anni di esperienza.
C’è però una complicazione nella misurazione. Tutto quanto descritto sopra rileva un declino rispetto a una base di riferimento. Nel caso delle persone esperte, questo funziona, perché la baseline esiste e la si può osservare mentre cambia.
Nel caso di qualcuno assunto lo scorso anno, quella base non esiste. La competenza non si è mai formata, e la sua assenza appare identica a una normale performance da inizio carriera fino al momento in cui serve prendere una decisione in autonomia. Non stai misurando un’erosione. Stai misurando qualcosa che non è mai emerso, e nessuno degli strumenti attuali è stato pensato per questo.
Ciò significa che è proprio nel gruppo junior che il costo è maggiore e la manifestazione del problema più tardiva.
Perché l’ordine conta
La riprogettazione del lavoro è l’iniziativa dei prossimi due trimestri in molte delle organizzazioni con cui parlo. Inventari dei task, test pilota degli agenti, organigrammi tracciati su quello che gestiscono le macchine e quello che resta all’uomo.
Quelle decisioni si cristallizzano. Determinano quali capacità sono valorizzate e quali le persone saranno chiamate a praticare per anni, e quali cadranno in disuso in modo permanente.
Prenderle sulla base di un declino che non hai misurato vuol dire incorporare quel declino nella struttura stessa. Decideresti cosa deve restare all’umano senza avere un quadro onesto di ciò che le tue persone sanno ancora fare e dove hanno perso competenza.
Non credo che lo strumento debba essere perfetto prima di iniziare. Il test con l’errore intenzionale potrebbe essere implementato in un mese nella maggior parte delle funzioni. L’approccio della CNIL richiede una conversazione con i manager e una voce nel template di valutazione.
Quello che vorrei, prima di approvare una riprogettazione, è una risposta a una domanda e l’evidenza che la supporta.
Se domani spegnessi l’IA in tutta la tua squadra, le tue persone sarebbero migliori di quando l’hai introdotta, o peggiori?
