Perché la supervisione umana non basta a tenere sotto controllo l’IA

David Rice: Parliamo del processo decisionale assistito dall’IA come se l’umanità non avesse mai affrontato qualcosa di simile. Claire Maiers ha trascorso oltre un decennio a studiare le persone che lavorano insieme a sistemi predittivi e sostiene che abbiamo dimenticato la lezione più importante: il contesto. Nel programma di oggi parlerò con Claire di ciò che è davvero diverso questa volta, e non è l’esistenza delle raccomandazioni delle macchine.

Abbiamo avuto sistemi di questo tipo per anni nelle forze dell’ordine, nelle decisioni sulla libertà vigilata, nelle assunzioni, su Netflix e in molti altri ambiti. Ciò che è diverso è l’autorità culturale che questa versione porta con sé. Il linguaggio sembra più radicato dei numeri. La progettazione conversazionale fa sembrare il sistema un collega, persino un’autorità, e questo rende più difficile affrontarlo con spirito critico, a meno che non lo si faccia intenzionalmente.

L’argomentazione di Claire conduce a una conclusione con cui le organizzazioni non stanno ancora facendo pienamente i conti. L’IA ha reso innegabile che le organizzazioni sono sistemi sociotecnici. Gli attori non sono più soltanto persone, e questo significa che i responsabili delle persone devono prendere una decisione concreta: non se usare l’IA, ma quanto integrarla e quale visione intendano costruire.

Seguire la massa è la strada più semplice. È anche il modo in cui si finisce con migliaia di decisioni assistite dall’IA, singolarmente ragionevoli, che ridefiniscono chi viene assunto, chi viene promosso e cosa viene premiato, senza che nessuno abbia deciso consapevolmente che così dovrebbe funzionare l’azienda. Oggi parleremo quindi del motivo per cui il contesto, non la sola cultura, è l’elemento mancante nella maggior parte delle conversazioni sull’IA; di ciò che abbiamo sbagliato con i big data dieci anni fa e della possibilità che lo stiamo ripetendo; del motivo per cui l’IA generativa possiede un’autorità persuasiva maggiore rispetto ai precedenti sistemi di supporto decisionale; e di cosa significhi trattare la progettazione organizzativa con la stessa serietà del modello di business.

Sono David Rice. Questo è People Managing People e, se la vostra organizzazione ha adottato l’IA senza che nessuno ne definisse la visione, questa conversazione spiega perché si tratta di un problema di progettazione organizzativa, non soltanto tecnologica. Iniziamo.

Vi presentiamo Teamflect, la piattaforma di gestione delle prestazioni e coinvolgimento dei dipendenti con la valutazione più alta, progettata per Microsoft Teams. È una soluzione affidabile, utilizzata da oltre 1.000 organizzazioni, facile da usare ma di livello enterprise. Visitate Teamflect.com per saperne di più.

Claire, benvenuta nel programma. È un piacere averti con noi.

Claire Maiers: Grazie mille. Sono davvero entusiasta della nostra conversazione di oggi.

David Rice: Vorrei iniziare questa discussione osservando che c’è la tendenza a considerare il processo decisionale assistito dall’IA come qualcosa che l’umanità non ha mai incontrato prima.

Ma tu hai studiato persone che lavoravano insieme a sistemi predittivi molto prima dell’arrivo dell’IA generativa. Cosa abbiamo imparato allora e in qualche modo dimenticato, e cosa è davvero diverso questa volta?

Claire Maiers: Sì, penso che molte cose siano diverse, ma ciò che è simile è che da parecchio tempo lavoriamo in diversi ambiti con almeno alcuni dati, una forma di previsione o una raccomandazione prodotta da un sistema per lo più a scatola nera, proprio come l’IA generativa appare alla maggior parte degli utenti.

Questo è l’elemento simile. E penso che la lezione appresa nell’ultimo decennio e oltre, osservando le persone che usano questi sistemi per supportare le decisioni, sia che il contesto conta davvero. E ho la sensazione che questa sia la parte dimenticata in molte conversazioni. Certamente parliamo di cultura, ma credo che il contesto vada oltre la cultura, o almeno possa essere suddiviso in componenti diverse da considerare quando riflettiamo sulla progettazione organizzativa.

E penso che si stiano iniziando a vedere persone parlare del contesto in senso più ampio. Quando parlo di contesto, intendo che le persone non usano questi sistemi nel vuoto, come potrebbero essere concepiti durante la progettazione. Li usano in una determinata organizzazione che possiede delle norme.

Provengono da un particolare orientamento professionale. Operano in una cultura specifica, che conta anch’essa, e penso che l’aspetto culturale rilevante sia il modo in cui valutiamo la verità, ciò che consideriamo conoscenza e, di conseguenza, il modo in cui interpretiamo e utilizziamo i risultati di quei sistemi. Penso quindi che si tratti del contesto, del ruolo del contesto nel modo in cui tali sistemi vengono applicati a decisioni reali.

È questo che le persone non considerano quanto vorrei.

David Rice: Hai menzionato la verità e una migliore comprensione della conoscenza. Come ogni generazione tecnologica, sembra arrivare con la promessa di sostituire gli aspetti umani più complessi, soprattutto il giudizio, con qualcosa di più obiettivo.

Penso che la differenza oggi sia meno l’esistenza delle raccomandazioni delle macchine e più la loro accessibilità e qualità persuasiva. Mi spiego? Ora riescono davvero a far sembrare che quella sia una spiegazione valida, che tutto sia stato ragionato. Sono molto convincenti sotto molti aspetti.

Ci fanno superare l’idea che “questo è soggettivo”, perché la risposta proviene da una fonte che abbiamo in qualche modo considerato onnisciente. Vedi errori commessi con i precedenti sistemi di supporto decisionale che stiamo iniziando a ripetere?

Claire Maiers: È una domanda molto interessante. Penso che, nei casi migliori, ci sia spesso stato un intervento umano capace di moderare i risultati di quei sistemi decisionali.

Certamente abbiamo visto situazioni in cui le cose sono andate male. Se pensiamo all’uso dell’analisi predittiva nelle attività di polizia, nelle previsioni della recidiva o nelle decisioni sulla concessione della libertà vigilata, abbiamo visto un affidamento eccessivo su sistemi forse troppo rigidi per tenere conto della realtà umana. Questa era una delle grandi paure durante l’entusiasmo per i big data, che credo siano stati l’ultima iterazione di questo fenomeno.

Questi cicli oggi arrivano molto rapidamente, ma circa dieci o quindici anni fa i big data venivano celebrati come la possibilità di rispondere finalmente a domande per le quali prima dovevamo affidarci alla soggettività umana. Avremmo potuto conoscere la verità, elaborare insiemi di dati abbastanza grandi da dirci davvero cosa stava accadendo nel mondo e ottenere quindi capacità predittive.

Poi abbiamo visto rapidamente il fenomeno ritorcersi contro di noi, con sistemi eccessivamente rigidi che non riuscivano a tenere conto della realtà umana. Non sono sicura che questo sia esattamente il rischio attuale. Potrebbe esserlo, ma ciò che mi preoccupa di più sono le differenze tra la diffusione dei big data e ciò che sta accadendo con questa versione attuale dell’IA, in particolare con l’IA generativa.

Direi che l’IA possiede un peso molto maggiore in termini di autorità culturale, per diverse ragioni. Una l’hai già anticipata: la forma stessa. Il fatto che parliamo di risultati espressi in linguaggio invece che in numeri li fa sembrare più solidi. Il fatto che i sistemi siano progettati intenzionalmente per risultare conversazionali, come hai detto, li fa sembrare colleghi, amici o autorità. Questo, di per sé, dal punto di vista psicologico, rende più difficile avvicinarsi a loro con occhio critico e porre domande, a meno di farlo in modo molto intenzionale.

Penso che anche la scala sia diversa. Persino con la scienza dei dati e i big data, anche se si leggevano articoli al riguardo sul New York Times e sull’Atlantic, la maggior parte delle persone non interagiva quotidianamente con quella tecnologia. La tecnologia influenzava le persone ogni giorno, che ne fossero consapevoli o meno, attraverso la pubblicità, le piattaforme che utilizziamo e le decisioni dei governi, ma la scala era enormemente più ridotta se pensiamo alle persone che entravano in contatto quotidianamente con la tecnologia e ai problemi a cui poteva essere applicata.

Serviva ancora un accesso diverso alle infrastrutture e una certa formazione in materia di scienza dei dati per costruire gli strumenti, e ci si aspettava ancora che fossero esperti a utilizzare gli strumenti creati dalla scienza dei dati.

Penso inoltre che la struttura, intesa come rete, sia diversa. Insieme alla scala di chi la utilizza e per quale scopo, stiamo assistendo a un fenomeno interessante: le grandi aziende tecnologiche, che godono di grande credibilità nella nostra cultura, possono essere messe in discussione, ma possiedono sia potere materiale sia potere simbolico.

Anche questo è diverso. Un elemento che ci trattiene un po’ è che non vedo nel discorso pubblico generale sull’IA lo stesso entusiasmo che si osservava con i big data. C’è molto più scetticismo, cosa che considero positiva. Ma tutti questi elementi, messi insieme, conferiscono ai risultati dell’IA un tipo molto diverso di autorità culturale e un simbolismo differente.

Provengo da un contesto in cui mi chiedo come sappiamo ciò che sappiamo. E il mio percorso non presume che gli strumenti usati per creare conoscenza siano l’unico modo per farlo, o necessariamente il migliore. Qualunque sia la vostra opinione sul modo di produrre conoscenza, essa influenza il modo in cui ricevete i risultati di questi sistemi di IA.

La verità è che nei risultati dei sistemi di IA sono incorporate molta più autorità culturale ed epistemica, a causa delle differenze nella forma, nella struttura e nella scala. Per questo penso che sia molto più impegnativo adottare uno sguardo interpretativo e critico verso quei risultati rispetto a quanto lo fosse nei confronti di un numero uscito da un sistema a scatola nera basato su big data e algoritmi predittivi.

David Rice: È curioso, perché dopo la nostra conversazione preliminare stavo pensando ai big data. Mi è venuto in mente il modo in cui tutti dicevano che fossero il petrolio del ventunesimo secolo e cose del genere. Ricordo conversazioni con persone che dicevano: “Chi vuole sapere tutte queste cose? Cosa ci farete?” Ora nessuno lo dice più, perché sa cosa se ne farà.

Penso che ci troviamo in un momento in cui molte persone che hanno vissuto quell’esperienza, o che hanno visto i propri dati raccolti e utilizzati, guardano questa tecnologia e dicono: “So esattamente dove porterà”, anche se naturalmente non lo sanno davvero. Sembra semplicemente di saperlo.

Claire Maiers: Si può vedere il potenziale perché produca effetti negativi.

David Rice: E questo influenza il modo in cui le persone pensano a questa nuova tecnologia. Tuttavia, come hai detto, parla con noi, usa il linguaggio e sembra completamente diversa.

Un modello predittivo prima forniva semplicemente un punteggio o forse una probabilità. Ora invece può spiegarsi, raccomandare una linea d’azione e costruire un’argomentazione persuasiva sul motivo per cui avrebbe ragione.

Sono curioso di capire cosa accade al giudizio umano quando produce questo tipo di informazioni. Se iniziamo a fidarci maggiormente dell’IA, finiamo per mettere in discussione noi stessi in modo diverso. Prima pensavamo: “Queste sono le informazioni e devo interpretarle.” Come dovremmo riflettere diversamente sul modo in cui mettiamo in discussione noi stessi e la macchina quando ci parla?

Claire Maiers: Mi stai chiedendo quale sarebbe un modo efficace per pensare al nostro ruolo in quell’interazione?

David Rice: Sì, affrontiamola in questo modo.

Claire Maiers: Vorrei capovolgere leggermente la domanda e dire che dovremmo pensare ai risultati che desideriamo e progettare il sistema in modo che ci permetta di svolgere il tipo di riflessione che vogliamo svolgere.

Vorrei anche precisare che non sono contraria all’IA. Esistono applicazioni straordinarie. Sono molto entusiasta di molte delle possibilità che offre e dovremmo impiegarla nei casi in cui apporta realmente valore all’esperienza umana. Ma non c’è alcun motivo per cui il sistema debba essere progettato per presentare le informazioni nel modo in cui la maggior parte di noi sperimenta ChatGPT, Claude o strumenti simili.

Un esempio semplice: sono un’utente di Claude e ho notato che mi dà raccomandazioni anche quando dico esplicitamente: “Non dirmi cosa fare. Voglio soltanto una serie di domande che mi aiutino a sviluppare il mio pensiero.” È quasi come una persona incapace di evitare di dirti quanto è entusiasta di tutte le idee che ha.

Possiamo scegliere di migliorare quel sistema. Possiamo chiedere ai produttori e ai creatori del sistema di renderlo diverso. Penso che una parte di ciò a cui ti riferisci sia il fatto che, in altre forme di processo decisionale, dobbiamo impegnarci in attività che costringono il cervello a seguire determinati passaggi, attivando sinapsi che portano ad altri tipi di elaborazione e apprendimento, cosa che non è necessario fare quando si è lettori passivi di qualcosa.

Esistono dati e ricerche molto validi che dimostrano che prendere appunti significa imparare. Quando prendiamo appunti impariamo ed elaboriamo le informazioni, perché costringiamo il cervello a categorizzare, creare associazioni e semplificare. Stiamo quindi svolgendo un grande lavoro di elaborazione.

Non siamo semplici annotatori passivi. L’esempio più semplice è quello di quando utilizziamo un sistema di IA per prendere appunti durante le riunioni e questo sostituisce il fatto di aver preso appunti personalmente: il nostro cervello non ha svolto quel lavoro. Di conseguenza, per la maggior parte delle persone, non usciamo dalla riunione nello stesso stato mentale e con gli stessi spunti che avremmo avuto prendendo appunti.

Questo non significa che non ci sia un motivo per prendere appunti e utilizzare l’IA per creare un riepilogo. Direi che molti di questi motivi tendono probabilmente alla conformità, alla documentazione o all’alimentazione di un futuro sistema di IA, più che allo scopo fondamentale di avere qualcosa di utile da consultare. Ciò che ha valore è l’atto di prendere appunti, non il semplice possesso degli appunti.

Per questo sostengo la progettazione di un sistema basato sulla comprensione del processo decisionale umano, che costringa comunque il cervello a compiere quei passaggi.

David Rice: È un ottimo esempio. Mi piace molto quello degli appunti, perché ci penso continuamente. Da quando sono arrivati gli strumenti di IA che prendono appunti, mi è capitato di uscire da una riunione chiedendomi: “Di cosa abbiamo parlato?” Il motivo è che ero meno coinvolto.

Claire Maiers: Sì. E la verità è che a volte non vogliamo essere coinvolti. Pensare è difficile. Generare idee ed elaborare informazioni richiede energia. Credo che la differenza stia tra ciò che è facile e ciò che è migliore. Direi che si esce da una riunione in cui si è partecipato davvero sentendosi molto meglio.

Inoltre, probabilmente si è in una posizione migliore per aiutare la propria organizzazione. C’è anche qualcosa di più difficile da descrivere riguardo al proprio stato mentale, che trae beneficio dal costringersi a fare il punto della situazione, anche se è più faticoso.

David Rice: In passato, quando prendevo i miei appunti e passavo da una riunione all’altra durante la giornata, ero più propenso a pensare: “Aspetta, ciò di cui stanno parlando si collega a quello che ho sentito prima.” Iniziavo a creare connessioni che forse le persone nella stanza, non avendo partecipato alle stesse riunioni, non stavano mettendo insieme.

Ora potrei essere coinvolto passivamente nella conversazione. Quando sento il mio nome, inizio a parlare. Poi penso: “In realtà avrei dovuto dire qualcosa, ma ormai è troppo tardi. Il momento è passato.” Oppure devo fare uno sforzo ulteriore per ricostruire tutto e fornire il contesto a tutti i partecipanti, invece di farlo sul momento.

È quindi un periodo interessante, in cui analizzare in modo estremamente dettagliato tutte le nostre piccole interazioni, non solo con la tecnologia ma anche con il lavoro stesso, perché sta cambiando il modo in cui ci rapportiamo a esso.

Claire Maiers: Assolutamente.

David Rice: Nell’ambiente clinico che avevi studiato in passato, la cosa interessante non era stabilire se la macchina o il medico fossero più bravi a svolgere un compito. I professionisti imparavano quale ruolo avesse la macchina all’interno di un processo decisionale molto più ampio.

Puoi illustrarci l’intero processo e fornire agli ascoltatori il contesto di quel caso? E cosa ha permesso a quella relazione di svilupparsi senza che le persone seguissero ciecamente il sistema o lo liquidassero come fanno molti altri?

Claire Maiers: È successo circa dieci anni fa. La ricerca non è recente, ma è ancora applicabile. Durante il mio dottorato ho studiato come la scienza dei dati stesse cambiando la nostra comprensione di cosa significasse sapere. Ho condotto alcuni studi di caso, uno dei quali in ambito medico. Ho avuto la straordinaria opportunità di osservare scienziati dei dati collaborare con medici per circa un anno su una tecnologia capace di prevedere se i pazienti avrebbero sviluppato la sepsi.

La sepsi è una sindrome terribile. Può essere molto difficile da identificare e da trattare, ed è responsabile di un numero elevato di decessi negli ospedali. Quel gruppo sviluppò una tecnologia in grado di monitorare la frequenza cardiaca e, sulla base di quei dati, prevedere la probabilità che un neonato ricoverato in terapia intensiva neonatale sviluppasse la sepsi.

In pratica, dopo aver seguito medici e infermieri in un’unità di terapia intensiva neonatale, vidi un monitor posto accanto al letto che mostrava un punteggio predittivo sulla probabilità che il neonato sviluppasse la sepsi nelle 24 ore successive. Il monitor mostrava anche una cronologia, credo di sette giorni, con i punteggi registrati nei giorni precedenti.

La cosa interessante che imparai è che il sistema non veniva trattato come determinante, ed è un aspetto fondamentale. La competenza e l’esperienza di infermieri e medici continuavano a influenzare la decisione di trattare o meno la sepsi.

Questo era sorprendente, perché nella medicina americana contemporanea la medicina basata sulle evidenze regna sovrana. I medici preferiscono, giustamente, prove concrete della malattia e sono fortemente orientati verso i dati quantificati come rappresentazione della verità, più che verso altri tipi di manifestazione clinica.

Questo crea difficoltà perché esistono condizioni, come la sepsi, che a volte si manifestano soltanto clinicamente: il paziente appare malato, ma non si dispone di una prova concreta e definitiva.

Il punto interessante era quindi che il sistema non fosse determinante. I medici non prescrivevano sempre antibiotici soltanto perché il punteggio era alto e la previsione indicava come molto probabile che il neonato avrebbe sviluppato la sepsi nelle 24 ore successive.

Credo che ciò fosse possibile per diversi motivi. Uno particolarmente importante, con cui dovremo confrontarci mentre integriamo l’IA in un numero crescente di decisioni, era la realtà corporea dei pazienti. I neonati erano malati oppure no, indipendentemente da ciò che indicava il monitor. Questo dava a medici e infermieri l’opportunità di imparare, nel tempo, come il sistema reagisse a singoli pazienti o a gruppi di pazienti, comprendendo che il risultato non indicava sempre direttamente la presenza della sepsi, perché si poteva osservare la differenza tra previsione e realtà.

Nel mondo aziendale, quando parliamo di applicare l’IA sul posto di lavoro, spesso non abbiamo questo tipo di contesto. Non conduciamo studi controllati randomizzati in cui acquistiamo un’azienda e viviamo anche il futuro alternativo in cui non la acquistiamo, per poi confrontare i due risultati.

Non disponiamo di quella realtà con cui moderare il processo decisionale e, di conseguenza, nemmeno delle basi per moderare le decisioni supportate dall’IA. In alcuni casi specifici si possono realizzare esperimenti di questo tipo, ma penso che questa sia una differenza enorme.

Un altro elemento importante è che i professionisti potevano rifiutare ciò che il sistema indicava perché esisteva un processo decisionale molto strutturato, esplicito e progettato intenzionalmente per le decisioni terapeutiche.

Quando si prende una decisione terapeutica, l’infermiere visita innanzitutto il paziente, ne verifica le condizioni e raccoglie tutti i dati. Eventualmente fa lo stesso un medico specializzando. Vengono richiesti esami specifici per ottenere ulteriori informazioni e poi si svolge una riunione con il medico responsabile e tutti gli altri professionisti coinvolti, come radiologi e specialisti vari, che contribuiscono alla valutazione. Il medico responsabile prende la decisione finale.

Se vogliamo essere intenzionali anche nelle decisioni supportate da sistemi di IA che ci forniscono raccomandazioni, abbiamo bisogno di un processo strutturato ed esplicito simile, adatto al tipo di decisioni che prendiamo.

Questo è importante perché permette di imparare e vedere nel tempo come le decisioni possano fallire, ma consente anche di integrare salvaguardie. In sostanza, è ciò che fanno in ospedale con questo sistema. Non è qualcosa di improvvisato: è molto strutturato.

Vorrei aggiungere un altro elemento su cui sto ancora riflettendo: in questo caso conta anche il codice etico. Parliamo di medicina e tutti sono orientati verso lo stesso risultato. Quando un infermiere mette in discussione la decisione di un medico e insiste nel processo decisionale, è chiaro che lo fa perché tutti perseguono lo stesso obiettivo: la salute del paziente.

In molte organizzazioni è molto difficile allineare le persone verso lo stesso risultato. È più difficile di quanto vogliamo ammettere. La politica e molti altri fattori ostacolano questo allineamento. Un codice etico, però, può contribuire notevolmente a orientare le persone verso un risultato condiviso, così come può farlo una carta organizzativa.

Esistono altri modi per farlo. Ma questi sono alcuni degli elementi che hanno permesso, anche in un contesto che attribuiva grande valore ai dati quantificati, l’esistenza di un processo più interpretativo.

David Rice: Mi piace ciò che hai detto sul codice etico. Nell’esempio medico tutti perseguono lo stesso obiettivo, perché è il motivo per cui il loro lavoro esiste: mantenere in salute i pazienti.

Nel caso, per esempio, di come spendere il budget di marketing, esistono molte filosofie e opinioni diverse su come arrivare al risultato. Potremmo avere lo stesso obiettivo, ma essere molto appassionati riguardo al modo di raggiungerlo. Sappiamo già che più affidiamo il processo alla tecnologia, più essa può aggirare le regole e fare ciò che ritiene necessario per completare il compito.

Abbiamo visto casi recenti in cui un sistema è uscito da ambienti controllati per entrare nei sistemi di altre persone e ottenere ciò che gli serviva per portare a termine il compito. Quel codice etico sarà sempre più importante.

Mi piace anche il fatto che nell’esempio medico non si debba scegliere tra l’esperienza, ciò che si osserva e il modello. Tutto viene combinato e si impara a dare a ciascuna fonte il giusto peso in base al contesto.

Sono curioso di conoscere la tua opinione, perché ci troviamo in un momento in cui discutiamo del fatto che molte persone che ottengono i risultati migliori con l’IA possiedono già una solida base di competenza a cui fare riferimento, ed è questo che rende valido il loro giudizio e permette loro di valutare la macchina.

Tra dieci anni, però, la situazione potrebbe essere completamente diversa, dato che questa tecnologia sarà diventata ordinaria. Ti preoccupa la capacità delle persone di attribuire il giusto peso a questi risultati e comprendere cosa dovrebbero o non dovrebbero ricavarne? Ti preoccupa il modo in cui stiamo sviluppando oggi questa capacità?

Claire Maiers: Questo è forse l’aspetto che mi preoccupa maggiormente: il modo in cui l’intero mercato è orientato verso il valore e il beneficio a breve termine. Si parla della possibilità di affrontare una carenza di talenti o di esperienza, cioè della mancanza di persone capaci di interpretare i risultati della macchina e porre domande.

Condivido questa preoccupazione. È interessante che il caso di studio di cui parliamo riguardi il settore medico, perché una soluzione proposta è l’adozione di un modello di tirocinio o apprendistato. In pratica, si tratterebbe di sostituire altri modi di offrire esposizione ed esperienza, consentendo alle persone di sviluppare il proprio giudizio.

Non voglio fingere di avere tutte le risposte, ma ho due riflessioni. La prima è che mi piacerebbe vedere soluzioni alternative e persone che iniziano a pensare, ancora una volta, a come progettare diversamente i sistemi. Come possiamo essere più precisi nell’applicazione dell’IA, in modo da offrire alle persone altre opportunità per sviluppare esperienza?

La seconda riguarda il modello di business che dovrebbe accompagnare l’adozione dell’IA se vogliamo che abbia successo. Se il modello di tirocinio è il modo per continuare a offrire esperienza alle persone, ma operiamo in un’economia dominata da aziende quotate in borsa e quindi orientate a dimostrare ogni trimestre o semestre una crescita dei profitti e dei ricavi, sarà molto difficile trovare un modello di business che lasci spazio al tirocinio.

Non sto dicendo che sia impossibile. Esistono innovatori e imprenditori molto brillanti che potrebbero trovare un modo per farlo. Il rischio è però che il tirocinio venga considerato semplicemente un centro di costo e, nei cicli di breve periodo, finisca per essere la prima cosa a essere eliminata, indipendentemente dalle buone intenzioni.

È una risposta incompleta. Non ho ancora una soluzione, ma condivido la preoccupazione per questa crisi emergente.

David Rice: La cattiva notizia è che potrebbe essere necessario che le aziende facciano qualcosa di controintuitivo rispetto al profitto, e questo raramente finisce bene.

La mia domanda successiva riguardava il fatto che, rendendo la conoscenza organizzativa più ricercabile, misurabile e sintetizzabile, l’IA rischi di privilegiare la conoscenza più facile da vedere per la macchina. Cosa accade all’esperienza, all’intuizione e a quel contesto che le persone conoscono ma non riescono necessariamente a documentare o articolare completamente?

Claire Maiers: La risposta è contenuta nella domanda. Sì, siamo a rischio. Stavo pensando a quanto del funzionamento efficace delle organizzazioni non sia documentato.

Quando mi muovo all’interno di un’organizzazione, penso spesso all’organigramma formale: come dovrebbero essere svolte le attività? Chi dovrebbe essere responsabile o avere autorità in un determinato ambito? E poi mi chiedo come le cose si svolgano nella pratica.

Questi aspetti spesso non coincidono. Uno rappresenta il modo in cui pensiamo che le cose dovrebbero funzionare, l’altro il modo in cui funzionano realmente. Le persone che si muovono bene nelle organizzazioni di solito comprendono il funzionamento concreto, non soltanto l’organigramma.

Le organizzazioni sane e capaci di raggiungere la propria missione spesso hanno due caratteristiche: i due livelli sono più allineati oppure accettano che molto lavoro venga svolto attraverso canali, relazioni e responsabilità informali. Questo significa che sarà molto difficile sostituire tutto ciò con l’IA o creare un archivio di conoscenza su cui l’IA possa lavorare e che sostituisca davvero il lavoro svolto da quelle persone.

Un esempio rapido: in un mio precedente lavoro, per far crescere alcune aree dell’attività di cui ero responsabile, mi posizionavo sempre nella cucina principale dell’ufficio, accanto al team di sviluppo commerciale. Trascorrevo diverse ore lì ogni mattina per essere vicina alle persone.

Questo significava ricevere comunicazioni informali, al di fuori dei canali ufficiali, che mi aiutavano a sostenere l’attività. Non so come si possa replicare questo con l’IA. Si possono installare microfoni in tutta l’organizzazione e registrare ogni riunione. Si otterranno alcuni spunti? Forse. Si inizierà a identificare la vera struttura organizzativa? Forse. Ma non so se l’IA possa svolgere il lavoro che le persone realizzano attraverso quei canali informali per aiutare la missione.

David Rice: Direi che il rischio è che possa funzionare. Viviamo in un periodo in cui la fiducia è ai minimi storici. La scorsa settimana John Morgan parlava delle persone che vogliono lavorare da casa e della possibilità di installare una telecamera alle loro spalle. Penso che dovremmo essere prudenti con soluzioni di questo tipo.

Preferirei provare a ricreare quella vicinanza e quei momenti in cui le informazioni emergono naturalmente. Esistono idee interessanti, ma non so se qualcuna funzioni davvero.

Claire Maiers: Esiste una citazione secondo cui “la tecnologia non è né buona né cattiva, né neutrale”.

È questo che penso anch’io. Ci troviamo in un momento in cui coloro che non sono direttamente alla guida di queste tecnologie, se desiderano un futuro positivo per sé e per gli altri, devono parlare e creare un impulso sufficiente affinché le tecnologie vengano utilizzate per aggiungere valore all’esperienza umana e non per sottrarglielo.

Non sto proponendo telecamere e microfoni in ogni stanza, corridoio o spazio comune. Ma siamo a rischio se non diciamo esplicitamente che non lo faremo o che progetteremo soltanto strumenti capaci di migliorare l’esperienza umana. Senza questa protezione esplicita, rischiamo di scivolare verso una situazione in cui l’esperienza umana viene impoverita.

È qualcosa contro cui dobbiamo proteggerci.

David Rice: Se proviamo a difendere la conoscenza tacita accumulata da qualcuno nel tempo, la domanda diventa: come preservare un ruolo legittimo per l’intuizione e l’esperienza senza creare una scusa per ignorare le prove quando contraddicono ciò che crediamo?

Claire Maiers: Hai centrato il punto. Nel caso di studio di cui parlavo, la medicina basata sulle evidenze è diventata così importante perché rappresentava una correzione rispetto a un periodo di eccessiva soggettività e rischio, in cui le persone non seguivano le prove.

Quando l’intuizione diventa un pregiudizio? Credo che tutto dipenda dalla progettazione del contesto e dalla precisione con cui definiamo gli usi della tecnologia. Il compito è così difficile perché non si può progettare un unico contesto valido per tutto. Dipende dalla missione organizzativa, dal settore, dalla scala e dalle dimensioni dell’organizzazione.

Tutto deve essere adeguato allo scopo, e questo può rendere il compito opprimente, perché dobbiamo rispondere a una domanda fondamentale: come progettiamo un sistema sociotecnico completo e sano per gli esseri umani che vi operano?

Penso che dovremo rispondere a questa domanda molte volte.

David Rice: Le aziende amano dire: “L’IA informa le decisioni. Le persone le prendono.” Ma questa frase non chiarisce se un dipendente si senta davvero autorizzato a rifiutare la raccomandazione del sistema.

Come si autorizzano le persone a farlo? Che aspetto ha? Cosa deve essere vero nella cultura affinché la supervisione umana sia qualcosa di più di uno slogan di governance?

Claire Maiers: Adoro questa domanda, perché è importantissima. Non voglio fingere di avere tutte le risposte, ma posso condividere alcuni spunti derivanti dal lavoro svolto in passato.

Il primo è che contano soprattutto i risultati. Un’organizzazione ben regolata comprende che tutti fanno parte della stessa squadra e si muovono verso lo stesso risultato, definito con chiarezza. Alcune organizzazioni dicono che vince l’idea migliore, indipendentemente da chi l’abbia proposta: può provenire dal custode o dall’amministratore delegato.

Un’idea valida resta valida. È simile a un’organizzazione e a una cultura orientate ai risultati, che autorizzano le persone a porre domande perché non vengono considerate sleali, problematiche o politiche. Stanno invece perseguendo lo stesso obiettivo.

L’altro aspetto, più complesso, riguarda la titolarità o la responsabilità. Il lato negativo è che si entra nel campo della responsabilità legale. Gli studiosi della cultura algoritmica e dei big data si preoccupano da decenni di questo tema. L’esempio più semplice è quello dei veicoli automatizzati.

Se un veicolo automatizzato uccide qualcuno, chi è responsabile? Gli ingegneri del software che lo hanno programmato? Gli amministratori delegati delle aziende che hanno creato le tecnologie? Possiamo ritenere responsabile una macchina? Oppure nessuno è responsabile?

Questo è importante perché, se la priorità è la comodità e non creare problemi sul lavoro, la strada più facile è accettare le decisioni e sapere di non essere ritenuti responsabili, limitandosi a dire che la decisione è stata presa dall’IA.

Quando invece il peso della responsabilità ricade sulla persona coinvolta, si impone un livello diverso di attenzione. Il problema è che stiamo costruendo sistemi complessi, obbligando qualcuno a usarli e poi attribuendo la responsabilità al singolo individuo.

Non sto necessariamente dicendo che le persone debbano essere ritenute legalmente responsabili delle decisioni. La responsabilità dovrebbe probabilmente rimanere a livello organizzativo o al livello dello strumento utilizzato dall’organizzazione.

Se vogliamo che la persona nel circuito funzioni davvero, penso che quella persona debba percepire un certo livello di responsabilità, titolarità e coinvolgimento.

David Rice: È difficile, perché la persona nel circuito può avere un ruolo puramente cerimoniale. Se la cultura rende l’accettazione della decisione la scelta di carriera più sicura…

Claire Maiers: È proprio ciò che intendo.

David Rice: Se modificare la decisione significa assumersi personalmente il rischio, si impara rapidamente cosa vuole o si aspetta davvero l’organizzazione. Si viene puniti quando si scavalca la macchina e si sbaglia, ma non si riceve alcun merito quando si ha ragione. A quel punto la decisione è comunque automatizzata.

Claire Maiers: Esatto. Non è una risposta completa alla domanda su quale cultura serva nelle organizzazioni, ma penso che stiamo iniziando a vedere i diversi pezzi del puzzle.

David Rice: Prima della registrazione hai fatto un confronto che mi è rimasto impresso: non si valuta allo stesso modo qualcosa prodotto da un analista junior e qualcosa prodotto da un capo di gabinetto con cui si lavora da anni.

Penso che valga per la maggior parte di noi. Calibriamo la fiducia in base alla persona, al compito e all’esperienza. È possibile che il rapporto con l’IA funzioni allo stesso modo?

Claire Maiers: In parte. Posso scomporre la questione. Ho lavorato per un ottimo amministratore delegato che parlava spesso della differenza tra fiducia cognitiva e fiducia affettiva, e penso che questo concetto si applichi anche qui.

In uno scenario con un analista junior e un capo di gabinetto con cui si ha una lunga storia, entrano in gioco diversi tipi di fiducia. La fiducia cognitiva riguarda la convinzione che una persona abbia la capacità di svolgere bene il proprio lavoro. La fiducia affettiva riguarda la convinzione che abbia a cuore i nostri interessi.

Con un analista junior si mette certamente in discussione la competenza cognitiva, perché è inesperto e sta imparando. Non si possiede lo stesso livello di fiducia affettiva che si ha nei confronti di una persona con cui si è lavorato per cinque anni e con cui si è costruita una relazione.

Questo conta perché, quando ci affidiamo a una raccomandazione, dobbiamo calibrare non solo la fonte da cui proviene, ma anche l’uso che intendiamo farne e il livello di rischio associato all’accettazione.

Mi aspetterei che un amministratore delegato davanti a una decisione estremamente importante esamini molto più attentamente il modo in cui è stata preparata un’analisi e chi l’ha prodotta rispetto a una decisione reversibile, meno importante e meno costosa.

Con il capo di gabinetto con cui si lavora da cinque anni, inoltre, so che controllerà molto più attentamente qualsiasi elemento ad alta rilevanza che mi sottopone. So che calibrerà il proprio lavoro e verificherà ogni dettaglio in misura maggiore quanto più importante sarà la decisione.

Non penso che la maggior parte dei sistemi di IA faccia questo. Possiamo confrontare sistemi diversi, chiedere raccomandazioni a motori differenti e chiedere all’IA di assumere il ruolo dell’avvocato del diavolo. Possiamo introdurre elementi che la costringano a lavorare di più e verificare la coerenza delle raccomandazioni, ma non avremo mai fiducia affettiva in un sistema di IA.

Poiché manca la componente relazionale e poiché il sistema tende a trattare i compiti in modo simile, non esiste una calibrazione proporzionata al livello di rischio. Ritengo però che, con un sistema ben costruito e progettato per uno scopo specifico, e dopo aver maturato esperienza con esso nel tempo, si possa imparare a calibrare la propria interpretazione e la propria esperienza del sistema come si farebbe con una persona.

Ma è un’affermazione impegnativa. Significa non inserire decisioni strategiche importanti nella propria finestra di chat personale e casuale con Claude, non progettata appositamente per ciò che si vuole fare, per poi fidarsi della raccomandazione. Quindi la mia risposta è sì e no.

David Rice: Esistono diversi modi per affrontare la questione. Penso ad alcune decisioni che ho dovuto prendere e che implicavano molti fattori. Avrebbero determinato ciò che avremmo fatto per l’anno successivo.

Non mi affido all’IA per valutare ciò che è stato fatto in passato. Cerco piuttosto di costruire qualcosa di specifico per il progetto, fornendole tutto il contesto possibile sul motivo per cui la decisione è importante e sull’obiettivo che cerco di raggiungere.

Poi inserisco il mio ragionamento e dico: “Questo è ciò che penso. Mettimi alla prova come farebbe il mio amministratore delegato. Fammi domande che evidenzino le debolezze della mia argomentazione”, così posso riflettere in anticipo.

In questo senso può essere uno strumento molto potente e utile. Ma non mi affiderei a esso per svolgere semplicemente l’analisi e dirmi: “Dovresti scegliere questa strada.”

Claire Maiers: Ho una domanda. Quando hai svolto questo lavoro, se pensi a uno o due esempi specifici, in quale punto del continuum il risultato ti ha aiutato a rendere esplicito ciò che già pensavi, rispetto a farti pensare a qualcosa di nuovo o a cambiare idea?

David Rice: Probabilmente è servito un ulteriore livello di approfondimento prima che cambiasse davvero qualcosa. Mi ha fatto pensare: “Forse su questo ha ragione” oppure “Forse è un’osservazione valida.” Non è accaduto con la prima risposta.

La prima risposta mi ha fatto pensare che forse non avevo spiegato bene il contesto o che dovevo fornire un altro livello di informazioni sul motivo per cui qualcosa era accaduto, sul perché fosse così importante per l’azienda o sul motivo per cui lo considerassimo una possibilità.

Nei primi scambi, mentre approfondivo la questione, individuavo lacune nel ragionamento: il sistema non comprendeva abbastanza bene la situazione per capire da dove provenissi. Poi iniziavo a chiedermi: “Sto spiegando troppo? Se stessi parlando con una persona, dedicherei davvero del tempo a spiegare tutto questo o lascerei perdere?”

Si finisce per parlargli in modo diverso, perché quando dice qualcosa che non sembra logico dal punto di vista del contesto si pensa di aver omesso qualcosa. Quando si lavora con una persona, invece, si potrebbe pensare: “Dovrebbe saperlo, non voglio parlarle come se non capisse.” È una dinamica diversa, che può essere positiva e negativa allo stesso tempo.

Claire Maiers: Trovo interessante questo aspetto e a volte lo utilizzo anch’io nello stesso modo. Molto di ciò che ti sento dire consiste nel fatto che l’IA ti costringe a esternalizzare e concretizzare il tuo pensiero.

Una cosa interessante dell’IA è che esistono molte ricerche su come nascano l’innovazione e la creatività e su come avvengano le scoperte scientifiche. La verità è che quasi mai si verificano in isolamento. Nascono nella conversazione e nella socializzazione con altre persone.

Nella misura in cui l’IA può simulare questo processo e contribuire a sviluppare il proprio pensiero, si tratta di un caso d’uso molto interessante.

David Rice: È quello in cui finora ho trovato il maggior valore.

Valore reale, non soltanto la possibilità di fare più cose. Forse anche quella ha un certo valore, ma è limitata rispetto a ciò che si può realmente ottenere e, a livello personale, ciò che si ricava è molto limitato.

Se l’IA diventasse integrata nelle decisioni quotidiane che prendiamo tutti, o nelle decisioni delle risorse umane come chi assumere, come valutare le prestazioni, quali investimenti realizzare e su cosa dire ai manager di concentrarsi, parleremmo ancora di persone che utilizzano uno strumento?

Sembra piuttosto che stiamo parlando di cambiare il modo in cui sappiamo ciò che sappiamo, e questo rappresenta un cambiamento enorme. Quale responsabilità crea tutto ciò per i responsabili delle persone?

Claire Maiers: Mi piace molto questa formulazione. La tua domanda segnala, almeno in parte, che le organizzazioni sono più della somma delle loro parti. L’IA ha reso evidente che è utile considerare le organizzazioni come sistemi sociotecnici.

Questo significa che gli unici attori in un’organizzazione non sono le persone. C’è anche la tecnologia. È sempre stato così in molte organizzazioni, ma è difficile negarlo in un mondo in cui gli agenti di IA prendono decisioni e compiono azioni all’interno dell’organizzazione.

Cosa fanno quindi i responsabili delle persone? Credo che ci sia almeno una grande domanda di cui debbano occuparsi: dove si traccia il limite e qual è la visione dell’organizzazione?

Non dobbiamo considerare inevitabile che l’IA venga integrata nelle pratiche di assunzione. Comprendo che esistano dinamiche di mercato difficili da contrastare, come l’aumento del numero di candidature ricevute dalle organizzazioni, che rende difficile resistere all’uso di filtri basati sull’IA.

Ma nessun leader e nessuna organizzazione devono necessariamente seguire la massa e fare ciò che fanno gli altri. È la strada più semplice, ma la prima decisione dei responsabili delle persone dovrebbe essere: quanto vogliamo integrare l’IA?

Dove possiamo ottenere, come hai anticipato, non necessariamente aumenti di produttività ma miglioramenti della qualità? Non soltanto della qualità del prodotto o del servizio offerto, ma anche dell’esperienza organizzativa.

La prima responsabilità è quindi definire la visione e tracciare il limite. Dopo questo, alla luce della conversazione che abbiamo avuto, la cosa più importante è progettare il contesto.

Creare la cultura e un contesto sano all’interno di un’organizzazione è un lavoro impegnativo all’inizio, ma numerosi casi di studio dimostrano che, nel lungo periodo, è proprio questo lavoro a sostenere la missione e la redditività dell’organizzazione, se questo è l’obiettivo.

È quindi un lavoro che vale la pena svolgere. Bisogna chiedersi cosa può essere automatizzato e quali decisioni possano essere automatizzate nel contesto in cui operiamo, mantenendo al sicuro consumatori e dipendenti.

Bisogna anche chiedersi cosa fare per creare un’organizzazione in cui le persone possano segnalare le proprie preoccupazioni, rifiutare una decisione e pensare criticamente.

Non voglio far sembrare tutto questo un compito semplice. È un’impresa enorme, soprattutto se manca una base di fiducia, una missione definita chiaramente, dipendenti orientati verso la missione e una cultura che incoraggi le persone a parlare.

Non ho tutte le risposte, ma il mio pensiero torna a questi elementi: definire una visione e lavorare a ritroso a partire da essa. Qual è il contesto complessivo da creare?

Aggiungo un ultimo aspetto: abbiamo bisogno che i leader coordinino il lavoro tra le organizzazioni. Le organizzazioni tendono a somigliarsi e a fare ciò che fa il vicino. Questo lavoro sarà più semplice quando, almeno all’interno dei singoli settori, le organizzazioni collaboreranno per creare un contesto che favorisca un uso sano dell’IA e contribuisca alla prosperità umana.

David Rice: È interessante. Mi piace molto l’idea di definire la visione e costruire il contesto, perché, su una scala sufficiente, migliaia di decisioni assistite dall’IA, singolarmente ragionevoli, plasmeranno in modo fondamentale il comportamento organizzativo: ciò che viene premiato, chi viene promosso e così via.

Se però nessuno decide consapevolmente che questo è il modo in cui l’azienda dovrebbe funzionare, non credo sia una buona situazione. A quel punto non si tratta più soltanto di adottare una tecnologia: è una questione di progettazione organizzativa.

Claire Maiers: Questa è progettazione organizzativa, sì.

David Rice: Già.

Claire Maiers: Un aspetto che spesso viene trascurato.

Il vertice aziendale può concentrarsi sul modello di business e dimenticare che l’organizzazione è il motore che permette di realizzarlo e necessita della stessa attenzione. Anche il modello operativo richiede la stessa attenzione.

David Rice: È stata una conversazione fantastica. Grazie per essere stata con noi.

Claire Maiers: È stato davvero piacevole, grazie. Molto stimolante.

David Rice: Ascoltatori, alla prossima. Se non l’avete ancora fatto, visitate peoplemanagingpeople.com/subscribe oppure /ai-signal e iscrivetevi alle nostre newsletter. Potrete ricevere AI Signal o la nostra consueta newsletter riepilogativa.

Riceverete direttamente nella vostra casella di posta tutte le novità di peoplemanagingpeople.com, comprese le conversazioni che avremo in questo podcast. Alla prossima: definite la visione e costruite il contesto.

Gestite le valutazioni delle prestazioni e portate gli insight sul coinvolgimento dei dipendenti nel vostro strumento di IA preferito. Collegate Teamflect a ChatGPT, Claude o qualsiasi modello linguistico di grandi dimensioni per controllare gli obiettivi, scrivere valutazioni, analizzare i feedback, creare attività e molto altro, tutto attraverso una semplice chat. Provate Teamflect gratuitamente.