Consegna, Impara, Scala. E poi?
Cambio di governance: La governance dell’IA deve evolversi dalla normativa al monitoraggio in tempo reale, man mano che l’IA agentica agisce in modo autonomo.
Priorità di implementazione: AWS dà priorità alla rapida implementazione dell’IA rispetto alla governance, concentrandosi sull’apprendimento e la scalabilità durante la produzione.
Rischi non mitigati: Credo AI cataloga 1.600 rischi legati all’IA, con il 15% non mitigato, sollevando preoccupazioni sulla governance dell’IA agentica.
Lacune di responsabilità: Gli attuali framework di governance faticano ad attribuire la responsabilità delle azioni degli agenti IA che impattano sugli utenti.
Durante una demo dal vivo a HumanX la scorsa settimana, Mati Staniszewski, co-fondatore di ElevenLabs, ha illustrato al pubblico un agente del servizio pubblico costruito sulla piattaforma della sua azienda.
L’agente ha guidato un utente fittizio attraverso la registrazione di un’attività. Ha autenticato la loro identità tramite WhatsApp. Ha recuperato documenti da un account Google collegato, ha cambiato lingua a metà conversazione quando l’utente ha menzionato dipendenti di lingua spagnola e ha risposto a domande sul processo di ottenimento del permesso di vendita in California.
Poi l’utente ha posto una domanda sulle tasse. L’agente ha concluso la chiamata.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Non ha segnalato incertezza. Non ha gestito un’escalation. Ha terminato una conversazione che un vero utente avrebbe dato per acquisita, perché l’agente non sapeva che esistesse un dipartimento fiscale a cui indirizzare la richiesta.
Staniszewski ha risolto il problema direttamente sul palco in pochi minuti, collegando l’agente aziendale a un agente fiscale, implementando la modifica e riavviando il sistema. Il pubblico ha assistito in tempo reale all’aggiornamento della produzione.
Ciò che merita attenzione non è il fatto che l’agente abbia fallito. Gli agenti falliscono. È interessante osservare come è avvenuto il fallimento: nessun avviso, nessuna transizione, nessun tracciamento di cosa servisse all’utente. Il problema è emerso solo quando un utente ci si è trovato dentro.
Ora immagina quello scenario all’interno di Revolut, che ha implementato agenti ElevenLabs per quattro milioni di clienti in oltre trenta lingue. O all’interno di Deutsche Telekom, la cui rete ora include agenti che gestiscono domande dei clienti in tempo reale. Il collo di bottiglia, ha detto Staniszewski, non è più la tecnologia. È la distribuzione.
Questa affermazione è sia accurata sia, per chiunque sia responsabile delle azioni di questi agenti, la frase più importante dell’intera sessione.
Il Modello per cui è stata creata la Governance
Per gran parte degli ultimi tre anni, la governance dell’IA nelle aziende si è basata su una serie gestibile di assunzioni. Un sistema di IA proponeva una raccomandazione. Un essere umano la esaminava. L’umano era responsabile di ciò che sarebbe accaduto dopo. Il modello non era perfetto, ma era comprensibile. Si poteva indicare dove e da chi era stata presa una decisione.
Questa architettura si sta sgretolando.
Navrina Singh, fondatrice e CEO di Credo AI, ha trascorso sei anni a costruire ciò che lei definisce la categoria di governance dell’IA, iniziando nell’era del machine learning predittivo e operando ora in quella profondamente agentica.
Durante HumanX ha descritto il cambiamento centrale. La governance era fatta di policy, ora deve fondarsi su limiti operativi e in tempo reale. La differenza è più importante di quanto sembri. Una policy è qualcosa che scrivi, riesamini annualmente e aggiorni se qualcosa va storto.
La governance in tempo reale significa monitorare ciò che un sistema di IA fa realmente, in produzione, continuamente, secondo criteri che possono dover cambiare man mano che il modello sottostante evolve.
Questo cambiamento dalla policy al runtime corrisponde esattamente alla differenza tra AI consultiva e AI agentica. L’AI consultiva fornisce suggerimenti entro un ambito definito. L’AI agentica agisce, collega azioni tra sistemi, passa a altri agenti e produce risultati che nessun umano ha visionato prima della loro esecuzione.
La demo di ElevenLabs ha concentrato tutto questo in pochi minuti. Una singola interazione iniziale con l’utente ha portato all’autenticazione via WhatsApp, al recupero di documenti da Google Workspace, a un cambio di lingua, a un trasferimento di agente senza interruzioni e a una chiamata proattiva in uscita per proporre un programma di sovvenzioni. Cinque azioni autonome e distinte. Nessun umano ha autorizzato ogni passaggio. Questo è l’aspetto dell’AI agentica a livello di singolo caso d’uso.
Su scala aziendale, il divario di governance diventa qualcosa di molto più complesso da gestire.
Il Calcolo dei Costruttori
Matt Garman, CEO di Amazon Web Services, è stato chiaro su dove si sta realmente accumulando il valore dell’IA aziendale. I primi risultati dell’IA generativa — creazione di contenuti, sintesi di documenti — stanno lasciando spazio a qualcosa di più fondamentale.
Gli agenti sono il modo con cui la maggior parte delle aziende e delle imprese otterrà il massimo valore dall’IA.
L'implementazione interna di Amazon conferma questa affermazione. Lo strumento Quick Suite dell'azienda offre a centinaia di migliaia di dipendenti l'accesso ad agenti IA collegati ai dati aziendali presenti in Salesforce, Workday, e-mail e documentazione interna.
Gli sviluppatori di software registrano una produttività circa 4,5 volte superiore grazie al supporto dell'IA rispetto a quando non la utilizzano. Un agente di codifica chiamato Kiro ha recentemente risolto una richiesta di bug di un cliente e ha pubblicato la correzione in 25 minuti.
Questi sono risultati concreti, e Garman li ha presentati senza alcuna enfasi eccessiva. Tuttavia, all'interno dell'argomento a favore dell'adozione, è insita una scala di priorità con cui la governance deve fare i conti. Staniszewski è stato esplicito al riguardo.
Il collo di bottiglia non è più la tecnologia. È l’implementazione. Le aziende che distribuiscono, che imparano e scalano velocemente sono quelle che vinceranno.
Distribuire. Imparare. Scalare. È questa la sequenza. La governance non compare in questa lista, non perché venga ignorata, ma perché la logica competitiva del momento attuale premia la velocità. La fase "imparare" di questa sequenza avviene in produzione, con utenti reali, contro conseguenze reali.
Non si tratta di cinismo. Garman e Staniszewski descrivono il funzionamento dei mercati tecnologici quando il ritmo di miglioramento delle capacità è alto e il costo dell'attesa è reale. Ma per il CHRO responsabile delle decisioni sull'IA nella forza lavoro, o per il COO le cui operazioni vengono ristrutturate intorno ai sistemi agentici, il calcolo è diverso. Non colgono il lato positivo del muoversi per primi. Erediteranno i rischi quando qualcosa va storto.
Un gap che nessuno ha colmato
Credo AI ha raccolto quello che Singh descrive come il più grande archivio al mondo di rischi legati all'IA, attualmente con circa 1.600 categorie distinte catalogate. Dispongono di misure di mitigazione per circa l'85% di esse.
Il restante 15 percento, circa 240 categorie di rischio note, non ha ancora una mitigazione consolidata. Questo è lo stato della governance dell'IA consultiva. I sistemi agentici, in cui più modelli interagiscono, si passano compiti e producono output che alimentano ulteriori decisioni automatizzate, introducono modalità di fallimento che non sono state ancora completamente caratterizzate, tantomeno mitigate.
Il problema più complesso individuato da Singh è la provenienza. In un sistema multi-agente, risalire alla responsabilità richiede di rispondere non solo a quale decisione sia stata presa, ma anche a come. Cioè, quale agente ha contribuito a cosa, quali fonti dati sono state consultate, dove nella catena è nato un errore e come si propagherebbe una correzione.
La maggior parte dei framework di governance è stata progettata per valutare l'output di un modello. Non sono stati concepiti per ricostruire il ragionamento di un sistema interconnesso che opera su più piattaforme, modelli e confini organizzativi.
Saahil Jain, CTO di You.com, che è passata dalla ricerca per consumatori allo sviluppo di API di ricerca per agenti IA, ha inquadrato il problema strutturale. Gli utenti umani interagiscono con le informazioni ed esercitano un giudizio su ciò che vedono. Gli agenti che consumano informazioni non hanno la stessa capacità di autocorrezione.
Essenzialmente utilizzeranno il contesto che viene loro fornito e lo citeranno in qualche modo che non include l'intervento umano nel ciclo," ha affermato.
L'architettura di governance che le imprese hanno costruito presume una revisione umana in qualche punto della catena. Durante la settimana a HumanX, la frase "agenti che governano altri agenti" è stata qualcosa che ho sentito ripetutamente. L'implementazione agentica, a quanto pare, sta eliminando sistematicamente questa assunzione, senza sostituirla con nulla di strutturalmente equivalente.
I quadri normativi non stanno colmando il gap. Singh ha consigliato governi in Stati Uniti, Europa, Australia e India sulla governance dell'IA, ed è stata chiara circa l'esistenza di un enorme ritardo.
Le norme pensate per i precedenti sistemi di machine learning non si adattano perfettamente alle architetture agentiche. Il Colorado AI Act insiste sulle valutazioni di impatto. I requisiti europei di privacy e trasparenza si stanno irrigidendo a livello dei modelli di frontiera.
Ma il ritmo della diffusione agentica è ben avanti rispetto a qualsiasi ciclo regolatorio, e Singh si aspetta che così rimanga per il prossimo futuro.
Il Livello Minimo di Conformità Non È il Massimo Obiettivo
La conformità SOC 2 è ormai diventata una condizione indispensabile per l’approvvigionamento di AI nelle aziende. Singh ha descritto i clienti del Fortune 500 che, dopo un anno di ampie sperimentazioni con diversi fornitori, ora esaminano attentamente se i dati dei fornitori sono protetti, se gli standard di responsabilità sono documentati e se integrare la loro AI nell’azienda comporta effettivamente rischi aggiuntivi.
Secondo Singh, solo circa il 40% dei fornitori AI raggiunge la produzione nelle grandi aziende come conseguenza di ciò. La pressione selettiva è reale.
Ma la conformità SOC 2 e la governance agentica sono cose diverse, e confonderle è uno degli errori più significativi che il mercato enterprise sta attualmente commettendo.
SOC 2 riguarda la sicurezza e la disponibilità. Dice qualcosa di significativo sul fatto che i sistemi di un fornitore siano protetti e affidabili. Non dice nulla sulla tracciabilità delle decisioni di un agente, sull’accuratezza contestuale dei suoi output, sull’adeguatezza con cui gestisce i casi limite o se il suo comportamento deraglia poiché i modelli sottostanti vengono aggiornati senza preavviso.
Queste sono domande di governance e richiedono un tipo diverso di infrastruttura rispetto a quella offerta da una certificazione di conformità.
Singh ha illustrato come si presenta questa infrastruttura nella pratica: team di governance che includono data scientist, specialisti di rischio e privacy, ed esperti di comportamenti, non solo personale di sicurezza. Organismi di verifica indipendenti, inclusa una nuova norma emergente chiamata AIUC, che testano i sistemi agentici rispetto a criteri consolidati tramite parti esterne. Monitoraggio continuo in tempo reale, non solo valutazione pre-deployment.
Credo AI ha recentemente lanciato un MCP di governance, attualmente in beta, progettato per portare le misure di controllo a monte nel processo di sviluppo stesso, offrendo ai costruttori la possibilità di integrare la logica di governance già in fase di costruzione, invece che sovrapporla dopo i fatti.
La direzione è quella giusta. Se però l’adozione avverrà abbastanza rapidamente da fare la differenza, è un’altra questione.
La Questione della Responsabilità
Garman descrive la trasformazione AI in Amazon con un ottimismo particolare. I team di vendita che passano la maggior parte del tempo con i clienti anziché sulle attività amministrative, sviluppatori software che non sono più bloccati da arretrati annosi, prodotti che vengono rilasciati più rapidamente e rispondono meglio ai reali desideri degli utenti. I benefici sono concreti. La logica è solida.
Ma nella visione della diffusione agentica è insita una domanda a cui le cornici di governance non hanno ancora risposto in modo chiaro. Quando un agente AI compie un’azione che danneggia qualcuno, chi è responsabile?
L’agente vocale che termina una chiamata nel momento sbagliato, lasciando bloccato un utente che aveva bisogno di aiuto. L’AI finanziaria che segnala erroneamente qualcuno, impedendogli l’accesso al credito. L’agente per la selezione HR che dà minor priorità a un candidato in base a criteri che riflettono bias storici. La piattaforma di benefit che nega automaticamente una richiesta senza revisione umana prima che la decisione arrivi al richiedente.
In ogni caso, è stato un agente ad agire. In ogni caso, un umano ha avviato il processo. In ogni caso, la catena tra decisione e conseguenza è più lunga e sfumata rispetto a qualsiasi cosa le attuali cornici di governance siano state ideate per mappare.
L’osservazione di Singh riguardo all’attesa merita di essere presa seriamente, al di là della logica di business che offriva.
"Molte aziende, quando parliamo con loro, dicono: aspettiamo che succeda un incidente e poi, se necessario, investiremo nella governance AI," ha detto. "A quel punto saranno ormai irrilevanti."
Questo è un argomento competitivo. C’è però un aspetto ancora più importante. Man mano che l’AI agentica entra nell’amministrazione dei benefit, nella valutazione delle prestazioni, nella pianificazione della forza lavoro, nella finanza cliente e nella presa in carico clinica, le persone soggette a queste decisioni hanno interessi legittimi su come esse vengono prese e su chi risponde se sono sbagliate.
I framework di governance calibrati per un’AI come consulente non sono adeguati per un’AI come attore. I costruttori lo sanno. Eppure stanno procedendo comunque. La finestra per costruire la responsabilità all’interno di questi sistemi, prima che i flussi di lavoro si riadattino intorno ad essi, non resterà aperta per sempre.
