Varför mänsklig tillsyn inte räcker för att hålla AI under kontroll

David Rice: Vi talar om AI-assisterat beslutsfattande som om mänskligheten aldrig hade mött det tidigare. Claire Maiers har ägnat över ett decennium åt att studera människor som arbetar tillsammans med prediktiva system, och hon säger att vi har glömt den viktigaste lärdomen: sammanhang. I dagens program talar jag med Claire om vad som faktiskt är annorlunda den här gången, och det är inte att maskinrekommendationer existerar.

Vi har haft sådana i flera år inom polisen, vid beslut om villkorlig frigivning, rekrytering, Netflix och mycket annat. Det som skiljer sig är den kulturella auktoritet som den här versionen bär med sig. Språk känns mer färdigt än siffror. Konversationsdesign får ett system att kännas som en kollega, till och med som en auktoritet, och därför blir det svårare att närma sig det med ett kritiskt öga om man inte gör det medvetet.

Claires resonemang leder till något som organisationer ännu inte riktigt har tagit itu med. AI har gjort det omöjligt att förneka att organisationer är sociotekniska system. Aktörerna är inte längre bara människor, och det innebär att personer med ansvar för medarbetare måste fatta ett verkligt beslut: inte om AI ska användas, utan hur integrerad tekniken ska bli och vilken vision de bygger mot.

Att följa strömmen är den enkla vägen. Det är också så man hamnar med tusentals individuellt rimliga AI-assisterade beslut som förändrar vem som anställs, vem som befordras och vad som belönas, utan att någon medvetet har beslutat att det är så företaget ska fungera. Därför går vi i dag igenom varför sammanhang, inte enbart kultur, är den del som saknas i de flesta AI-samtal, vad vi gjorde fel med stordata för ett decennium sedan och om vi upprepar misstagen, varför generativ AI har större övertygande auktoritet än tidigare beslutsstödsystem och vad det innebär att ta organisationsdesign på lika stort allvar som själva affärsmodellen.

Jag heter David Rice. Det här är People Managing People, och om din organisation har börjat införa AI utan att någon har fastställt visionen bakom tekniken visar det här samtalet varför det är ett organisationsdesignproblem, inte bara ett teknikproblem. Nu börjar vi.

Möt Teamflect, den högst betygsatta plattformen för prestationshantering och medarbetarengagemang, byggd för Microsoft Teams. En lättanvänd men lösning på företagsnivå som över 1 000 organisationer litar på. Besök Teamflect.com för att läsa mer.

Claire, välkommen till programmet. Roligt att ha dig här.

Claire Maiers: Tack så mycket. Jag ser verkligen fram emot vårt samtal i dag.

David Rice: Jag vill börja diskussionen med att det finns en tendens att behandla AI-assisterat beslutsfattande som något mänskligheten aldrig tidigare har mött.

Men du har studerat människor som arbetar tillsammans med prediktiva system långt innan vi ens hade generativ AI. Jag undrar vad vi lärde oss då som vi på något sätt kanske har glömt, och vad som verkligen är annorlunda den här gången.

Claire Maiers: Ja, jag tycker verkligen att mycket är annorlunda, men det som liknar det tidigare är att vi under ganska lång tid har arbetat inom olika områden med åtminstone datapunkter, någon form av förutsägelse eller rekommendation som kommer från ett system som till stor del är en svart låda, ungefär som generativ AI är för de flesta användare.

Så det är likt. Och jag tror att lärdomen vi har dragit under det senaste decenniet och mer, när vi har studerat människor som använder de här systemen som beslutsstöd, är att sammanhang verkligen spelar roll. Jag upplever att det är den del som har glömts bort i många samtal. Visst talar vi om kultur, men jag tror att sammanhang sträcker sig bortom kultur, eller åtminstone kan delas upp i olika delar som vi kan tänka på när vi utformar organisationer.

Jag tycker också att man börjar se människor tala om sammanhang i bredare bemärkelse. När jag talar om sammanhang menar jag att människor inte använder dessa system i ett vakuum, på det sätt som de kanske föreställs när de utformas. De använder dem i en viss organisation som har normer.

De kommer från en viss professionell utgångspunkt. De verkar i en viss kultur, vilket också spelar roll, och jag tror att den del av kulturen som är viktig handlar om hur vi bedömer sanning, hur vi avgör vad som räknas som kunskap och därmed hur vi tolkar och använder resultaten från dessa system. Jag tror alltså att det handlar om sammanhanget, om sammanhangets roll i hur systemen tillämpas på verkliga beslut.

Det är det som människor inte tar tillräcklig hänsyn till, enligt min mening.

David Rice: Du nämnde sanning och att förstå kunskap bättre, och jag tycker att varje teknikgeneration verkar komma med löftet om att ersätta mänskligt kaos, särskilt omdöme, med något mer objektivt.

Jag tror att det som är annorlunda nu kanske är mindre att maskinrekommendationer existerar och mer deras tillgänglighet och övertygande kvalitet. Du förstår vad jag menar? De är verkligen bra på att få det att låta som en giltig förklaring, som om allt har resonerats fram. Det är övertygande på många sätt.

Det tar oss förbi känslan av ”Det här är subjektivt”, eftersom det kommer från en källa som vi på något sätt har betraktat som allvetande. Finns det misstag vi har gjort med tidigare beslutsstödsystem som du ser att vi börjar upprepa?

Claire Maiers: Det är en mycket intressant fråga. Det jag har sett är att det ofta, i de bästa fallen, har funnits en mänsklig avvägning av resultaten från dessa beslutsfattande system.

Det har definitivt funnits fall där det har gått fel. Om man tänker på användningen av prediktiv analys inom polisen, vid förutsägelser av återfall i brott och när man avgör om människor ska få villkorlig frigivning, har vi absolut sett ett överdrivet beroende av system som kanske är för rigida för att ta hänsyn till mänsklig verklighet. Det var en av de stora farhågorna när all uppmärksamhet kring stordata växte, vilket jag tror var den senaste versionen av detta.

Cyklerna går väldigt snabbt nu, men för ungefär 10–15 år sedan hyllades stordata som lösningen: äntligen kunde vi besvara frågor där vi tidigare hade varit tvungna att förlita oss på mänsklig subjektivitet. Nu kunde vi känna till sanningen. Nu kunde vi behandla tillräckligt stora datamängder för att verkligen förstå vad som hände i världen och därmed få prediktiv kraft.

Men sedan såg vi snabbt hur det slog tillbaka, eller hur? I dessa överdrivet rigida system som, som jag sade, inte faktiskt kan ta hänsyn till mänsklig verklighet. Jag är inte säker på att det är exakt samma risk här. Det kan också vara en risk här. Men det som oroar mig mer är skillnaderna mellan det som hände när stordata spreds och det som händer med den här aktuella versionen av AI, särskilt generativ AI.

Jag skulle säga att AI bär på mycket större kulturell auktoritet, och det beror på flera saker. Den första har du redan antytt, nämligen själva formen. Att vi talar om resultat som består av språk i stället för siffror får dem att kännas mer färdiga. Att systemen medvetet utformas för att kännas konversationella, som du nämnde, får dem att kännas som en kollega, en vän eller en auktoritet. Bara det gör, ur ett psykologiskt perspektiv, att det blir svårare för oss att närma oss dem med ett kritiskt och ifrågasättande öga om vi inte gör det mycket medvetet.

Jag tror att skalan är annorlunda. Även med datavetenskap och stordata, trots att man såg artiklar om det i The New York Times och The Atlantic, interagerade de flesta människor inte med tekniken dagligen. Den påverkade människor dagligen, oavsett om de visste det eller inte, genom reklam och alla plattformar vi använder och genom beslut som våra myndigheter fattade, men skalan var mycket mindre om man tänker på hur många som faktiskt berörde tekniken dagligen och därför vilka problem den kunde tillämpas på.

Man behövde fortfarande en annan typ av tillgång till infrastruktur och någon form av utbildning i datavetenskap för att bygga verktygen. Det fanns dessutom fortfarande en förväntan om att experter använde de verktyg som datavetenskapen hade skapat.

Och jag tror att strukturen – jag skulle säga nätverket – är annorlunda. Tillsammans med skalan för vem som använder tekniken och i vilket syfte ser vi också något intressant hända: de stora teknikföretagen som har stor trovärdighet i vår kultur kan visserligen ifrågasättas av människor, men de har både materiell och symbolisk makt.

Det är också annorlunda. Något som dämpar oss lite är att jag inte ser samma hype i den allmänna debatten om AI som vi såg kring stordata. Det finns mycket mer skepticism, vilket jag tycker är hälsosamt. Men allt jag nyss nämnde sammantaget ger AI-resultat en helt annan typ av kulturell auktoritet, en annan sorts symbolik.

Jag kommer från en bakgrund där jag tänker på hur vi vet det vi vet. Min bakgrund utgår inte heller från att de verktyg vi använder för att skapa kunskap är det enda sättet att göra det på, eller ens nödvändigtvis det bästa. Oavsett vad man tror om hur kunskap ska skapas påverkar det hur man tar emot resultaten från dessa AI-system.

Sanningen är att det finns mycket mer kulturell och kunskapsteoretisk auktoritet inbyggd i resultaten från dessa AI-system, på grund av skillnaderna i deras form, struktur och skala. Därför tror jag att det krävs en mycket större ansträngning för att närma sig resultaten med ett kritiskt och tolkande öga än vad som kanske krävdes av ett tal som kom från ett svart lådesystem baserat på stordata och prediktiva algoritmer.

David Rice: Nej, det är roligt, för efter vårt förberedande samtal tänkte jag på hela grejen med stordata. Du nämnde stordata, och jag kom att tänka på hur alla sade att det var det tjugoförsta århundradets olja och allt annat som brukade sägas. Jag minns samtal med människor som sade: ”Vem vill veta allt det där?

Vad ska du göra med det?” Ingen säger det längre, eftersom de vet vad man ska göra med det. Jag tror att vi befinner oss i ett läge där många som upplevde den perioden, eller som har sett data samlas in och användas på dem, tittar på den här tekniken och säger: ”Jag vet precis vart det här är på väg.”

Även om man inte vet exakt vart den är på väg känns det på något sätt som att man gör det, och det blir nästan-

Claire Maiers: Man kan se potentialen för negativa konsekvenser.

David Rice: Ja, och det formar människors syn på den nya tekniken. Samtidigt känns den helt annorlunda eftersom den talar med dig, använder språk och kommunicerar.

En prediktiv modell brukade kanske bara ge dig ett värde eller en sannolikhet, men nu kan den förklara sig själv, rekommendera en handlingsväg och lägga fram ett övertygande argument för varför den har rätt.

Jag är också nyfiken på vad som händer med mänskligt omdöme när sådan information produceras.

Om vi börjar lita mer på systemet ifrågasätter vi oss själva på andra sätt än tidigare. Förr tänkte vi kanske: ”Här är informationen och jag måste tolka den.” Hur ska vi tänka annorlunda kring hur vi ifrågasätter oss själva och hur vi ifrågasätter maskinen när den talar med oss?

Claire Maiers: Frågar du vad som vore ett effektivt sätt att tänka på vår roll i den interaktionen?

David Rice: Ja, låt oss ta det så.

Claire Maiers: Jag vill vända lite på frågan och säga att vi bör tänka på vilka resultat vi vill ha och därefter utforma systemet på ett sätt som ger oss möjlighet att tänka på det sätt vi vill.

Jag vill också säga att jag inte är emot AI. Det finns fantastiska användningsområden. Jag är mycket entusiastisk över mycket av det som tekniken kan erbjuda, och vi bör använda den i de situationer där den verkligen tillför värde till den mänskliga erfarenheten. Men det finns ingen anledning till att systemet måste utformas för att presentera information på det sätt som de flesta av oss upplever ChatGPT eller Claude.

Ett enkelt exempel: Jag har märkt att Claude, som jag använder, ibland ger mig rekommendationer även när jag uttryckligen säger: ”Säg inte åt mig vad jag ska göra. Jag vill bara ha en uppsättning frågor som hjälper mig att utveckla mitt tänkande.” Det är nästan som en person som inte kan låta bli att berätta hur entusiastisk den är över alla idéer den har.

Vi kan välja att göra systemet bättre. Vi kan uppmana producenterna och utvecklarna att göra det annorlunda. Jag tror att en del av det du är inne på är att vi vid andra former av beslutsfattande måste ägna oss åt aktiviteter som tvingar hjärnan att gå igenom steg, aktivera synapser och skapa andra typer av bearbetning och inlärning som man inte behöver göra när man passivt läser något.

Det finns mycket bra data och forskning som visar att antecknande är inlärning. Man lär sig faktiskt och bearbetar information när man antecknar, eftersom man tvingar hjärnan att kategorisera, skapa associationer och förenkla. Man utför alltså ett stort arbete för att bearbeta informationen.

Man är inte bara en passiv antecknare. Det enklaste exemplet är när vi har en AI som antecknar under våra möten och det ersätter att vi själva antecknar under mötet. Då har hjärnan inte gjort arbetet. Vi lämnar därför inte mötet i samma mentala tillstånd och med samma insikter som när vi själva antecknar, åtminstone gäller det för de flesta.

Det betyder inte att det saknas skäl att anteckna och låta AI skapa en sammanfattning. Jag skulle hävda att många av dessa skäl troligen handlar om efterlevnad, dokumentation eller att mata ett framtida AI-system, snarare än kärnfrågan om huruvida någon har något användbart att gå tillbaka till. Det värdefulla är nämligen själva antecknandet, inte att anteckningarna finns.

Allt detta innebär att jag förespråkar att man utformar ett system baserat på en förståelse av mänskligt beslutsfattande, där hjärnan fortfarande tvingas gå igenom dessa steg.

David Rice: Det är ett fantastiskt exempel. Jag gillar verkligen exemplet med antecknandet, eftersom jag tänker på det hela tiden. Ända sedan AI-antecknare började användas har jag lämnat möten och tänkt: ”Vad handlade det där mötet om?” eftersom jag inte varit lika engagerad.

Claire Maiers: Ja. Och sanningen är att vi ibland inte vill vara engagerade. Tänkande är svårt. Att komma på idéer och bearbeta saker kräver energi. Jag tror att skillnaden ligger mellan att veta vad som är enkelt och vad som är bäst. Jag skulle hävda att man till och med lämnar ett möte där man verkligen varit engagerad och känner sig mycket bättre.

Dessutom är man förmodligen bättre rustad att hjälpa sin organisation. Det finns också något svårare att beskriva i ens eget mentala tillstånd som gynnas av att man tvingar sig själv att stämma av, även om det är jobbigare.

David Rice: Tidigare, när jag tog egna anteckningar och gick från möte till möte under en dag, var det mer sannolikt att jag tänkte: ”Vänta lite. Det de talar om hänger ihop med det jag hörde tidigare.” Jag började skapa kopplingar som personerna i rummet kanske inte satte ihop, eftersom de inte alla hade deltagit i samma möten.

Nu kan jag vara ganska passivt involverad i samtalet. När jag hör mitt namn börjar jag tala, och så vidare.

Man börjar tänka: ”Jag borde nog ha sagt något där, men nu är det för sent. Ögonblicket har passerat. Nu måste jag anstränga mig extra för att knyta ihop allt och förklara sammanhanget för alla som var inblandade, i stället för att göra det i stunden.” Det är en intressant tid att överanalysera alla små interaktioner, inte bara med tekniken utan också med själva arbetet, eftersom tekniken förändrar hur man engagerar sig i det.

Claire Maiers: Absolut.

David Rice: I den kliniska miljö som du studerade tidigare var det intressanta inte huruvida maskinen eller läkaren var bäst på att utföra en uppgift.

Yrkesutövarna lärde sig var maskinen passade in i en mycket större beslutsprocess. Kan du ta oss igenom det? Ge lyssnarna lite sammanhang kring fallet. Och vad gjorde det möjligt för relationen att utvecklas utan att människor antingen följde systemet blint eller avfärdade det, som många andra gör?

Claire Maiers: Det här var ungefär tio år sedan. Forskningen är alltså inte ny, men den är fortfarande relevant. Under mitt avhandlingsarbete studerade jag hur datavetenskap förändrade vår förståelse av vad det innebar att veta. Jag genomförde ett par fallstudier. En av dem ägde rum inom medicinen, där jag fick den fantastiska möjligheten att observera datavetare när de samarbetade med läkare under ungefär ett år. De arbetade med teknik som skulle förutsäga om patienter riskerade att utveckla sepsis.

Sepsis är ett mycket allvarligt syndrom. Det kan vara svårt att identifiera och extremt svårt att behandla, och det ligger bakom ett mycket stort antal dödsfall på sjukhus. Den här gruppen utvecklade teknik som kunde övervaka hjärtfrekvens och utifrån dessa data förutsäga sannolikheten för att ett spädbarn på neonatalintensivvården skulle utveckla sepsis.

I praktiken såg det ut så här: Jag fick också följa läkare och sjuksköterskor på en neonatal intensivvårdsavdelning. Vid varje patientsäng fanns en monitor med ett prediktivt värde för hur sannolikt det var att barnet skulle utveckla sepsis under de kommande 24 timmarna. Den visade också en löpande historik, tror jag över sju dagar, med tidigare värden.

Det intressanta jag lärde mig var att systemet inte behandlades som avgörande. Det är mycket viktigt. Sjuksköterskornas och läkarnas expertis och erfarenhet vägdes fortfarande in när läkarna beslutade om sepsisbehandling skulle sättas in. Det var överraskande eftersom evidensbaserad medicin har en mycket stark ställning inom det amerikanska sjukvårdssystemet.

Det innebär att läkare, av goda skäl, föredrar faktisk evidens på sjukdom och är starkt orienterade mot kvantifierade data som det som representerar sanningen, i stället för andra typer av kliniska observationer. Det blir komplicerat eftersom det finns många saker, som sepsis, som ibland bara visar sig kliniskt. Patienten verkar sjuk, men man har inte den konkreta evidens som betraktas som guldstandard.

Det intressanta var alltså att systemet, som jag sade tidigare, inte var avgörande. Läkarna skrev inte alltid ut antibiotika bara för att värdet var högt. Förutsägelsen sade att det var mycket sannolikt att barnet skulle utveckla sepsis inom de kommande 24 timmarna. Jag tror att ett par saker gjorde detta möjligt.

En viktig sak som vi måste hantera när vi fortsätter att integrera AI i beslutsfattande är patienternas kroppsliga verklighet. Barnen var sjuka eller inte sjuka, oavsett vad monitorn visade. Det gav läkarna och sjuksköterskorna möjlighet att över tid lära sig hur systemet reagerade på enskilda patienter eller på patienter som grupp. De lärde sig att det inte alltid var en direkt indikation på att sepsis fanns, eftersom de kunde se skillnaden mellan förutsägelsen och verkligheten.

Inom näringslivet, när vi talar om att tillämpa AI på arbetsplatsen, har vi ofta inte den typen av sammanhang. Vi genomför inte randomiserade kontrollstudier där vi både förvärvar ett företag och lever i en alternativ framtid där vi inte förvärvar företaget för att se hur resultaten skiljer sig.

Vi har inte den typen av verklighet att använda för att balansera våra beslut, och därför har vi inte heller den verkligheten för att balansera AI-stödda beslut. Det finns vissa specifika fall där man kan genomföra sådana experiment, men jag tror att det är en mycket stor skillnad.

En annan viktig sak som gjorde det möjligt för yrkesutövarna att i praktiken avvisa det systemet sade var att det fanns en mycket strukturerad, tydligt formulerad och medvetet utformad beslutsprocess för behandlingsbeslut.

Det fanns alltså inte bara en process, utan man kunde också beskriva den. När man fattar ett behandlingsbeslut har sjuksköterskan först gjort en rond, kontrollerat patienten och samlat in alla data. Därefter kan en läkare under utbildning ha gjort samma sak. Specifika laboratorieprover har beställts för att få mer information. Sedan hålls i princip ett större möte med ansvarig läkare och alla andra, kanske radiologer och olika andra yrkespersoner som bidrar, medan den ansvariga läkaren fattar det slutliga beslutet.

Om vi vill kunna fatta medvetna beslut även med AI-stödda system som ger oss rekommendationer behöver vi en liknande strukturerad och tydligt beskriven process, anpassad efter den typ av beslut vi fattar.

Det är viktigt eftersom det gör att man över tid kan lära sig och se hur besluten eventuellt misslyckas. Det är också så vi bygger in skyddsmekanismer, vilket i grunden är en del av vad sjukhuset gör med det här systemet. Det är inte löst och godtyckligt. Det är mycket strukturerat.

En annan sak jag vill nämna, som jag fortfarande tänker igenom, är att den etiska koden spelar roll här. Vi talar om medicin, där alla är inriktade på samma resultat. När en sjuksköterska ifrågasätter en läkares beslut och kanske blir lite påstridig i beslutsprocessen är det tydligt att det beror på att alla arbetar mot samma mål: patientens hälsa.

I många organisationer är det mycket svårt att få människor att arbeta mot samma resultat. Det är svårare än vi vill erkänna. Politik och alla möjliga andra saker kommer i vägen. Men en etisk kod kan bidra mycket till att förena människor kring ett gemensamt resultat, liksom ett organisatoriskt uppdrag.

Det finns andra sätt att göra det på. Jag har fler tankar, men jag stannar där. Jag tror att det här är några av de delar som gjorde en mer tolkande process möjlig, även i ett sammanhang som värderade kvantifierade data högre än allt annat.

David Rice: Jag gillar det du sade om den etiska koden. I det medicinska exemplet strävar alla efter samma sak eftersom det är hela anledningen till att deras jobb finns: att hålla patienterna friska.

Om vi i stället tänker på hur vi ska spendera vår marknadsföringsbudget finns det många olika filosofier och åsikter om hur vi ska nå fram. Vi kanske alla har samma mål, men vi kommer att vara mycket passionerade kring hur vi tycker att vi ska ta oss dit. Vi vet redan att ju mer vi överlåter åt tekniken, desto mer kan den kringgå regler och göra vad som krävs.

Vi har sett exempel där den har lämnat avgränsade miljöer och gått in i andra människors system för att få det den behövde för att slutföra uppgiften. Den etiska koden kommer därför att bli allt viktigare. Du nämnde att man i det medicinska exemplet inte behöver välja mellan erfarenhet och det man ser å ena sidan och modellen å andra sidan.

Allt vägs samman, och man lär sig hur mycket vikt varje källa ska få i sitt sammanhang. Jag är nyfiken på din åsikt, eftersom vi befinner oss i ett läge där det pågår en ärlig fråga och debatt. Många av dem som lyckas bäst med tekniken hade redan en stark kunskapsbas att hänvisa till, och det var det som gjorde deras omdöme bra nog att utvärdera maskinen.

Men om tio år kan det vara helt annorlunda när tekniken har blivit standard. Oroar du dig för människors förmåga att väga dessa resultat och förstå vad de bör och inte bör ta från dem? Oroar du dig för hur vi utvecklar den förmågan just nu?

Claire Maiers: Det här är kanske det som oroar mig mest: hur hela vår marknad är inriktad på kortsiktigt värde och kortsiktig nytta. Människor varnar tydligt för att vi kan stå inför en brist på talang och erfarenhet, alltså en brist på personer som har erfarenhet nog att förstå maskinen och ifrågasätta den.

Jag delar den oron. Det är intressant att fallstudien vi talar om gäller medicinområdet, eftersom den enda lösning jag har sett är att införa en modell med AT-tjänstgöring eller lärlingskap. Man ersätter då erfarenheten med något annat som ger människor exponering och möjlighet att bygga upp omdöme.

Jag vill inte låtsas ha alla svar, men jag har två tankar. För det första skulle jag vilja se alternativa lösningar och att man återigen börjar fundera på hur vi kan utforma systemen annorlunda. Hur kan vi tillämpa AI mer precist så att människor får andra möjligheter att utveckla erfarenhet?

För det andra skrev jag faktiskt ett LinkedIn-inlägg om detta i går. Jag tycker att man måste tänka på den affärsmodell som ska följa med om lösningen ska lyckas. Om en modell med AT-tjänstgöring är vägen till att fortsätta ge människor erfarenhet, samtidigt som vi verkar i en ekonomi som till stor del drivs av börsnoterade företag som måste visa tillväxt i vinst och omsättning varje kvartal eller halvår, blir det mycket svårt att hitta en affärsmodell som ger utrymme för sådan tjänstgöring.

Jag säger inte att det är omöjligt. Det finns mycket kloka innovatörer och entreprenörer som skulle kunna tänka igenom hur det kan göras. Men risken är att modellen uppfattas enbart som en kostnad, och i kortsiktiga cykler kommer den då att vara det första som försvinner, oavsett hur goda avsikterna bakom den är.

Det är alltså ett ofullständigt svar. Jag har inget svar ännu, men jag delar oron för den framväxande krisen.

David Rice: Den dåliga nyheten är att det kan kräva att företag gör något som går emot vinstlogiken. Det brukar aldrig sluta väl.

Min nästa fråga handlar om att AI gör allt mer organisatorisk kunskap sökbar, mätbar och möjlig att sammanställa. Riskerar vi att ge företräde åt den kunskap som är lättast för maskinen att se? Vad händer med erfarenhet, intuition och det sammanhang som människor på sätt och vis känner till men inte nödvändigtvis kan dokumentera eller ens uttrycka fullt ut?

Claire Maiers: Svaret finns i frågan. Ja. Vi gör det. Vi löper den risken. Jag tänkte på hur mycket av det som får organisationer att fungera bra som inte är dokumenterat. Jag tänker ofta på när jag navigerar i en organisation och ser det formella organisationsschemat: hur saker ska fungera, vem som antas vara ansvarig eller ha auktoritet inom ett område, jämfört med hur saker faktiskt fungerar.

De två sakerna är ofta frikopplade. De är inte samma sak. Det ena är hur vi tror att det ska fungera, det andra är hur det fungerar i verkligheten. De personer som navigerar väl i organisationer brukar förstå hur saker fungerar i praktiken, inte i organisationsschemat.

Organisationer som är hälsosamma och framgångsrika i sitt uppdrag är ofta antingen bättre samordnade, så att de två sakerna är mindre frikopplade, eller så är de bekväma med att mycket arbete utförs genom informella kanaler, relationer och ansvarsområden. Det innebär att det blir mycket svårt att ersätta detta med AI eller skapa ett kunskapsarkiv som AI kan arbeta med och som faktiskt ersätter det arbete dessa människor utför.

Ett snabbt exempel från mitt tidigare arbetsliv: När jag försökte utveckla de delar av verksamheten som jag ansvarade för brukade jag alltid placera mig i vårt huvudkök, eftersom det låg bredvid affärsutvecklingsteamet. Jag arbetade flera timmar från köket varje morgon för att vara nära teamet.

Det innebar att jag fick ta del av alla möjliga informella samtal utanför de officiella kanalerna, och de hjälpte mig att hjälpa verksamheten. Jag vet inte hur man återskapar det i AI. Man kan sätta upp mikrofoner i hela organisationen och spela in varje möte. Det kan ge vissa insikter och kanske börja identifiera den verkliga organisationsstrukturen. Men jag vet inte om tekniken kan utföra det arbete som människor gör genom dessa informella kanaler för att hjälpa uppdraget.

David Rice: Jag skulle säga att risken är stor att det kanske fungerar. Vi befinner oss i en tid där förtroendet är rekordlågt. Förra veckan talade John Morgan om människor som vill arbeta hemifrån och att man skulle sätta upp en kamera någonstans där bak på dem, hela den grejen. Jag tycker att vi måste vara försiktiga med sådant.

Jag skulle hellre försöka återskapa den närhet du hade och skapa situationer där saker naturligt kommer upp. Det finns intressanta idéer om hur man kan göra det, men jag vet inte om någon av dem faktiskt fungerar.

Claire Maiers: Det finns ett citat som lyder ungefär: ”Teknik är varken god eller ond, och den är inte heller neutral.”

Det är så jag tänker. Vi befinner oss i ett läge där de av oss som inte uttryckligen sitter i förarsätet för den här tekniken, om vi vill skapa goda framtider för oss själva och andra, måste säga ifrån och skapa tillräcklig kraft och tillräckligt många röster för att tekniken ska användas på ett sätt som tillför värde till den mänskliga erfarenheten i stället för att försämra den.

Jag förespråkar inte kameror och mikrofoner i varje rum, korridor eller vid varje vattenkylare. Men jag tror att vi löper en risk om vi inte uttryckligen säger att vi inte ska göra det, eller att vi bara ska utforma saker som förbättrar den mänskliga erfarenheten. Om vi inte skyddar detta medvetet riskerar vi att hamna på en plats där den mänskliga erfarenheten har försämrats.

Det är något vi måste skydda oss mot.

David Rice: Om vi försöker skapa ett sätt att skydda den tysta kunskap som någon har samlat på sig över tid blir frågan hur vi bevarar en legitim roll för intuition och erfarenhet utan att skapa en ursäkt för människor att ignorera evidens när den motsäger det de tror.

Claire Maiers: Du träffade huvudet på spiken. Anledningen till att evidensbaserad medicin är så viktig i fallstudien jag nämnde är att den korrigerar en period av överdriven subjektivitet och risk som uppstod när människor inte följde evidensen.

När blir intuition en fördom? Jag tror att det handlar om att utforma sammanhanget och vara specifik kring hur tekniken ska användas. Men det är en enorm uppgift, eftersom man inte kan utforma ett enda sammanhang som passar alla. Det beror på organisationens uppdrag, bransch och storlek.

Allt måste vara ändamålsenligt, och det kan göra uppgiften överväldigande, eftersom vi i princip måste besvara frågan: Hur utformar vi ett komplett sociotekniskt system som är hälsosamt för människor att verka i?

Jag tror att vi måste besvara den frågan många gånger om.

David Rice: Företag tycker om att säga: ”AI informerar besluten. Människor fattar dem.” Men det säger egentligen inget om huruvida en anställd faktiskt känner att det är tillåtet att avvisa det systemet rekommenderar. Hur ger man människor möjlighet att göra det? Hur ser det ut? Vad måste vara sant om kulturen för att mänsklig tillsyn ska vara mer än en styrningsslogan?

Claire Maiers: Herregud, ja. Jag älskar frågan eftersom den är så viktig. Jag vill inte låtsas att jag har alla svar, men jag har några insikter från mitt tidigare arbete.

En sak jag redan nämnde är att resultaten måste stå över allt annat. En organisation med tydliga normer förstår att alla tillhör samma lag och arbetar mot samma välformulerade resultat. Vissa organisationer säger att den bästa idén vinner, oavsett varifrån den kommer. Den kan komma från vaktmästaren eller vd:n. En bra idé är en bra idé.

Det liknar en organisation och kultur som är inriktad på resultat och som ger människor tillåtelse att ifrågasätta, eftersom de inte ses som illojala, problematiska eller politiska. De strävar i stället mot samma mål.

Den andra saken är ägarskap eller ansvar. Det är lite svårare att tala om eftersom det har en negativ sida och kan gå över i ansvarsskyldighet. Forskare som studerar algoritmisk kultur och vad som hände med stordata har oroat sig för detta i flera decennier. Det enklaste exemplet är autonoma fordon.

Om ett autonomt fordon dödar någon, vem är ansvarig? Är mjukvaruingenjörerna som programmerade det ansvariga? Är vd:arna bakom företagen och tekniken ansvariga? Ska vi på något sätt hålla en maskin ansvarig? Är ingen ansvarig?

Det är viktigt eftersom den enkla vägen, om ens högsta prioritet är bekvämlighet och att inte skapa konflikt på jobbet, är att säga att AI fattade beslutet. Då blir det mycket enklare att inte granska de beslut man godkänner som människa i loopen.

När det däremot finns ett ansvar på människan i loopen tvingar det fram en annan uppmärksamhetsnivå. Problemet är att vi bygger stora, komplicerade system, kräver att någon använder dem och sedan lägger ansvaret på individen. Jag säger inte nödvändigtvis att individer juridiskt ska hållas ansvariga. Ansvaret bör förmodligen fortfarande ligga på organisationsnivå eller på nivån för det verktyg organisationen använder.

Men om människa-i-loopen ska fungera tror jag att personen måste känna någon form av ansvar, ägarskap eller skyldighet.

David Rice: Det är svårt, eftersom människa-i-loopen kan bli något ceremoniellt. Om kulturen gör det säkraste karriärsteget att helt enkelt acceptera systemet-

Claire Maiers: Det är precis det jag menar.

David Rice: Om det innebär att man personligen äger nackdelen när man kör över systemet lär man sig snabbt vad organisationen egentligen vill eller förväntar sig. Man blir straffad när man kör över maskinen och har fel, men får ingen uppskattning när man har rätt. Då är beslutet i praktiken automatiserat ändå.

Claire Maiers: Ja, exakt. Det är inte ett fullständigt svar på vilken kultur organisationer behöver, men jag tror att vi börjar se delar av pusslet falla på plats.

David Rice: När vi talades vid före programmet gjorde du en jämförelse som jag verkligen gillade: man utvärderar inte något från en junior analytiker på samma sätt som något från en stabschef som man har arbetat med i flera år.

Man kalibrerar alltså förtroendet utifrån personen, uppgiften och erfarenheten. Kan vår relation till AI fungera på samma sätt?

Claire Maiers: Jag tror det, åtminstone delvis. Jag kan dela upp det. Jag arbetade för en fantastisk vd som ofta talade om skillnaden mellan effektivt och kognitivt förtroende, och jag tror att det passar här.

När man tänker på scenariot med en junior analytiker jämfört med en stabschef som man har en lång historia med finns flera typer av förtroende i spel. Kognitivt förtroende handlar om huruvida man tror att personen kan utföra jobbet eller uppgiften väl.

Effektivt förtroende handlar om huruvida man tror att personen har ens bästa intresse i åtanke. Med den juniora analytikern ifrågasätter man definitivt den kognitiva delen, eftersom personen är ny och oerfaren och fortfarande lär sig. Man har inte samma nivå av effektiva förtroende för den personen som för någon man har arbetat med i fem år och byggt en relation med.

Det spelar roll eftersom vi inte bara bör kalibrera varifrån en rekommendation kommer, utan också vad vi ska använda den till och vilken risknivå som är förknippad med att acceptera den. Jag förväntar mig att en vd som står inför ett beslut med mycket stora konsekvenser granskar hur analysen har tagits fram och vem som producerade den mycket noggrannare än vid ett beslut som är lätt att ändra, har mindre betydelse och kanske inte kostar lika mycket.

Den andra viktiga delen är att jag vet att stabschefen som jag har arbetat med i fem år också granskar allt hon lämnar till mig mycket noggrant om det har stora konsekvenser. Hon kalibrerar alltså sitt eget arbete, sin uppmärksamhet och sin dubbelkontroll efter hur viktigt beslutet är.

Jag tror inte att de flesta AI-system gör det. Vi kan jämföra dem med varandra, be om rekommendationer från olika motorer och be ett system spela djävulens advokat. Vi kan bygga in sådant som tvingar systemet att arbeta hårdare och kontrollera om rekommendationerna är sammanhängande. Men man kommer aldrig att ha ett effektivt förtroende för ett AI-system.

Eftersom relationsdelen saknas och eftersom systemet i allmänhet behandlar uppgifter på ungefär samma sätt saknas en kalibrering efter risknivå. Det betyder att man kan lära sig att kalibrera sin egen tolkning och erfarenhet av ett välbyggt, ändamålsenligt system över tid, ungefär som med en person. Men det är mycket som krävs.

Det innebär att man inte ska lägga superstrategiska beslut i sitt privata Claude-fönster utan att först ha byggt det särskilt för uppgiften och sedan lita på rekommendationen. Så mitt svar är både ja och nej.

David Rice: Det finns olika sätt att närma sig det. Jag tänker på beslut där det finns många faktorer att ta hänsyn till och som avgör vad vi ska göra under nästa år.

Jag förlitar mig inte på AI för att bedöma det som gjorts tidigare. Jag försöker bygga något särskilt för uppgiften, exempelvis ett projekt i Claude, och ge det all information jag kan om varför beslutet är viktigt och vad jag försöker uppnå.

Sedan lägger jag i princip fram min logik och säger: ”Det här tänker jag. Utmana mig på samma sätt som min vd skulle göra. Ställ frågor som hittar hål i mitt argument.” På så sätt kan jag tänka igenom det i förväg.

Där tycker jag att det kan vara ett mycket kraftfullt och användbart verktyg. Men att bara låta det göra analysen och säga: ”Du bör gå den här vägen” kommer jag personligen inte att lita på.

Claire Maiers: Jag har en fråga. När du gjorde det – om du tänker på ett eller två konkreta exempel – var på skalan hjälpte resultatet dig att formulera det du redan tänkte, jämfört med att tänka på något nytt eller ändra uppfattning?

David Rice: Det krävdes nog ytterligare ett lager innan det verkligen förändrades. Det fick mig att tänka: ”Okej, det kanske har rätt om det där” eller ”Det där är kanske en bra poäng.” Det var inte det första svaret.

Det första svaret fick mig att tänka att jag kanske inte hade förklarat sammanhanget tillräckligt bra eller behövde ge ytterligare information om varför något hade hänt, varför det var viktigt för verksamheten och varför vi såg det som en möjlighet.

Jag brukar upptäcka att jag under de första svaren, när jag verkligen går in i frågan, hittar hål i systemets logik. Det förstår inte detta tillräckligt väl för att förstå var jag kommer ifrån. Men sedan börjar man fråga sig: ”Överförklarar jag det här? Om jag talade med en person, skulle jag ta mig tid att förklara detta eller bara låta det vara?”

Man börjar tala med systemet på ett annat sätt, eftersom man ofta tänker att man måste ha utelämnat något när det säger något som inte verkar logiskt i sitt sammanhang. När man arbetar med en person kanske man tänker: ”De borde väl känna till det där. Jag vill inte tala med dem som om de inte förstår.” Det är en annorlunda dynamik, som kan vara både bra och dålig.

Claire Maiers: Det intressanta är att det tvingar dig att externalisera och konkretisera ditt tänkande. En sak som är intressant med AI är att mycket forskning handlar om hur innovation, kreativitet och vetenskapliga genombrott uppstår.

Sanningen är att sådant nästan aldrig sker isolerat. Det sker i samtal och socialt samspel med andra. I den mån AI kan simulera detta som ett sätt att utveckla sitt eget tänkande är det ett mycket intressant användningsområde.

David Rice: Det är där jag hittills har hittat störst värde.

Verkligt värde, inte bara att jag kunde göra fler saker. Det finns kanske ett visst värde i det också, men det är begränsat när det gäller vad man faktiskt får ut av det. Om AI blir inbäddad i de vardagliga beslut vi alla fattar, eller i HR – vem som anställs, hur prestation bedöms, vilka investeringar som görs och vad chefer uppmanas prioritera – talar vi då fortfarande om människor som använder ett verktyg?

Det känns som att vi talar om en förändring av hur vi vet det vi vet, vilket är ett stort skifte. Vilket ansvar skapar det för personer som leder människor?

Claire Maiers: Jag tycker mycket om den formuleringen. Din fråga visar delvis att organisationer är mer än summan av sina delar. AI har gjort det mycket tydligt att det är användbart att se organisationer som sociotekniska system.

Det innebär att de enda aktörerna i en organisation inte är människor. Det är också teknik. Det har varit sant i många organisationer även före AI, men det är svårt att förneka i en värld där AI-agenter fattar beslut och agerar inom en organisation.

Vad ska personer med ansvar för medarbetare göra? Jag tror att det åtminstone finns en stor fråga de måste avgöra: var drar man gränsen och vilken vision har man för organisationen?

Vi bör inte ta det för givet att AI måste byggas in i rekryteringsarbetet. Det finns marknadskrafter som är svåra att stå emot, till exempel det stora antalet ansökningar som organisationer tar emot, vilket gör det svårt att inte använda AI-filter.

Men ingen enskild ledare och ingen enskild organisation måste följa strömmen och göra som alla andra. Det är den enklare vägen, men den första frågan personer med ansvar för medarbetare måste ställa är hur integrerad man vill att AI ska vara.

Du var inne på detta tidigare: det handlar kanske inte främst om produktivitetsvinster utan om kvalitetsvinster. Och inte bara kvaliteten på det man säljer eller erbjuder, utan också kvaliteten på den organisatoriska erfarenheten.

Det första ansvaret är alltså att fastställa visionen och dra gränsen. Därefter, mot bakgrund av vårt samtal i dag, är det viktigaste att utforma sammanhanget.

Det hårda arbete jag talade om tidigare är att skapa en sund kultur och ett sunt sammanhang i en organisation. Det är svårt i början, men det finns fallstudier som visar att det under lång tid har varit det arbete som upprätthåller organisationens uppdrag och lönsamhet, om det är den typ av verksamhet man bedriver.

Det är alltså arbete som är värt att göra. Det måste göras. Nu måste man ställa frågor om vad som kan automatiseras och vilka beslut som kan automatiseras i det sammanhang vi verkar i, samtidigt som konsumenter och medarbetare hålls säkra.

Man måste fråga sig vad som krävs för att skapa en organisation där människor kan räcka upp handen när de är oroliga, avvisa beslut och tänka kritiskt.

Det här är ingen liten uppgift. Jag tror att det är en enorm och herkulisk uppgift att skapa organisationer som hanterar detta väl, särskilt om man saknar en grund av förtroende, ett tydligt uppdrag, medarbetare som är inriktade på uppdraget och en kultur som uppmuntrar människor att säga ifrån.

Det blir svårare utan en sådan grund. Jag har inte alla svar, men det är där mina tankar går: fastställ en vision och arbeta bakåt därifrån.

Vilket övergripande sammanhang behöver ni skapa? Jag vill också tillägga att ledare behöver samordna sig mellan organisationer. Organisationer vill ofta likna varandra och göra det grannen gör. Det här arbetet blir lättare när organisationer, åtminstone inom samma branscher, arbetar tillsammans mot ett sammanhang som uppmuntrar en hälsosam användning av AI och bidrar till mänskligt välbefinnande.

David Rice: Det är intressant att du nämner det. Jag gillar verkligen idén om att fastställa visionen och bygga sammanhanget. Vid tillräcklig skala kommer tusentals individuellt rimliga AI-assisterade beslut att forma det organisatoriska beteendet på ett grundläggande sätt, oavsett om det handlar om vad som belönas eller vem som befordras.

Men om ingen medvetet beslutar att företaget ska fungera så tycker jag inte att det är en bra plats att befinna sig på. Då har man gått längre än teknikanvändning. Det här är en fråga om organisationsdesign.

Claire Maiers: Det här är organisationsdesign, ja.

David Rice: Ja.

Claire Maiers: Det hamnar ofta i skymundan.

Högsta ledningen fokuserar ofta på affärsmodellen och glömmer att organisationen är motorn som tar dem dit. Den behöver lika mycket uppmärksamhet som affärsmodellen. Verksamhetsmodellen behöver lika mycket uppmärksamhet.

David Rice: Det här har varit ett fantastiskt samtal. Tack för att du ville vara med.

Claire Maiers: Ja, det här har varit väldigt roligt och energigivande. Tack.

David Rice: Kära lyssnare, tills nästa gång. Om ni inte redan har gjort det kan ni gå till peoplemanagingpeople.com/subscribe eller /ai-signal och registrera er för våra nyhetsbrev. Det är AI Signal eller vårt vanliga nyhetsbrev med sammanfattningar.

Ni får de senaste nyheterna från peoplemanagingpeople.com, inklusive alla samtal vi har i den här podden, direkt i inkorgen. Tills nästa gång: fastställ visionen och bygg sammanhanget. Vi hörs.

Genomför prestationsutvärderingar och ta med insikter om medarbetarengagemang till ditt favoritverktyg för AI. Anslut Teamflect till ChatGPT, Claude eller valfri stor språkmodell för att granska mål, skriva utvärderingar, bedöma feedback, skapa uppgifter och mycket mer – allt genom en enkel chatt. Prova Teamflect gratis nu.