Varför de flesta strategier för AI-styrning redan är i trubbel
Efterlevnadsrisk: Organisationer tror ofta att juridisk dokumentation är tillräcklig och inser inte de faktiska efterlevnadsriskerna med AI.
Regulatoriskt landskap: AI-styrning bedrivs inom ramen för fragmenterade lagar, vilket kräver kännedom om befintliga rättsliga standarder och ansvarsområden.
Upptäckt av partiskhet: Partiskhet i AI härrör från historiska data och påverkar rekryteringsmetoder, ofta utan avsikt eller medvetenhet.
Leverantörsansvar: Att enbart förlita sig på leverantörers efterlevnadscertifieringar kan dölja betydande organisatoriska risker kopplade till AI-verktyg.
Behovet av styrning: Effektiv AI-styrning kräver ledningstillsyn och tydligt ansvar för att säkerställa efterlevnad och minska risker.
Pappersarbete kan få efterlevnaden att kännas färdig. Juridikavdelningen ger sitt godkännande och kontrakt arkiveras med en skadeslöshetsklausul som lovar skydd. Men dessa steg skapar ofta en illusion av säkerhet snarare än faktisk säkerhet.
Nyligen deltog jag i en konferens med flera sessioner ägnade åt det juridiska landskapet kring AI på arbetsplatsen. Yrkesverksamma, arbetsrättsadvokater och efterlevnadsexperter ägnade större delen av två dagar åt att syna de antaganden som organisationer har byggt sina strategier för AI-styrning på. Bilden som framträdde handlade inte om en överhängande fara. Exponeringen finns redan här.
Det regulatoriska landskapet
Den federala regeringen har inte antagit någon heltäckande AI-lagstiftning. Det är den fakta som vissa chefer stannar vid, och det är precis därför så många underskattar sin risk. Det faktiska landskapet är ett lapptäcke av delstatslagar, lokala förordningar och befintlig federal lagstiftning som inte kräver någon ny AI-specifik reglering för att vara tillämplig.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Man hör all denna retorik om att ‘vi kommer inte att reglera detta’ från den nuvarande administrationen. Låt er inte luras av det. De säljer visshet där det inte finns någon.
Kelly och alla andra advokater som talade vid konferensen var ganska tydliga med vad denna feltolkning kostar organisationer. EEOC:s strategiska prioriteringar för 2024–2028, som omfattar initiativet för att omforma rättvisa vid anställning, fokuserar särskilt på till synes neutrala system, det vill säga verktyg som inte uttryckligen diskriminerar men som leder till diskriminerande resultat.
Federal lagstiftning omfattar redan detta. Det gör även EU:s AI-förordning, som gäller för alla organisationer med verksamhet eller anställningsaktiviteter i Europa.
Det numera ökända Workday-målet, en grupptalan där det hävdades att företagets HR-programvara diskriminerade sökande på grund av ålder och ras, visade tydligt att juridisk exponering inte väntar på kongressen.
Problemet med upptäckbarhet
Ett av de mer omskakande samtalen vid konferensen handlade om dokumentation. Mer specifikt: vad händer när era AI-beslut blir föremål för bevisinhämtning?
AI-frågor kan begäras ut genom stämning. Intern logik, beslutsunderlag och modellkonfigurationer som används vid rekrytering, prestationshantering eller ersättningsprocesser kan begäras som bevis. Organisationer som inte kan ta fram detaljerade register över AI-beslut som sträcker sig fyra år tillbaka utsätts för betydande exponering, både i rättstvister och vid regulatorisk granskning.
Detta är inte teoretiskt. I takt med att AI-agenter tar på sig mer autonoma roller inom HR-verksamheten blir ansvarsfrågan skarpare. När ett agentbaserat system fattar eller påverkar ett avgörande anställningsbeslut och något går fel, lägger lagen ansvaret tydligt på arbetsgivaren, inte leverantören.
Det strikta ansvaret för agenter försätter organisationen i en situation där den äger resultaten som produceras av verktyg som den kanske inte fullt ut förstår.
Kraven på bevarande av dokumentation förändras följaktligen. Styrning som inte utformades med upptäckbarhet i åtanke kommer att behöva rekonstrueras under press.
Var partiskhet faktiskt kommer in
De flesta organisationer hanterar partiskhet i AI som ett leverantörsproblem. De köper ett AI-verktyg, frågar om det har granskats, får någon variant av ett ja och går vidare. Juridik- och efterlevnadskretsar har börjat påpeka hur ofullständigt detta är.
Partiskhet kommer in i AI-system genom historiska data, definitioner av framgång, urvalsfilter och proxyvariabler. När ett AI-system tränas på flera år av vilka som anställdes, vilka som befordrades och hur prestationsbedömningarna såg ut, lär det sig organisationens preferenser. Dessa preferenser innehåller ofta inbäddad diskriminering som ingen avsiktligt utformade, men som modellen kodar och sedan skalar upp.
”Partiskhet förstärks”, noterade Kelly, ”och omvandlar isolerade beslut till mönster som genomsyrar hela institutionen.
Den juridiska normen för indirekt diskriminering kräver inte uppsåt. En kärande måste visa en statistisk skillnad, och tröskeln är redan definierad. Fyrfemtedelsregeln, även kallad 80-procentsregeln, innebär att om urvalsfrekvensen för en skyddad grupp är mindre än 80 procent av den högst utvalda gruppens frekvens, utgör det bevis på indirekt diskriminering.
Ett AI-verktyg som granskar tusentals CV:n i månaden kan passera den tröskeln utan att en enda person på företaget avsåg att det skulle ske.
En studie från University of Washington som citerades under en session illustrerade problemets omfattning. När namnen på svarta manliga sökande jämfördes med vita manliga sökande i AI-baserade urvalssystem föredrog systemen svarta namn noll procent av gångerna.
Standarden för olika behandling, som omfattar avsiktlig diskriminering, medför egna AI-specifika komplikationer. Direkta inmatningar där skyddade egenskaper används som uttryckliga datapunkter är det uppenbara fallet. Men dolda motiv är svårare att upptäcka och svårare att försvara sig mot, som att välja en leverantör specifikt eftersom deras urvalsverktyg tenderar att sålla bort äldre sökande, samtidigt som det internt framställs som en preferens för en "snabbrörlig kultur."
Den formuleringen neutraliserar inte avsikten ur ett juridiskt perspektiv.
Varför leverantörsorienterad tillsyn misslyckas
Den standardiserade styrningsmodellen i de flesta organisationer bygger på leverantörsrelationen. Antagandet är att organisationen har uppfyllt sina skyldigheter om en leverantörs verktyg klarar en certifiering eller levereras med revisionsdokumentation.
Det antagandet håller inte vid kontakt med vare sig lagen eller den operativa verkligheten.
"I slutändan är det organisationen som bär det yttersta ansvaret", sade Kelly. "All risk kommer att belasta samma riskpott. Man kan samarbeta med personer inom regelefterlevnad, risk och juridik, som alla arbetar för att minimera riskerna inom sina jurisdiktioner, men det enda sättet att göra det är att personer i organisationen förstår vad ni använder och vad ni använder det till. Om jag har missat att ert rekryteringsteam använder en teknik som vi inte testar med avseende på risk, är vårt arbete i viss mån meningslöst."
Chris Lippert, chef på Schellman, pekade på landskapet för leverantörscertifiering som en del av problemet. Många AI-verktyg inom HR-funktioner har inte certifierats oberoende.
Greenhouse, en av de mer etablerade plattformarna för kandidatspårning, fick sin ISO/IEC 42001-certifiering först i februari i år. Slutsatsen för området är att organisationer införde AI-förbättrade funktioner långt innan verktygen validerades, och många använder fortfarande oprövade versioner.
Bara för att en applikation har AI betyder det inte att den bör användas. Och om den får AI-funktionalitet är det dags att se något och säga till. Uppdateras företagets policyer innan tekniken rullas ut? Nej. Ni utsätts för risk innan den hinner förankras i policy.
Lippert rekommenderade att bygga vidare på konsekvensbedömningar avseende integritet som organisationerna sannolikt redan har genomfört. En AI-riskgranskning behöver inte byggas från grunden. Samma intressenter, samma analytiska ramverk och en stor del av samma dokumentationsinfrastruktur finns redan i de flesta program för regelefterlevnad.
Att behandla AI-styrning som en utvidgning av det arbetet i stället för som ett separat initiativ gör den lättare att genomföra och mer hållbar.
Styrningsgapet på ledningsnivå
Kraven på operativ styrning är inte komplicerade att räkna upp.
- Kontrollpunkter för mänsklig tillsyn
- Valideringsfrekvens
- Leverantörsansvar
- Resultatuppföljning
- Dokumentation,
- Versionshantering
Allt detta är väl förstått. Det som är mindre tydligt i många organisationer är vem som ansvarar för det och om någon med organisatorisk befogenhet aktivt följer upp det.
\u0022Den allmänna samsynen kring alla ramverk för AI-risker är att det måste få stöd uppifrån och ned. Man måste ha det ägarskapet.\u0022
Howards poäng knyter an till ett bredare misslyckande. Styrningsstrukturer som byggs på team- eller funktionsnivå, utan mandat från ledningen och tydligt ansvar, tenderar att tillämpas inkonsekvent och vara svåra att upprätthålla.
När en affärsenhet börjar använda ett nytt AI-verktyg utan att gå igenom en etablerad granskningsprocess märks den lucka som uppstår inte förrän någon lämnar in ett klagomål, en stämning väcks eller en tillsynsmyndighet inleder en utredning.
Modellförskjutning förstärker detta. AI-verktyg förändras över tid, ibland genom uppdateringar från leverantören och ibland genom förändringar i de underliggande data som de bearbetar. Ett verktyg som klarade en partiskhetsgranskning vid driftsättningen kanske inte klarar en sådan granskning arton månader senare.
"När modeller förskjuts ärver du mer risk", sade Howard. "Du måste ge dina medarbetare möjlighet att säga ifrån när något verkar fel."
Testning på egna villkor
Avsaknaden av ett obligatoriskt federalt ramverk innebär att organisationer i stor utsträckning lämnas att utforma sina egna testprotokoll. Kellys råd om detta var rakt på sak.
"Du är utlämnad åt dig själv", sade han. "Det är verkligheten.
Den praktiska innebörden är att organisationer behöver genomföra egna partiskhetstester kontinuerligt och göra det med juridiskt skydd på plats. Genom att utföra tester under advokatsekretess kan organisationer upptäcka problem utan att automatiskt skapa bevis om problemen som kan begäras utlämnade.
Det är en investering med tydlig avkastning, särskilt för organisationer som använder AI vid rekrytering, där den juridiska exponeringen är störst och dokumentationskraven mest omfattande.
De organisationer som ligger steget före har slutat anta att leverantören har gjort arbetet och börjat behandla AI-styrning som en operativ disciplin med verkligt ägarskap, verklig testning och verkligt ansvar.
