Hallinnan muutos: Tekoälyn hallinnan on kehityttävä toimintaperiaatteista ajonaikaiseen valvontaan, kun autonominen tekoäly ryhtyy toimimaan itsenäisesti.
Käyttöönoton prioriteetti: AWS asettaa tekoälyn nopean käyttöönoton hallinnan edelle keskittyen tuotantokäytössä oppimiseen ja skaalaamiseen.
Lieventämättömät riskit: Credo AI on luetteloinut 1 600 tekoälyriskiä, joista 15 prosentilla ei ole lieventäviä toimenpiteitä, mikä herättää huolta autonomisen tekoälyn hallinnasta.
Vastuuvelvollisuuden aukot: Nykyisillä hallinnan viitekehyksillä on vaikeuksia määrittää vastuuvelvollisuutta käyttäjiin vaikuttavista tekoälyagenttien toimista.
HumanX-tapahtuman live-esittelyssä viime viikolla Mati Staniszewski, ElevenLabsin toinen perustaja, esitteli yleisölle yrityksensä alustalle rakennetun valtion palveluagentin.
Agentti opasti kuvitteellista käyttäjää yrityksen rekisteröinnissä. Se varmisti tämän henkilöllisyyden WhatsAppin kautta. Se haki asiakirjoja yhdistetystä Google-tilistä, vaihtoi kieltä kesken keskustelun, kun käyttäjä mainitsi espanjaa puhuvat työntekijät, ja vastasi Kalifornian myyjän lupaprosessia koskeviin kysymyksiin.
Sitten käyttäjä kysyi veroista. Agentti lopetti puhelun.
Se ei ilmoittanut epävarmuudesta. Se ei siirtänyt asiaa eteenpäin. Se päätti keskustelun, jonka todellinen käyttäjä olisi olettanut olevan hoidossa, koska agentti ei tiennyt verohallinnon olemassaolosta eikä osannut ohjata asiaa sinne.
Staniszewski korjasi ongelman lavalla muutamassa minuutissa yhdistämällä yritysagentin veroagenttiin, julkaisemalla muutoksen ja käynnistämällä prosessin uudelleen. Yleisö seurasi, kuinka tuotantoympäristöön tehtiin päivitys reaaliajassa.
Pohtimisen arvoista ei ole se, että agentti epäonnistui. Agentit epäonnistuvat. Olennaista on se, miltä epäonnistuminen näytti. Ei varoitusta. Ei asian siirtämistä toiselle taholle. Ei merkintää siitä, mitä käyttäjä tarvitsi. Puute tuli näkyviin vasta, kun käyttäjä törmäsi siihen.
Kuvittele nyt sama tilanne Revolutissa, joka on ottanut ElevenLabsin agentit käyttöön neljän miljoonan asiakkaan palveluissa yli 30 kielellä. Tai Deutsche Telekomissa, jonka verkostossa agentit vastaavat nyt asiakkaiden kyselyihin reaaliajassa. Staniszewskin mukaan pullonkaulana ei enää ole teknologia. Se on käyttöönotto.
Väite on sekä paikkansapitävä että kaikille niille, jotka vastaavat agenttien toiminnasta, koko tilaisuuden tärkein lause.
Malli, jota varten hallintamallit rakennettiin
Suuren osan viimeisistä kolmesta vuodesta yritysten tekoälyn hallinta on perustunut hallittavaan joukkoon oletuksia. Tekoälyjärjestelmä esitti suosituksen. Ihminen tarkisti sen. Ihminen vastasi siitä, mitä seuraavaksi tapahtui. Malli ei ollut täydellinen, mutta se oli ymmärrettävä. Pystyit osoittamaan, missä päätös tehtiin ja kuka sen teki.
Tuo arkkitehtuuri on hajoamassa.
Credo AI:n perustaja ja toimitusjohtaja Navrina Singh on käyttänyt kuusi vuotta rakentaakseen sitä, mitä hän kuvaa tekoälyn hallinnan kategoriaksi. Hän aloitti ennakoivan koneoppimisen aikakaudella ja toimii nyt syvällä agenttien aikakaudella.
HumanX-tapahtumassa hän kuvasi keskeisen muutoksen. Hallinta koski aiemmin käytäntöjä, mutta nyt sen on koskettava toiminnallisia ja ajonaikaisia suojamekanismeja. Ero on merkittävämpi kuin miltä se saattaa kuulostaa. Käytäntö on jotakin, jonka kirjoitat, tarkistat vuosittain ja päivität, kun jokin menee pieleen.
Ajonaikainen hallinta tarkoittaa sen seuraamista, mitä tekoälyjärjestelmä todella tekee tuotannossa jatkuvasti ja ennalta määriteltyjä kriteerejä vasten. Näitä kriteerejä voidaan joutua muuttamaan, kun järjestelmän taustalla oleva malli kehittyy.
Siirtymä käytännöistä ajonaikaiseen hallintaan liittyy suoraan neuvoja antavan tekoälyn ja agenttitekoälyn eroon. Neuvoja antava tekoäly tekee ehdotuksia määritellyn toiminta-alueen sisällä. Agenttitekoäly suorittaa toimia, ketjuttaa niitä eri järjestelmien välillä, siirtää tehtäviä muille agenteille ja tuottaa lopputuloksia, joita yksikään ihminen ei tarkistanut ennen niiden syntymistä.
ElevenLabsin esittely tiivisti tämän muutamaan minuuttiin. Yksi alun käyttäjävuorovaikutus johti tunnistautumiseen WhatsAppissa, asiakirjojen hakemiseen Google Workspacesta, kielen vaihtamiseen, saumattomaan agentin vaihtoon ja ennakoivaan lähtevään puheluun, jossa tarjottiin avustusohjelmaa. Viisi erillistä autonomista toimintoa. Ihminen ei hyväksynyt jokaista vaihetta erikseen. Tältä agenttitekoäly näyttää yhden käyttötapauksen tasolla.
Yritysten mittakaavassa hallinnan puutteesta tulee huomattavasti vaikeammin hallittava.
Rakentajien laskelma
Amazon Web Servicesin toimitusjohtaja Matt Garman puhui suoraan siitä, mihin yritysten tekoälyn arvo todellisuudessa keskittyy. Varhaiset generatiivisen tekoälyn hyödyt, kuten sisällön luominen ja asiakirjojen tiivistäminen, väistyvät jonkin perustavanlaatuisemman tieltä.
Agentit ovat tapa, jolla useimmat yritykset ja konsernit tulevat saamaan suurimman osan hyödystään tekoälystä.
Amazonin sisäinen käyttöönotto tukee tätä väitettä. Yhtiön Quick Suite -työkalu antaa sadoilletuhansille työntekijöille pääsyn tekoälyagentteihin, jotka on yhdistetty Salesforcen, Workdayn, sähköpostin ja sisäisen dokumentaation yritystietoihin.
Ohjelmistokehittäjät tuottavat tekoälyavusteisesti noin 4,5 kertaa enemmän kuin ilman sitä. Kiro-niminen koodausagentti ratkaisi hiljattain asiakkaan ilmoittaman ohjelmistovirheen ja toimitti korjauksen 25 minuutissa.
Nämä ovat todellisia hyötyjä, eikä Garman liioitellut niitä esitellessään. Käyttöönottoa puoltavaan perusteluun sisältyy kuitenkin prioriteettijärjestys, joka hallinnon on otettava huomioon. Staniszewski ilmaisi asian suoraan.
Pullonkaula ei enää ole teknologia. Se on käyttöönotto. Yritykset, jotka julkaisevat, oppivat ja skaalautuvat nopeasti, tulevat voittamaan.
Julkaise. Opi. Skaalaudu. Siinä on järjestys. Hallinto ei kuulu siihen, ei siksi, että se jätettäisiin huomiotta, vaan koska nykyhetken kilpailulogiikka palkitsee nopeuden. Tämän järjestyksen ”opi”-vaihe tapahtuu tuotannossa todellisten käyttäjien kanssa ja todellisten seurausten keskellä.
Tämä ei ole kyynisyyttä. Garman ja Staniszewski kuvaavat teknologiamarkkinoiden toimintaa tilanteessa, jossa kyvykkyyksien paranemisvauhti on korkea ja odottamisen kustannukset todellisia. Mutta työvoimaa koskevista tekoälypäätöksistä vastaavalle henkilöstöjohtajalle tai COO:lle, jonka toimintoja järjestellään uudelleen agenttimaisten järjestelmien ympärille, laskelma näyttää erilaiselta. He eivät saa ensiliikkeen etua. He perivät vastuun, kun jokin menee pieleen.
Kuilu, jota kukaan ei ole kuronut umpeen
Credo AI on koonnut Singhin kuvauksen mukaan maailman suurimman tekoälyriskien tietovaraston, jossa luetteloidaan tällä hetkellä noin 1 600 erillistä luokkaa. Niille on olemassa lieventämiskeinot noin 85 prosentissa tapauksista.
Lopuille 15 prosentille eli noin 240 tunnetulle riskiluokalle ei vielä ole vakiintunutta lieventämiskeinoa. Tällainen on hallinnon tila neuvonantavassa tekoälyssä. Agenttimaiset järjestelmät, joissa useat mallit ovat vuorovaikutuksessa, siirtävät tehtäviä toisilleen ja tuottavat tuloksia, jotka syötetään uusiin automatisoituihin päätöksiin, tuovat mukanaan virhetilanteita, joita ei ole vielä täysin määritelty, saati lievennetty.
Vaikeampi Singhin esiin nostama ongelma on alkuperän jäljitettävyys. Moniagenttijärjestelmässä vastuun jäljittäminen edellyttää vastausta paitsi siihen, mikä päätös tehtiin, myös siihen, miten se tehtiin. Toisin sanoen: mikä agentti vaikutti milläkin tavalla, mitä tietolähteitä hyödynnettiin, missä kohtaa ketjua virhe sai alkunsa ja miten korjaus etenisi koko ketjussa.
Useimmat hallintakehykset suunniteltiin arvioimaan mallin tuottamaa tulosta. Niitä ei rakennettu rekonstruoimaan toisiinsa kytkeytyneen järjestelmän päättelyä, kun järjestelmä toimii eri alustojen, mallien ja organisaatiorajojen yli.
Saahil Jain, You.comin teknologiajohtaja. Yhtiö siirtyi kuluttajahauista tekoälyagenttien hakurajapintojen rakentamiseen ja kuvasi rakenteellisen ongelman. Ihmiskäyttäjät ovat vuorovaikutuksessa tiedon kanssa ja arvioivat näkemäänsä. Tietoa kuluttavilla agenteilla ei ole samaa kykyä itsekorjaukseen.
Ne käyttävät pohjimmiltaan niille annettua kontekstia ja viittaavat siihen tavalla, joka ei sisällä ihmisiä päätöksentekoon”, hän sanoi.
Yritysten rakentama hallintoarkkitehtuuri olettaa, että ketjun jossakin kohdassa on ihminen tarkistamassa asian. HumanX-tapahtumassa viikon aikana kuulin toistuvasti ilmauksen ”agentit hallinnoimassa agentteja”. Agenttimaisten järjestelmien käyttöönotto näyttää järjestelmällisesti poistavan tämän oletuksen korvaamatta sitä millään rakenteellisesti vastaavalla.
Sääntelykehykset eivät kuro kuilua umpeen. Singh on neuvonut Yhdysvaltojen, Euroopan, Australian ja Intian hallituksia tekoälyn hallinnassa, ja hän puhui suoraan valtavan viiveen olemassaolosta.
Aiemmille koneoppimisjärjestelmille suunnitellut säännöt eivät sovi saumattomasti agenttimaisiin arkkitehtuureihin. Coloradon tekoälylaki painottaa vaikutustenarviointeja. Eurooppalaiset yksityisyyttä ja läpinäkyvyyttä koskevat vaatimukset tiukentuvat perustavanlaatuisten mallien tasolla.
Agenttipohjaisen käyttöönoton tahti on kuitenkin selvästi edellä kaikista sääntelysykleistä, ja Singh odottaa tämän pitävän paikkansa lähitulevaisuudessa.
Vaatimustenmukaisuuden perustaso ei ole katto
SOC 2 -vaatimustenmukaisuudesta on tullut perusedellytys yritysten tekoälyhankinnoissa. Singh kuvaili Fortune 500 -yrityksiä, jotka kokeiltuaan vuoden ajan laajasti useita toimittajia tarkastelevat nyt toimittajia huolellisesti sen suhteen, onko niiden data suojattu, ovatko niiden vastuuvelvollisuutta koskevat standardit dokumentoituja ja aiheuttaako tekoälyn tuominen yritykseen kokonaisuutena lisää riskejä.
Singhin mukaan tästä syystä vain noin 40 % tekoälytoimittajista pääsee suurissa yrityksissä tuotantokäyttöön. Valintapaine on todellinen.
SOC 2 -vaatimustenmukaisuus ja agenttipohjaisen toiminnan hallinta ovat kuitenkin eri asioita, ja niiden sekoittaminen keskenään on yksi merkittävimmistä virheistä, joita yritysmarkkinat tällä hetkellä tekevät.
SOC 2 käsittelee turvallisuutta ja saatavuutta. Se kertoo olennaisia asioita siitä, ovatko toimittajan järjestelmät suojattuja ja luotettavia. Se ei kerro mitään siitä, ovatko agentin päätökset jäljitettävissä, ovatko sen tuotokset asiayhteyden kannalta paikkansapitäviä, eskaloiko se poikkeustapaukset asianmukaisesti tai muuttuuko sen toiminta, kun sen taustalla olevia malleja päivitetään ilman ennakkoilmoitusta.
Nämä ovat hallintakysymyksiä, ja ne edellyttävät toisenlaista infrastruktuuria kuin vaatimustenmukaisuustodistus tarjoaa.
Singh kuvaili, miltä tämä infrastruktuuri käytännössä näyttää: hallintotiimejä, joihin kuuluu tietotieteilijöitä, riski- ja tietosuoja-asiantuntijoita sekä käyttäytymisen asiantuntijoita, ei pelkästään turvallisuushenkilöstöä. Riippumattomia varmennusorganisaatioita, kuten kehittyvä AIUC-standardi, jotka testaavat agenttipohjaisia järjestelmiä vakiintuneita kriteerejä vasten ulkopuolisten tahojen kautta. Jatkuvaa käytönaikaista valvontaa, ei ainoastaan käyttöönottoa edeltävää arviointia.
Credo AI julkaisi äskettäin hallintaan tarkoitetun MCP:n, joka on parhaillaan beetavaiheessa. Sen tarkoituksena on siirtää suojarajat jo kehitysprosessin alkupäähän ja antaa rakentajille mahdollisuus sisällyttää hallintalogiikka järjestelmän rakentamisvaiheessa sen sijaan, että se lisättäisiin jälkikäteen.
Suunta on oikea. Se, eteneekö käyttöönotto riittävän nopeasti, jotta sillä olisi merkitystä, on eri kysymys.
Vastuuvelvollisuutta koskeva kysymys
Garman kuvailee Amazonin tekoälymuutosta erityisen optimistisesti. Myyntitiimit käyttävät suurimman osan ajastaan asiakkaiden kanssa myyntiputken hallinnan sijaan, ohjelmistokehittäjät vapautuvat vuosien työjonoista, ja tuotteita julkaistaan nopeammin sekä herkemmin sen suhteen, mitä käyttäjät todella haluavat. Hyödyt ovat todellisia. Logiikka on järkevä.
Agenttipohjaisen käyttöönoton kokonaisuuteen sisältyy kuitenkin kysymys, johon hallintakehykset eivät ole antaneet selkeää vastausta. Kun tekoälyagentti tekee jotakuta vahingoittavan toimenpiteen, kuka on vastuussa?
Puheagentti, joka lopettaa puhelun väärällä hetkellä ja jättää apua tarvitsevan käyttäjän pulaan. Taloudellisia päätöksiä tekevä tekoäly, joka merkitsee jonkun virheellisesti ja vaikuttaa hänen mahdollisuuksiinsa saada luottoa. Henkilöstöhallinnon seulonta-agentti, joka asettaa hakijan toissijaiseen asemaan historiallista vinoumaa sisältävien kriteerien perusteella. Etuuksien hallinta-alusta, joka hylkää hakemuksen automaattisesti ilman minkäänlaista ihmisen tekemää tarkastusta ennen kuin päätös saavuttaa hakijan.
Jokaisessa tapauksessa agentti toimi. Jokaisessa tapauksessa ihminen käynnisti sen toiminnan. Jokaisessa tapauksessa päätöksen ja seurausten välinen ketju on pidempi ja hajautuneempi kuin mikään olemassa oleva hallintokehys suunniteltiin jäljittämään.
Singhin havainto odottamisesta ansaitsee vakavan huomion myös sen liiketoimintalogiikan ulkopuolella, jota hän esitti.
"Monet yritykset sanovat meille puhuessamme, että odotetaan jonkin välikohtauksen tapahtumista ja investoidaan sitten tekoälyn hallintaan, jos sitä tarvitaan", hän sanoi. "Siihen mennessä ne ovat merkityksettömiä."
Tämä on kilpailuun liittyvä argumentti. On olemassa myös vaikeampi kysymys. Kun agenttipohjainen tekoäly siirtyy etuuksien hallintaan, suoritusten arviointiin, työvoimasuunnitteluun, asiakasrahoitukseen ja kliiniseen esitietojen keräämiseen, näiden päätösten kohteeksi joutuvilla ihmisillä on oikeutettu intressi siihen, miten päätökset tehdään ja kuka vastaa, kun ne ovat vääriä.
Tekoälyyn neuvonantajana mitoitetut hallintakehykset eivät riitä tekoälylle toimijana. Rakentajat tietävät tämän. He ottavat järjestelmiä silti käyttöön. Mahdollisuus sisällyttää vastuuvelvollisuus näihin järjestelmiin ennen kuin työnkulut järjestäytyvät niiden ympärille ei ole avoinna loputtomasti.
