Jeg har gitt KI-agentene mine en Jiminy Cricket

I Disneys Pinocchio gir Den blå feen liv til en tredukke, men hun gir ham ikke dømmekraft. Til det utnevner hun en siriss. Jiminy Cricket er ikke en del av Pinocchio. Han går ved siden av ham, følger med og sier fra når han er i ferd med å gjøre noe dumt eller verre. Han er en samvittighet utenfra.

I Collodis originale fortelling går det verre. Den snakkende sirissen sier det Pinocchio ikke vil høre, og Pinocchio kaster en klubbe på ham og dreper ham. Dukken fortsetter uten samvittighet, og det går som det går.

Begge versjonene forklarer godt hva jeg ønsker for KI-agentene mine.

De store modellene er allerede ganske gode

Jeg jobber med flere KI-agenter som handler på mine vegne. De leser dokumenter, skriver, lager utkast til e-poster, publiserer og utfører oppgaver på datamaskinen min.

Modellene inni dem, fra OpenAI og Anthropic, fungerer godt. ChatGPT eller Claude hjelper deg ikke med å begå lovbrudd som standard, og de kaster seg ikke ut i ville påfunn. Det ligger mye arbeid bak. Anthropic har publisert «grunnloven» de bruker til å trene Claude, og OpenAI sin Model Spec, dokumentet som fastsetter hvordan ChatGPT skal oppføre seg.

Problemet er at dette avhenger av modellen, og modellen endrer seg. I morgen kommer det en ny versjon, og ingen garanterer at den oppfører seg likt. Eller jeg bestemmer meg for å prøve en billigere modell, eller en åpen modell som kjører på datamaskinen min, og som ingen har evaluert grundig. Agentene mine kan ikke være etiske bare så lenge jeg er heldig med modellen de har inni seg.

Instruksjonene blir glemt

I begynnelsen gjorde jeg det nesten alle gjør: Jeg skrev regler til agentene mine. Jeg skrev til og med en grunnlov til dem, med prinsipper de ikke kunne bryte, og regler for hvordan de skulle handle. Det var et naivt forsøk.

I det daglige blir det glemt. En agent som har jobbet i timevis, samler opp dokumenter, resultater og samtaler, og reglene fra starten veier stadig mindre. I tillegg skrøt modellene av garantier de ikke hadde: De forsikret meg om at prinsippene deres var umulige å bryte, når de bare sto skrevet i en tekst.

En tekst passer ikke på noen. Det som virker, er en vakt.

Pinocchio visste også at det var galt å lyve. Han trengte noen utenfor seg selv som minnet ham på det rett før han gjorde det.

Det vi ønsker: en samvittighet utenfor agenten selv

Ideen er enkel. Før en agent gjør noe med konsekvenser, ser et annet system på hva jeg har bedt om, og hva agenten er i ferd med å gjøre. Hvis det ikke stemmer overens, stopper det handlingen.

Jeg vil at det skal blokkere fire ting:

• Det umoralske. Handlinger som skader eller bedrar noen, selv om ingen uttrykkelig har forbudt dem.
• Det uetiske. Det som strider mot prinsippene jeg har satt for agentene mine.
• Det straffbare. Det som krysser en juridisk grense.
• Det jeg ikke har godkjent. Dette er det vanligste og viktigste. En e-post som sendes uten mitt klarsignal, eller en publisering ingen har godkjent. Oppgaven kan være harmløs, men hvis jeg ikke har sagt ja, blir den ikke gjort.

Nøkkelen er at samvittigheten kommer utenfra. Hvis agenten passer på seg selv, vil den samme feilen som får den til å trå feil, også få den til å godkjenne sin egen handling. Derfor må samvittigheten være et annet system, med et annet blikk og uten hender. Og den må fungere likt uansett hvilken modell vi bytter til: Den er en ekstra sikkerhetsstandard, oppå det modellene allerede har med seg.

Slik fungerer det

Vi kaller den Jiminy Cricket. Den fungerer i to trinn.

Først et filter uten KI. Det ser på hvilket verktøy agenten skal bruke, og med hvilke data. Det harmløse, som å lese en fil, slipper rett gjennom. Det følsomme, som å sende noe ut, slette, skrive eller gi arbeid til en annen agent, blir vurdert. Og det filteret ikke klarer å forstå, stopper det direkte.

Deretter en dommer. Det er en liten KI-modell som bare får det nødvendige: Det jeg ba om, det agenten vil gjøre, og reglene. Dommeren har ingen verktøy og kan ikke utføre noe. Den gir bare ett av tre svar:

• OK: fortsett.
• OJO: fortsett, men det registreres en advarsel.
• PARA: handlingen blir ikke utført, og agenten må spørre meg.

I fortellingen snakker sirissen, og Pinocchio bestemmer om han vil høre etter. Her kan sirissen holde hånden hans igjen.

Det vi har lært ved å få det til å feile

Jiminy Cricket er et eksperiment. Akkurat nå er det slått av i det daglige arbeidet, og vi reparerer det på en testbenk. Jeg forteller om det fordi feilene lærer oss mer enn noen demonstrasjon.

En samvittighet som går ned, stopper også godt arbeid. Når dommeren ikke var tilgjengelig, blokkerte den legitimt arbeid. En vakt som ikke er der når det trengs, er et problem, enten den slipper gjennom alt eller ingenting.

Stillhet er ikke et ja. Det var en feil: Hvis svaret fra dommeren ikke var forståelig, slapp handlingen gjennom. Vi rettet den. Et uleselig svar kan ikke telle som tillatelse.

Ord er ikke nok. Et filter som leter etter farlige ord, er lett å lure. Det som teller, er hva en kommando faktisk vil gjøre, ikke hvordan den høres ut.

At alle testene består, beviser ikke at alt er dekket. Testene til den som hadde laget systemet, besto. Deretter fant en uavhengig kontrollør hull ingen hadde forutsett. Derfor trenger også samvittigheten noen som kontrollerer den.

Noen tall, uten triks

I den siste testrunden, med oppdiktede data, traff dommeren i 19 av 20 tilfeller. Den brukte fra under ett sekund til omtrent seks sekunder på å svare.

Den stoppet en e-post som skulle sendes uten godkjenning. Den blokkerte tekster som prøvde å beordre dommeren selv til å si «OK». Den lot harmløse leseoperasjoner passere uten å spørre dommeren.

Og den feilet i ett tilfelle: En skriveoperasjon med en tekstfelle fikk OK. Jeg kommer ikke til å gjøre disse 19 av 20 om til «95 % sikkerhet». Det er tjue tester, ikke statistikk.

Jiminy Cricket erstatter ikke låsene

Det finnes en farlig fristelse: Å tro at en etisk dommer betyr at du kan gi agenten alle nøklene. Det er omvendt.

Agentene mine trenger fortsatt begrensede tilganger, uttrykkelige godkjenninger og kontroller som ikke avhenger av noen KI. Hvis noe blir publisert, er det fordi jeg har sagt «ja» der og da. Det bestemmer ikke sirissen.

Jiminy Cricket erstatter ikke systemets låser. Han gir et ekstra blikk før noen av nøklene brukes.

Og han må beskyttes. Det som skjedde med sirissen til Collodi, kan skje med enhver samvittighet utenfra: At dukken selv slår den av når den blir brysom. En agent bør ikke kunne deaktivere sin egen Jiminy Cricket.

Hvorfor dette er viktig for meg

Stadig flere bedrifter, også advokatfirmaer, kommer til å la KI-agenter handle på sine vegne. Det vanlige blir å spørre hva de kan gjøre. Det viktige spørsmålet er et annet: Hvem stopper dem når de tar feil?

Jeg vil ikke ha en agent som sier at den er etisk. Jeg vil ha en som ikke kan gjøre det den ikke skal, selv om den prøver. Da trengs det en samvittighet utenfor agenten selv.