Kraftigere er ikke alltid bedre: hvordan dimensjonere KI når den blir en del av prosessene

Så lenge KI er et verktøy man bruker av og til, koster denne regelen nesten ingenting. Problemet oppstår når KI går fra å være en samtale til å inngå i en prosess: en oppgave som kjøres hundrevis eller tusenvis av ganger i måneden, uten at noen følger med på hver kjøring.

Da slutter valget av modell, og av det vi sender til den, å være en personlig preferanse. Det blir en beslutning om organisering, kostnader og, som vi skal se, også juss.

«For sikkerhets skyld»-skjevheten

På et advokatkontor setter ingen en partner til å åpne posten. Ikke fordi partneren ikke kan gjøre det, men fordi tiden er dyr og oppgaven ikke krever det. Posten sorteres av noen som skiller det som haster fra det rutinemessige, og bare det som krever skjønn, havner på partnerens bord.

Å fordele arbeidet etter hvor komplisert det er, handler ikke om gjerrighet; det er god organisering. Med KI glemmer vi gjerne dette fordi vi tar for gitt at en mer kapabel modell uansett vil gi et riktigere svar.

For avgrensede oppgaver holder denne antakelsen dårligere enn den kan se ut til. Å avgjøre om en e-post er en faktura, en kundehenvendelse eller reklame, krever ikke dyp resonnering. Det krever tydelige instrukser, gode eksempler og en måte å kontrollere resultatet på.

En liten modell med gode instrukser kan gjøre det like godt, raskere og til en brøkdel av prisen. Hvis oppgaven ikke trengte større kapasitet, tilfører den store modellen lite ekstra trygghet; det den tilfører, er ventetid og kostnader.

Det nyttige spørsmålet er derfor ikke hvilken modell som er best tilgjengelig, men hvilken kapasitet denne oppgaven trenger for å bli løst godt.

Hva en gjentakende oppgave koster

Tenk på en automatisering som sjekker e-posten hvert femte minutt. Det blir 288 kontroller per dag og 8 640 i en måned med tretti dager, selv om det ved de fleste kontrollene ikke har kommet noe relevant.

Gir det mening å aktivere en modell med maksimal kapasitet hver gang og gi den hele prosjekthistorikken? Sannsynligvis ikke. Den første operasjonen, å finne ut om det finnes nye meldinger, trenger ikke engang KI.

E-posttjenester lar oss allerede motta varsler eller hente bare endringene siden forrige kontroll, for eksempel gjennom pushvarsler fra Gmail eller inkrementelle spørringer i Microsoft Graph. Dette er vanlig programvare: rimelig, rask og forutsigbar.

Den første besparelsen kommer før vi velger modell. Den består i å la være å kalle en modell når det ikke trengs.

Kontekst koster også penger

Det finnes en vanlig misforståelse om kontekstvinduet. At en modell støtter én million tokener, betyr ikke at den bruker én million ved hvert kall: Det faktureres for det som faktisk sendes til den.

Problemet oppstår når automatiseringen ved hver kjøring sender instruksene, verktøyene, hele historikken og de tidligere dokumentene på nytt. Da trekker en liten oppgave med seg en enorm mengde inndata.

Å lagre samtalen på leverandørens server hindrer heller ikke nødvendigvis dette. I OpenAIs API bevarer kjeding av svar med previous_response_id sammenhengen, men tidligere tokener i kjeden telles fortsatt som inndata, ifølge selskapets dokumentasjon om samtaletilstand.

Et hypotetisk eksempel viser størrelsesforskjellen:

Dette er mengder av inndata, ikke fakturaer. Sluttkostnaden avhenger av leverandøren, modellen, svarene som genereres, og hurtigbufferen.

Hurtigbufring gjør de delene av konteksten som gjentas identisk i begynnelsen av hvert kall, billigere. Om den kan utnyttes, avhenger imidlertid av vilkårene hver leverandør fastsetter, som at innholdet i begynnelsen er nøyaktig likt, eller at det ikke går for lang tid mellom kallene (OpenAIs dokumentasjon om hurtigbufring).

Og mer kontekst garanterer ikke et bedre svar. Modellene utnytter ikke all informasjonen de mottar, like godt: Informasjon som er plassert midt i lange kontekster, har en tendens til å bli brukt dårligere (Liu mfl., «Lost in the Middle»). Å sende alt «for sikkerhets skyld» kan gjøre oppgaven dyrere og samtidig mindre pålitelig.

Også et juridisk spørsmål

For oss som arbeider med klientopplysninger, er dimensjonering av konteksten ikke bare et spørsmål om effektivitet. Artikkel 5 nr. 1 bokstav c i personvernforordningen krever at personopplysninger er adekvate, relevante og begrenset til det som er nødvendig for formålet med behandlingen. Artikkel 25 krever at denne begrensningen bygges inn gjennom innebygd personvern og personvern som standardinnstilling.

En automatisering som sender hele historikken i en sak til en ekstern leverandør hvert femte minutt, når den nye meldingen og noen få referanser ville vært nok, behandler langt flere opplysninger enn nødvendig.

For advokater utvider dessuten hver opplysning som unødvendig forlater kontoret, området der vi må sikre taushetsplikten. Et tilpasset design er også enklere å begrunne.

Her blir en lokal modell særlig relevant. Hvis klassifiseringen skjer på advokatkontorets egen infrastruktur, går ikke opplysningene til en ekstern leverandør i denne fasen. Bare det som virkelig trenger en større modell, går videre til tredjeparter.

Slik ville jeg utformet det

For e-post kan prosessen deles inn i trinn, slik arbeidet fordeles på et advokatkontor. Først oppdager vanlig programvare nye meldinger. Deretter klassifiserer en liten modell, helst lokal (som ikke sender opplysninger ut), meldingene og trekker ut det vesentlige.

Bare tvetydige eller kompliserte tilfeller sendes videre til en mer kapabel modell. Og sensitive beslutninger, som å godta vilkår, påta seg økonomiske forpliktelser eller svare en klient i bestemte saker, går fortsatt gjennom et menneske.

Systemet bør dessuten føre en tilstandslogg: hvilke meldinger det har behandlet, hva det har konkludert med, og hva som gjenstår. Med denne loggen og noen få relevante dokumenter kan de fleste oppgaver fortsette uten å gjenskape hele samtalen. Det er det en god saksmappe gjør: Ingen leser hele saken på nytt for å arkivere et nytt dokument.

Ingenting av dette fritar oss fra å teste. Å velge en liten modell er en hypotese som må prøves mot virkelige tilfeller. En billig klassifisering som krever at alle resultatene gjennomgås, blir dyr til slutt, mens en kraftigere modell kan forsvare prisen hvis den hindrer vesentlige feil.

OpenAIs egen veiledning om kostnadsoptimalisering foreslår mindre modeller så lenge de opprettholder nødvendig nøyaktighet. Målet jeg er opptatt av, er ikke prisen per kall, men hva det koster å få et korrekt og akseptert resultat, inkludert nye forsøk, rettelser og tid til menneskelig gjennomgang.

Å vite når mindre er nok

Etter hvert som prosjektene og automatiseringene blir flere, slutter denne disiplinen å være valgfri. Noen oppgaver fortjener den beste tilgjengelige modellen og all konteksten vi kan gi den. Andre løses med en lett modell og noen få linjer, og noen trenger ikke KI i det hele tatt.

Å alltid bruke den kraftigste modellen virker forsiktig, men det er forsiktigheten til den som ikke har målt. Moden bruk av KI handler også om å vite når mindre er nok.