Kontekstvinduet – den store tokenslukeren

Jeg jobber med boter hele dagen: Jeg kan ha alt fra én til femti i arbeid samtidig på ulike prosjekter. Infrastrukturen som gjør dette mulig, kaller jeg La Machina.

Jeg holder oversikt over hvor mange tokener hvert prosjekt og hver bot bruker. Da jeg studerte statistikken, dukket det opp et spørsmål: Hvis jeg lar en samtale med en bot bli veldig lang, ender hver melding da med å bruke mye mer?

Jeg skrev korte spørsmål. Men bak dem kunne det følge med en enorm ryggsekk.

Hva vi har i ryggsekken hver gang vi snakker med KI

Et token er en liten bit informasjon som KI behandler: Et langt ord som «grunnlovsstridighet» kan deles opp i flere biter.

Kontekstvinduet er kapasiteten i ryggsekken: hvor mye materiale KI kan ha for hånden mens den forbereder et svar.

I den er det plass til spørsmålet ditt, instruksjonene, dokumentene og deler av den tidligere samtalen. Appen bestemmer hva som tas med. Hvis den beholder hele historikken, kan hvert nytt spørsmål også bære vekten av alle de tidligere spørsmålene og svarene.

Eksempel: Du har brukt hele formiddagen på å planlegge en reise. Du spør «hva om vi tar toget?», og ryggsekken er fortsatt full av hoteller, flyreiser og forkastede planer.

Derfor kan det ligge en enorm mengde inndata bak et kort svar. KI trenger materialet tilgjengelig for å fortsette; det tidligere innholdet blir ikke gratis bare fordi det allerede står på skjermen. OpenAI forklarer dette i sin dokumentasjon om samtaler.

En modell med et kontekstvindu på 1 000 000 tokener (grovt regnet rundt 700 000 ord eller 2 000 sider) har en enorm ryggsekk. Men vi trenger ikke fylle den: Alt vi legger oppi, blir med videre ved hvert spørsmål og koster tokener. Og tokener koster penger.

Hvor tung er ryggsekken?

La oss sammenligne en samtale som beholder alt, med en som erstatter det tidligere innholdet med sammendrag. Arbeidet fortsetter, men lasten som følger med hver melding, endrer seg.

Illustrerende eksempel med nytt innhold og sammendrag av fast størrelse. Beregningen summerer det som sendes i alle forespørslene, også når det gjentas. Kostnaden bygger på Googles offisielle pris, uten hurtigbufferrabatt, svar eller arbeidet med å lage sammendrag. Den viser verken min regning eller prisen på et abonnement; hele beregningen finnes i de redaksjonelle notatene.

Overraskelsen ligger i gjentakelsen. Hver melding legger til mer last for de neste spørsmålene. Det kan bli dyrt å holde samtalen gående, selv om lengden på det vi skriver, knapt endrer seg.

Rask sammenligning

Hurtigbuffer, også kalt cache, er en snarvei som gjør at arbeid med gjentatt innhold kan gjenbrukes, slik at denne delen av ryggsekken prises lavere.

Disse tallene gjelder bestemte modeller brukt via et API, forbindelsen andre programmer bruker for å gi dem arbeidsoppgaver. Kolonnen om sammendrag gjelder chatappen. Den tilgjengelige kapasiteten kan variere med abonnementet.

Rabatten gjelder bare innholdet som kan gjenbrukes, ikke hele regningen. Det kan koste ekstra å klargjøre eller lagre det. «Ikke publisert» betyr ikke at appen ikke gjør det. Kapasitetene betyr heller ikke at all plassen er tilgjengelig for samtalen: Man må ta hensyn til hver modells grenser for svar.

Vil du forstå forskjellen mellom abonnementspris og forbruk, er den forklart i artikkelen om chatabonnement og API. For å forstå enhetene kan du lese artikkelen om tokener og reelle kostnader.

Lette på lasten uten å miste arbeidet

KI kan også miste tråden i det som ligger midt i en enorm ryggsekk, slik studien Lost in the Middle viste for modellene den undersøkte.

Sammendrag hjelper med å rydde, men kan utelate detaljer. Jeg ville beholdt originalene og sjekket at sammendraget tar med målet, beslutningene som er tatt, og det som gjenstår. Deretter ville jeg tatt det med inn i en ny samtale.

Eksempel: «Oppsummer det vi er blitt enige om, vilkårene vi må overholde, og neste steg.» Se gjennom resultatet før du fortsetter i en annen chat.

Det er den samme tanken som ligger bak å tilpasse KI-kapasiteten til arbeidet og velge riktig modell til hver oppgave.

Jeg vil at La Machina skal ha det nødvendige i hver ryggsekk. Og slippe å dra på unyttig vekt hver gang jeg stiller et spørsmål.