Er Fable bare dyr hype?

Jeg har byttet ut Fable med Opus i hovedboten min. Jeg valgte Fable fordi den i teorien var best. Når jeg skulle jobbe med flere boter og ulike motorer, virket det rimelig å reservere den angivelig dyktigste modellen til hovedboten. Logikken var upåklagelig. Erfaringen var mindre overbevisende.

Jeg jobber parallelt med Opus, Sol og Fable. Og inntrykket mitt av sistnevnte har vært dårlig: Den virker svært dyktig, svarer med enorm selvsikkerhet, og når jeg ser på resultatet, finner jeg feil, forsinkelser og forglemmelser. I mine oppgaver har den etter min erfaring vært på nivå med Sol 5.1 eller dårligere. Derfor har jeg byttet den ut.

Spørsmålet i tittelen uttrykker den skuffelsen. Hvis jeg kjøper en forventning om noe enestående og ender opp med å kjempe med helt vanlige problemer, spør jeg meg hva jeg betaler for. Prisen kan være som på første klasse; jeg venter fortsatt på kofferten.

Selvsikkerhet gjør ikke jobben

Det som plager meg mest med Fable, er avstanden mellom inntrykket den gir, og det jeg faktisk får nytte av. Når noen virker som om de forstår alt, forventer man at den forståelsen viser seg etterpå. At oppdraget går fremover. At det viktige ikke blir borte. At resultatet svarer til bestillingen.

En selvsikker tone gjør det fristende å senke garden. Jeg vil gjøre det motsatte: se på leveransen. Selvsikkerheten i måten en modell snakker på, er en del av samtalen; kvaliteten ligger i det jeg kan bruke når den er ferdig. Å forveksle de to blir dyrt, selv om svaret er glimrende skrevet.

Jeg trenger ikke en KI som vinner en diskusjon med meg om hvor dyktig den er. Jeg trenger at den gjør jobben ordentlig. Og hvis den må korrigeres, må korrigeringen vise seg i resultatet. Brukerens tålmodighet bør heller ikke stå på listen over systemets ubegrensede ressurser.

I et arbeidsverktøy teller forglemmelser og forsinkelser. Et glimt av briljans kan imponere stort, men tillit må bygges over tid. Jeg foretrekker en hjelper som leverer jevnt, fremfor en som får meg til å lure på hvor mye av briljansen som overlever helt frem til leveransen.

Prisen må kunne forsvares

Det er en konkret prisforskjell. Anthropic, som står bak begge modellene, tar i sin ordinære API-prising 10 dollar per million inndatatokener og 50 per million utdatatokener med Fable 5.1; for Opus 5.5 er prisene 4 og 20. Dette er volumpriser, ikke sluttprisen for et oppdrag eller prisen på et abonnement. Anthropics offisielle priser.

Det kan være svært fornuftig å betale mer. Hvis et verktøy løser noe de andre ikke får til, eller hjelper meg å fullføre et viktig arbeid bedre, kan prisforskjellen være vel anvendte penger. Det jeg har vanskelig for å godta, er å betale for en overlegenhet jeg ikke klarer å se i mine egne oppgaver.

Tiden jeg bruker på å kontrollere arbeidet, teller også. Hvis et svar tvinger meg til å gå gjennom oppdraget på nytt, minne om det som manglet, eller vente på en ny runde, stopper ikke kostnaden ved tokenene. Oppmerksomheten min har verdi. Modellen som virker billigst, kan bli dyr; den dyreste har enda mer å bevise.

Fable kan godt være glimrende til andre oppgaver, inkludert lange resonnementer, men i mine har den ikke gjort seg fortjent til plassen jeg ga den.

Det er nok til å endre et valg i arbeidshverdagen. Man trenger ikke å arrangere en folkeavstemning om kunstig intelligens hver gang et verktøy slutter å lønne seg. Jeg er heller ikke forpliktet til å fortsette å bruke det for å bevise at jeg evner å verdsette dets storhet.

Selv produsenten anbefaler å begynne med en annen

Selv dokumentasjonen for Fable 5.1 anbefaler å starte med Opus 5.5 for de fleste arbeidsoppgaver og bruke Fable når behovene er særlig krevende, eller når egne evalueringer med Opus ikke gir gode nok resultater. Det synes jeg er et langt nyttigere råd enn å jakte på en førsteplass. Den offisielle veiledningen til Fable 5.1.

Den beste modellen i en tabell er ikke nødvendigvis den beste for ditt arbeid. Tabellen gjenspeiler testene den bygger på; arbeidsdagen stiller andre spørsmål. Ble oppdraget fullført? Ble instruksjonene fulgt? Hvor mye gjenstår å rette opp? Spørsmålene er lite spektakulære i en presentasjon, men ganske viktige når du vil lukke datamaskinen.

Jeg har allerede fortalt om erfaringene mine med Claude Opus 5.5 og GPT-6.1 Sol i virkelige prosjekter. Her er det den ekstra forventningen jeg hadde til Fable, som opptar meg: troen på at det å velge modellen som angivelig kunne mest, ville spare meg for problemene jeg allerede kjente. Min erfaring har vært en annen.

En rangering kan hjelpe meg å velge hva jeg skal prøve. Plassen i arbeidshverdagen min må modellen gjøre seg fortjent til etterpå. Hvis jeg beholder en modell på grunn av ryktet mens leveransene skuffer meg, forsvarer jeg kjøpet mitt i stedet for å vurdere verktøyet.

La den gjøre seg fortjent til plassen

Mitt råd er å prøve med oppgaver som faktisk betyr noe i arbeidshverdagen din. Et oppdrag du kjenner igjen, med et resultat du kan vurdere. Deretter går du gjennom leveransen og regner med både korrigeringene og ventetiden. Det første svaret kan forføre; det du trenger å vite, er om du får nytte av arbeidet.

Det er lurt å bestemme på forhånd hva du vil regne som godt nok. Hvis du endrer kriteriene hver gang favoritten snubler, finner du alltid en forklaring som lar deg beholde den. Og hvis en enklere modell gjør jobben, får du ingen premie for å fortsette å betale for den dyreste. Heller ikke for å bli dens forsvarsadvokat.

Er Fable bare dyr hype? For meg har det dyre vært å forvente en forskjell jeg ikke har funnet i mine oppgaver. Jeg tillegger verken produktet eller produsenten noen hensikt om å lure noen. Det jeg bebreider meg selv, er å ha festet for stor lit til løftet om hva den var i stand til før jeg krevde resultater.

Derfor har jeg tatt den ut av hovedboten min. Hvis den gjør seg fortjent til plassen igjen gjennom nyttig arbeid, kan den komme tilbake. Inntil videre foretrekker jeg en KI som er mindre skråsikker og gir meg færre ting å rette opp.