Hvem er i den andre enden? KI kan allerede fremstå som et menneske og kopiere en stemme

Se for deg dette. Datteren din ringer deg direkte. Du kjenner igjen stemmen hennes. Hun er nervøs, har et problem og trenger at du overfører penger. Du snakker med henne, spør hva som har skjedd, og hun svarer. Alt ser ut til å stemme.

Hvilke bevis ville du trenge for å tro at det er henne?

Lenge har det å høre en kjent stemme vært nok til å fjerne tvil. I dag har vi grunner til å kreve mer. Det finnes systemer som kan skape samtaler som virker menneskelige, og verktøy som kan lage tale som ligner en bestemt persons stemme, ut fra et kort opptak.[7][3][4]

Under arbeidet med denne artikkelen har jeg prøvd gratisalternativer for stemmekloning som er tilgjengelige i dag. Resultatene er ganske gode. Og nettopp derfor synes jeg de er bekymringsfulle.

En samtale kan bygge tillit. En stemme kan styrke den. Tidspress kan få oss til å handle før vi sjekker hvem som ber om hva.

Bedraget må vare lenge nok til å få noen til å ta en beslutning. En pengeoverføring. Et passord. Et dokument du aldri burde ha sendt.

Ferrari: Ett spørsmål avbrøt bedraget

I juli 2024 mottok en leder i Ferrari WhatsApp-meldinger fra noen som utga seg for å være Benedetto Vigna, selskapets administrerende direktør. Meldingene handlet om et konfidensielt oppkjøp, ba om diskresjon og varslet dokumenter som lederen skulle signere. Så kom en telefon. Ifølge Bloombergs omtale, gjengitt av The Spokesman-Review, etterlignet stemmen til og med Vignas sør-italienske aksent.[11]

Den angivelige sjefen forklarte at han brukte en annen telefon, og ba om hjelp med en transaksjon for å sikre mot valutarisiko. Lederen begynte å ane uråd. Forespørselen virket merkelig, og han la merke til små mekaniske tonefall. Så stilte han et spørsmål: Hvilken bok hadde Vigna anbefalt ham noen dager tidligere? Samtalen ble brutt.[11]

Lederen sluttet å godta stemmen som identifikasjon og ba om en ekstra bekreftelse. Der endte forsøket.

Arup: Videosamtalen som endte med femten overføringer

I en annen sak i 2024 fikk en ansatt i økonomiavdelingen til Arup i Hongkong en forespørsel om å gjennomføre en hemmelig transaksjon. Først var han mistenksom. Så deltok han i en videosamtale der han mente å kjenne igjen finansdirektøren og andre kolleger. Ansiktene og stemmene deres fikk ham til å legge tvilen til side, ifølge politiets redegjørelse gjengitt av CNN.[12]

Den ansatte gjennomførte femten overføringer på til sammen 200 millioner Hongkong-dollar, rundt 25,6 millioner amerikanske dollar. Arup bekreftet overfor CNN at selskapet var blitt utsatt for svindelen, og at falske stemmer og bilder var blitt brukt.[12]

Her hadde den falske identiteten selskap. Møtet så ut til å gi flere bekreftelser: sjefen, kollegene, ansiktene deres, stemmene deres. Men alle var del av den samme iscenesettelsen.

Disse to sakene forklarer hvorfor det jeg har prøvd, bekymrer meg. Hos Ferrari stanset kontrollen forsøket. Hos Arup var det nok å kjenne igjen dem som dukket opp på skjermen, til at en mistanke endte i et milliontap.

Fem minutter til å fremstå som et menneske

Cameron Jones og Benjamin Bergen, forskere ved University of California San Diego, testet noe helt konkret: om deltakerne kunne skille en KI fra et menneske i en skriftlig samtale. I to randomiserte og forhåndsregistrerte eksperimenter førte hver bedømmer to samtaler på fem minutter samtidig: én med et annet menneske og én med et kunstig system. Deretter valgte de hvem de trodde var mennesket.[7]

Når GPT-4.5 fikk beskjed om å innta en menneskelig personlighet, valgte bedømmerne modellen som mennesket 73 % av gangene. Under den betingelsen tok de oftere feil ved å velge maskinen enn de klarte å identifisere det virkelige mennesket.[7]

I løpet av fem minutter med skriftlig samtale klarte maskinen å fremstå som mer menneskelig enn mennesket. Naturlig språk er ikke lenger et bevis på at det sitter et menneske bak teksten.

Hvis vi forventer å avsløre en bot gjennom dårlig språk, stive formuleringer eller manglende forståelse av en vits, bruker vi et kriterium som kan svikte. Resultatet av eksperimentet gjør at vi må ta den muligheten på alvor.

Å overbevise deg er en annen evne

En maskin kan fremstå som et menneske uten å overbevise deg om noe som helst. Og den kan overbevise deg selv om du vet godt at den er en maskin.

Francesco Salvi og kollegene hans undersøkte overtalelse i debatter med 900 deltakere. De sammenlignet menneskelige samtalepartnere og GPT-4, med og uten tilgang til sosiodemografiske opplysninger om personen de debatterte med. De målte hvor enig deltakeren var i et standpunkt før og etter samtalen.[1]

I sammenligningene der resultatet ikke var uavgjort, var GPT-4 med personopplysninger mer overbevisende enn mennesker 64,4 % av gangene. Målet var endringen i enighet med et standpunkt etter debatten.[1]

En senere rettelse opprettholder fordelen sammenlignet med den menneskelige referansen, mens forskjellen mellom GPT-4 med og uten persontilpasning fortsatt er uavklart.[6]

For den som deltar i en chat, er den praktiske konsekvensen enkel: Et godt argument fortjener å bli undersøkt. Identiteten til den som fremfører det, trenger en egen kontroll.

Når erfaringen du blir fortalt om, er oppdiktet

Saken fra Universitetet i Zürich tilfører en annen dimensjon. Ifølge The Decoders rekonstruksjon, basert på prosjektdokumenter og kommentarer offentliggjort av moderatorene, tok forskere i bruk kontoer med KI-genererte svar på Reddit-forumet r/ChangeMyView uten å informere brukerne.[8]

Forskergruppen publiserte 1 783 kommentarer og fikk 137 «deltaer»: anerkjennelsen en bruker gir når et innlegg endrer eller i vesentlig grad utfordrer brukerens standpunkt. Noen kontoer brukte oppdiktede identiteter og personlige erfaringer for å gi argumentene troverdighet eller følelsesmessig tyngde. Forskerne kunngjorde til slutt at de ikke ville publisere studien.[8]

Troverdigheten til disse kontoene bygde delvis på liv ingen hadde levd.

«Dette skjedde med meg» er ingen hvilken som helst setning. Den ber deg tillegge den som snakker, en erfaring. «Jeg jobber med ofre» ber deg anerkjenne en kompetanse. Hvis disse livshistoriene er falske, er det et bedrag selv om argumentet inneholder riktige fakta.

Det er forskjell på å hjelpe noen med å skrive bedre og å dikte opp personen som angivelig skriver.

Stemmen din kan også slutte å være et bevis

Jeg ville prøve den andre delen av problemet selv. Til denne artikkelen har jeg brukt gratisalternativer for stemmekloning, og jeg synes resultatet er ganske godt. Godt nok til at jeg tar muligheten for å lure noen svært alvorlig.

Det tekniske grunnlaget har vært offentlig kjent en stund. I mars 2024 presenterte OpenAI Voice Engine, som laget tale som lignet en persons stemme, med en lydprøve på femten sekunder, i en utprøving med begrenset tilgang.[3]

Microsoft hadde vist persontilpasset talesyntese med VALL-E basert på tre sekunder med referanselyd. Selskapets egen dokumentasjon advarer om at likhet og naturlighet avhenger av blant annet kvaliteten og lengden på lydopptaket og bakgrunnsstøy.[4]

I dag finnes det også åpne modeller som VoxCPM2: Kode og modellvekter er publisert under Apache 2.0-lisensen, og modellen tilbyr kloning fra en kort lydprøve. Den kan kjøres på en kompatibel datamaskin uten å betale en leverandør for hver generering.[9]

Tenk på hvordan resultatet kan brukes: et kort lydklipp, en telefon, en hasteforespørsel. Stemmen kommer med en historie og en grunn til å handle raskt.

«Jeg ville ha merket det» er ikke en tilstrekkelig kontroll

Kimberly Mai og kollegene hennes presenterte ekte og syntetiske stemmer for 529 deltakere, på engelsk og mandarin. Når lydopptakene ble vurdert hver for seg, identifiserte lytterne 73 % av de falske opptakene riktig. Å gjøre dem kjent med eksempler på forhånd ga bare en liten forbedring.[2]

Oppgaven var å klassifisere opptak, og deltakerne gjorde det bedre når de kunne sammenligne dem parvis.[2] I en hverdagssamtale hører vi lyden som del av en historie, med våre egne forventninger og bekymringer. Jeg ville ikke basert sikkerheten ved en betaling på min evne til å avsløre en falsk stemme.

Derfor ville jeg ikke latt sikkerheten avhenge av at jeg oppdager et merkelig åndedrag, et kunstig tonefall eller en liten feil. Slike tegn kan vekke mistanke. Uten dem er opptakets ekthet fortsatt uavklart.

Historien du blir fortalt, kan bety like mye som stemmen

Et preprint fra Fred Heiding og kollegene hans undersøker KI-basert telefonsvindel mer direkte. Den eksperimentelle spørreundersøkelsen omfattet 4 100 voksne amerikanere, som ble presentert for opptak eller transkripsjoner av ulike svindelscenarioer, og ble supplert med intervjuer.[5]

På tvers av scenarioene svarte 16,5 % at de ville etterkomme forespørselen, eller uttrykte tvil. I kategorien med et familiemedlem i nød var andelen omtrent 36 %. Undersøkelsen målte vilje til å etterkomme forespørselen, og tok også med svar som uttrykte tvil.[5]

Forfatterne identifiserte samtalepartnerens overtalelsesevne som den sterkeste prediktoren for å etterkomme forespørselen.[5]

Vi kan bli så opptatt av om stemmen høres helt lik ut, at vi glemmer hva vi blir bedt om å gjøre, hvorfor det må skje nå, og hvilke muligheter vi har til å sjekke det.

Lyden er én del. Forespørselen, sammenhengen og presset er de andre.

I en chat kan også en folkemengde være iscenesatt

Ved siden av penger handler dette også om meningsdannelse. En profil som fremstår som et menneske, kan delta i en diskusjon. Flere profiler kan skape inntrykk av enighet, avvisning eller en felles erfaring. Vi kan møte en iscenesatt samtale som vi tolker som en spontan reaksjon.

Forholdsregelen jeg foreslår, er å skille det tilsynelatende antallet stemmer fra kvaliteten på bevisene. Ti kontoer som gjentar en anklage, er ikke ti uavhengige bekreftelser. En rørende livshistorie erstatter ikke en kilde. Et gjennomarbeidet svar gjør heller ikke en påstand til et faktum.

Det gjelder selv om alle kontoene tilhører mennesker. KI gir oss enda en grunn til å holde fast ved det kriteriet.

Kontrollen må skje utenfor iscenesettelsen

Regelen jeg vil huske, er denne: Å kjenne igjen en stemme er ikke det samme som å bekrefte en identitet. Og en bekreftet identitet gir ikke fullmakt til enhver forespørsel.

Min praktiske konklusjon er å slutte å be den samme meldingen om å bevise sin egen ekthet.

Hvis du får en hastetelefon, legg på og ring tilbake til nummeret du allerede hadde lagret. Hvis alt kommer gjennom en chat – meldinger, lydklipp eller en videosamtale – kontroller forespørselen utenfor den tråden før du handler.

• Gå tilbake til kontakten du kjente fra før. Ring nummeret du hadde lagret, ikke det som nettopp har dukket opp, eller det du får i den mistenkelige meldingen.
• Skill hastverk fra godkjenning. En nødssituasjon kan kreve rask handling, men gjør ikke i seg selv forespørselen ekte. Sjekk med et annet familiemedlem, en ansvarlig eller en kontakt du vanligvis bruker.
• I en bedrift må rutinene følges. Et lydklipp som angivelig kommer fra direktøren, bør ikke være nok til å endre en bankkonto, beordre en betaling eller utlevere fortrolig informasjon. Bruk den interne kontrollkanalen og de godkjenningene som kreves.
• Ikke behandle personopplysninger som et passord. At noen vet navnet ditt, hvor du jobber eller noe du har fortalt offentlig, bekrefter ikke at de har en relasjon til deg.
• Hvis du allerede har sendt penger eller informasjon, handle. Kontakt banken eller den ansvarlige for den berørte tjenesten umiddelbart, ta vare på meldingene og meld fra til relevante myndigheter.

Nyttig KI trenger ingen falsk identitet

En syntetisk stemme kan hjelpe oss å kommunisere. KI kan oversette, forklare, skrive eller forberede et argument som et menneske deretter gjennomgår og tar ansvar for. For å bli hørt trenger vi ikke å dikte opp et offer, et familiemedlem eller en fagperson.

Jeg vil ikke gi avkall på verktøyene vi bruker til å bygge nyttige ting. Jeg vil vite hvem som står ansvarlig for det jeg mottar, og hvilke bevis jeg har før jeg handler.

Vi vil få stadig færre grunner til å godta «høres menneskelig ut» som en kontroll. Og flere grunner til å stille et konkret spørsmål:

Hvordan vet jeg at det er deg?

Utgangspunkt og kilder

Utgangspunktet var en video fra Lógica Globalizada om kunstige identiteter og tillit på internett.[10] Arbeidene til Jones og Bergen, Salvi og kollegene hans og Mai og kollegene hennes lar oss undersøke det å fremstå som et menneske, overtalelse og gjenkjenning av syntetiske stemmer hver for seg. Zürich-saken er omtalt gjennom journalistisk dekning av en upublisert studie. Arbeidet til Heiding og kollegene hans er tilgjengelig som preprint. Testene med gratisalternativer for stemmekloning er forfatterens personlige erfaring.