Deepfakes er ingen match for maskinlæring - her er hvorfor

En ny form for feilinformasjon er klar til å spre seg gjennom nettbaserte fellesskap som 2018 midtveisvalgskampanjer oppvarmes. Kalt "deepfakes" etter den pseudonymiske online-kontoen som populariserte teknikken - som kanskje har valgt navnet fordi prosessen bruker en teknisk metode kalt "dyp læring" - disse falske videoene ser veldig realistiske ut.

Så langt har folk brukt dype videoer i pornografi og satir for å få det til å se at kjente mennesker gjør ting de ikke ville normalt. Men det er nesten sikkert at deepfakes vil vises i løpet av kampanjesesongen, som viser at kandidater sier ting eller går steder den virkelige kandidaten ikke ville.

Fordi disse teknikkene er så nye, har folk problemer med å fortelle forskjellen mellom ekte videoer og deepfake-videoene. Mitt arbeid, med min kollega Ming-Ching Chang og vår Ph.D. student Yuezun Li, har funnet en måte å pålitelig fortelle ekte videoer fra deepfake videoer. Det er ikke en permanent løsning, fordi teknologien vil bli bedre. Men det er en start, og tilbyr håp om at datamaskiner vil kunne hjelpe folk å fortelle sannheten fra fiksjon.

Hva er en "Deepfake", uansett?

Å lage en dyp video er mye som å oversette mellom språk. Tjenester som Google Translate bruker maskinlæring - dataanalyse av titusenvis av tekster på flere språk - for å oppdage tekstbruksmønstre som de bruker til å opprette oversettelsen.

Deepfake-algoritmer fungerer på samme måte: De bruker en type maskinlæringssystem kalt et dypt nevralt nettverk for å undersøke ansiktsbevegelsene til en person. Da syntetiserer de bilder av andres ansikt som gjør analoge bevegelser. Å gjøre så effektivt skaper en video av målpersonen som synes å gjøre eller si ting kildemannen gjorde.

Før de kan fungere ordentlig, trenger dype nevrale nettverk mye kildedata, for eksempel bilder av personer som er kilden eller målet for etterligning. Jo flere bilder som brukes til å trene en deepfake-algoritme, desto mer realistiske blir den digitale imitasjonen.

Registrering av blinking

Det er fortsatt feil i denne nye typen algoritme. En av dem har å gjøre med hvordan de simulerte ansiktene blinker - eller ikke. Helse voksne mennesker blinker et sted mellom hver to og ti sekunder, og en enkelt blink tar mellom en tiende og fire tiendedeler av et sekund. Det er det som ville være normalt å se i en video av en person som snakker. Men det er ikke det som skjer i mange deepfake-videoer.

Når en deepfake-algoritme er utdannet på ansiktsbilder av en person, er det avhengig av bildene som er tilgjengelige på internett som kan brukes som treningsdata. Selv for folk som fotograferes ofte, er det få bilder tilgjengelig som viser øynene deres. Ikke bare er bildene sånn sjeldne - fordi folks øyne er åpne mesteparten av tiden - men fotografene publiserer vanligvis ikke bilder der hovedfagets øyne er stengt.

Uten å trene bilder av folk som blinker, er dypfagalgoritmer mindre sannsynlig å skape ansikter som blinker normalt.Når vi beregner den totale hastigheten på blinking og sammenligner det med det naturlige området, fant vi ut at tegn i dybfaglige videoer blinker mye sjeldnere i forhold til ekte mennesker. Vår forskning bruker maskinlæring for å undersøke øyeåpning og lukking i videoer.

Se også: Hollywood vil ikke kaste asiatisk-amerikanske stjerner, men A.I. Maskinlæring kan

Dette gir oss en inspirasjon til å oppdage dypfake videoer. Deretter utvikler vi en metode for å oppdage når personen i videoen blinker. For å være mer spesifikk skanner den hver ramme av en aktuell video, oppdager ansiktene i den og lokaliserer deretter øynene automatisk. Den bruker deretter et annet dypt neuralt nettverk for å avgjøre om det oppdagede øyet er åpent eller lukket, med øyets utseende, geometriske egenskaper og bevegelse.

Vi vet at vårt arbeid utnytter en feil i den typen data som er tilgjengelig for å trene dypfagalgoritmer. For å unngå å falle bytte til en lignende feil har vi trent vårt system på et stort bibliotek med bilder av både åpne og lukkede øyne. Denne metoden ser ut til å fungere bra, og som et resultat har vi oppnådd en detekteringshastighet på over 95 prosent.

Dette er ikke det siste ordet om å oppdage deepfakes, selvfølgelig. Teknologien forbedrer seg raskt, og konkurransen mellom å generere og oppdage falske videoer er analog med et sjakkspill. Spesielt kan blinking legges til dybfaglige videoer ved å inkludere ansiktsbilder med lukkede øyne eller bruke videosekvenser for trening. Folk som ønsker å forvirre offentligheten, blir bedre til å lage falske videoer - og vi og andre i teknologilivet må fortsette å finne måter å oppdage dem på.

Denne artikkelen ble opprinnelig publisert på The Conversation av Siwei Lyu. Les den opprinnelige artikkelen her.