Smarte høyttalere kan bli hakket av lyd, si forskere ute for å stoppe det

Hva om vi fortalte deg at en hacker kunne gi din Amazon Echo en kommando uten at du selv merket - eller til og med å ha hacking som vi normalt tenker på det?

Moustafa Alzantot, en datavitenskap Ph.D. kandidat ved University of California, sier Los Angeles at det er teoretisk mulig for en ondsinnet skuespiller å sende en bestemt lyd eller et signal som vanligvis vil gå helt ubemerket av mennesker, men føre til at A.Is dype læringalgoritmer falter.

"Et eksempel på et angrep ville være å kontrollere hjemmeenheten din uten at du vet hva som skjer", forteller Alzantot Omvendt. "Hvis du spiller litt musikk på radioen og du har et ekko som sitter i rommet ditt. Hvis en ondsinnet skuespiller er i stand til å kringkaste et utformet lyd- eller musikksignal slik at ekkoet tolker det som en kommando, vil dette tillate angriperen å si, låse opp en dør eller kjøpe noe."

Det er et angrep kjent som et motsigende eksempel, og det er det Alzantot og resten av teamet tar sikte på å stoppe, som beskrevet i deres papir som nylig ble presentert på NIPS 2017 Machine Deception-verkstedet.

A.I. er ikke annerledes enn den menneskelige intelligensen som skapte den i utgangspunktet: Den har sine feil. Datavitenskapsforskere har funnet ut måter å fullstendig lure disse systemene på, ved å endre piksler i et bilde litt eller legge svake lyder til lydfiler. Disse minutt tweaks er helt uoppdagelig av mennesker, men endrer helt hva en A.I. hører eller ser.

"Disse algoritmer er utformet for å forsøke å klassifisere det som ble sagt, slik at de kan handle på det, sier Mani Srivastava, en datavitenskapsmann ved UCLA, forteller Omvendt. "Vi prøver å undergrave prosessen ved å manipulere inngangen på en måte som et menneske i nærheten hører" nei ", men maskinen hører" ja ". Så du kan tvinge algoritmen til å tolke kommandoen annerledes enn hva som ble sagt."

De vanligste adversarielle eksemplene er de som knytter seg til bildeklassifikasjonsalgoritmer, eller justerer et bilde av en hund som er så liten for å gjøre A.I. tror det er noe helt annet. Alzantot og Srivastavas forskning har påpekt at talegjenkjenningsalgoritmer også er utsatt for disse typer angrep.

I papiret brukte gruppen et standard tale klassifikasjonssystem som finnes i Googles åpen kildebibliotek, TensorFlow. Deres system hadde til oppgave å klassifisere kommandoer med ett ord, så det ville lytte til en lydfil og prøve å merke det ved ordet som ble sagt i filen.

De kodet deretter en annen algoritme for å prøve å lure TensorFlow-systemet ved hjelp av motsatte eksempler. Dette systemet var i stand til å lure taleklassifikasjonen A.I. 87 prosent av tiden bruker det som er kjent som et svart boksangrep, hvor algoritmen ikke engang trenger å vite noe om utformingen av hva den angriper.

"Det er to måter å montere slike angrep på," forklarer Srivastava. "En er når, jeg som motstanderen vet alt om mottaksystemet, så jeg kan nå utarbeide en strategi for å utnytte den kunnskapen, dette er et hvitt boksangrep. Vår algoritme krever ikke å kjenne arkitekturen til offermodellen, noe som gjør det til et svart boksangrep."

Klart svarte boksangrep er mindre effektive, men de er også det som mest sannsynlig vil bli brukt i et virkelighetsangrep. UCLA-gruppen var i stand til å oppnå en så høy suksessrate på 87 prosent, selv når de ikke skreddersyr sitt angrep for å utnytte svakheter i modellene sine. Et hvitt boksangrep ville være enda mer effektivt ved å rote med denne typen A.I. Imidlertid er virtuelle assistenter som Amazonas Alexa ikke de eneste tingene som kan utnyttes ved hjelp av adversarielle eksempler.

"Maskiner som er avhengige av å gjøre en form for innledning fra lyd, kan bli lurt," sa Srivastava. "Amazon-ekko og så er selvsagt et eksempel, men det er mange andre ting der lyden brukes til å lage inferences om verden. Du har sensorer knyttet til alarmsystemer som tar inn lyd."

Realiseringen av at kunstige intelligenssystemer som tar i lyd-signaler, er også utsatt for motsatte eksempler, er et skritt videre for å realisere hvor kraftige disse angrepene er. Mens gruppen ikke var i stand til å trekke av et kringkastet angrep som den ene Alzantot beskrev, vil deres fremtidige arbeid dreie seg om å se hvor mulig det er.

Mens denne undersøkelsen bare testet begrensede talekommandoer og angrepssformer, fremhevet den en mulig ærbarhet i en stor del av forbrukerteknologi. Dette fungerer som en stepping stone for videre forskning for å forsvare seg mot motsatte eksempler og undervisning A.I. hvordan å fortelle dem fra hverandre.