Brain-Computer Interface kan oversette tanker til tale

Neuroengineers har laget et nytt system som kan oversette enkle tanker til gjenkjennelig tale, ved hjelp av kunstig intelligens og tale synthesizer, ifølge en studie publisert tirsdag.

Et team av New York-baserte forskere var i stand til å rekonstruere ord som bare brukte hjerneaktivitet, en innovasjon som kunne bane vei for hjernekontrollerte teknologier som for eksempel en smarttelefon som kan oversette tankene dine til tekstmeldinger.

Dr. Nima Mesgarani, en lektor ved Columbia University, ledet studien og forteller Omvendt at han ser stort potensiale for å hjelpe til med å gjenopprette tale til folk som gjenoppretter fra et slag eller lever med amyotrofisk lateral sklerose (ALS). Lenger nedover linjen, kan denne typen teknologi også åpne dører til hjernekoblede smarttelefoner som kan la brukerteksten bruke sine tanker, men det er fortsatt en vei unna. Hans arbeid ble utgitt i tidsskriftet Vitenskapelige rapporter.

"En av motivasjonene til dette arbeidet … er for alternative human-computer interaksjonsmetoder, for eksempel et mulig grensesnitt mellom en bruker og en smarttelefon," sier han. "Det er imidlertid langt fra virkeligheten, og for øyeblikket er informasjonen som kan trekkes ut ved hjelp av ikke-invasive metoder, ikke god nok til en tale-hjerne-datagrensesnittapplikasjon."

Lytt til talen generert av hjernedatamaskingrensesnittet.

For å utvikle den nye teknikken, begynte Mesgarani og hans kollega, Ashesh Dinesh Mehta fra Northwell Health Physician Partners Neuroscience Institute, å undersøke epilepsipasientens hjernevirksomhet for deres studier. Disse pasientene hadde allerede elektrodeimplantater i hjernen deres for å overvåke anfall, som Mesgarani og Mehta kunne bruke til å samle data for deres forskning.

Duoen spurte villige deltakere om å lytte til høyttalere omtale tallene mellom null og ni, og deretter innspilt hjernens signaler fra samspillet. Deretter trente de i et neuralt nettverk - et program som etterligner nevronstrukturen i den menneskelige hjerne - å gjenkjenne mønstre i signalene og oversette dem til robotic-lydende ord ved hjelp av en talesyntese, kjent som vokoder.

Resultatet var et kort stemmeklipp av det som høres ut som Microsoft Sam, som teller fra null til ni. Den imponerende delen er bare hvor tydelig talen er sammenlignet med andre metoder forskerne testet. Det er fortsatt mye arbeid å gjøre, skjønt.

"Det kan ta et tiår før denne teknologien blir tilgjengelig," sier Mesgarani. "Vi trenger mer fremgang både i langsiktige, biokompatible implanterbare elektroder og / eller gjennombruddsteknologier i ikke-invasive nevrale opptaksmetoder. Vi trenger også en bedre forståelse av hvordan hjernen representerer tale, slik at vi kan forfine våre dekodningsmetoder."

Pasientene som var en del av denne studien, for eksempel, hadde alle hjernekirurgi for å implantere elektrokortikografiske monitorer. Dette er en ekstremt invasiv prosess som krever åpen hjernekirurgi, noe som de fleste kanskje ikke vil være villige til å gjennomgå, selv om det var mulighet for å gjenopprette noen av deres talevansker.

For nå har denne studien introdusert en metode for dekoding av hjerne signaler til tale. Hvis vi finner ut hvordan vi nøyaktig oppdager hjernevirksomhet uten kirurgi, vil vi være et skritt nærmere ikke bare å revolusjonere taleterapi, men potensielt mot å få med seg hjernekoblede smarttelefoner.

Hjernedatamaskingrensesnittforskning har mottatt nyfinansiert interesse i de siste årene. I april 2017 annonserte Facebook at det var på BCI under sin årlige F8-konferanse. Og Elon Musk annonserte i november 2018 at Neuralink, hans egen BCI-oppstart, var ansatt.

Abstrakt

Auditiv stimulus rekonstruksjon er en teknikk som finner den beste tilnærmingen til akustisk stimulus fra befolkningen av fremkalt nevral aktivitet. Rekonstruere tale fra den menneskelige hørbare cortex skaper muligheten for en tale neuroprosthetic å etablere en direkte kommunikasjon med hjernen og har vist seg å være mulig både i åpen og skjult tilstand. Den lave kvaliteten på den rekonstruerte talen har imidlertid sterkt begrenset bruken av denne metoden for hjernedatamaskingrensesnitt (BCI) -applikasjoner. For å forsterke toppmoderne i tale-neuroprostese kombinerte vi de siste fremskrittene i dyp læring med de nyeste innovasjonene i talesyntese teknologier for å rekonstruere lukket sett forståelig tale fra den menneskelige hørbare cortex. Vi undersøkte avhengighet av rekonstruksjonsnøyaktighet på lineære og ikke-lineære (dype neuralnett) regresjonsmetoder og den akustiske representasjonen som brukes som gjenoppbyggingsmål, inkludert auditiv spektrogram og talesynteseparametere. I tillegg sammenlignet vi rekonstruksjonsnøyaktigheten fra lave og høye nevrale frekvensområder. Våre resultater viser at en dyp neural nettverksmodell som estimerer parametrene til en talesyntese fra alle nevrale frekvenser, oppnår de høyeste subjektive og objektive resultatene på en siffergjenkjenningsoppgave, og forbedrer forståelsen med 65% over baselinemetoden som benyttet lineær regresjon til rekonstruere det auditive spektrogrammet. Disse resultatene demonstrerer effekten av dyp læring og talesyntesalgoritmer for å designe neste generasjons talebiB-systemer, som ikke bare kan gjenopprette kommunikasjon for paralyserte pasienter, men også ha potensial til å transformere menneskelig-datamaskin-interaksjonsteknologi.

Relatert video: Brain Wave Sensing Robots kan tjene som utvidelser av menneskekroppen