Ny teknologi kan bytte ansiktsuttrykk i sanntid

Tesla Wildlife

Tesla Wildlife
Anonim

Husk at Bizarro World "Myidol" -appen som ble viral denne våren på grunn av sin evne til å bruke ansiktsgjenkjenningssoftware for å lage en digital avatar som ser ut og beveger seg nøyaktig mest som du gjør? Det er i ferd med å bli en realitet … slags.

Forskere ved Stanford har funnet ut hvordan man overfører en persons ansiktsuttrykk til en annen person i sanntid via video.

Modellen vist i Stanfords demonstrasjonsvideo bruker bare en forbruker-PC og dybdekamera for hver skuespiller - noe som betyr at du ikke nødvendigvis trenger fancy utstyr for å utføre denne trompen, du trenger bare noen komplekse algoritmer.

Forskerne utviklet en ny sanntidsalgoritme som tar høykvalitetsbilder av hver deltakeres ansikter og bruker dem til å transponere uttrykkene fra en "kildeskuespiller" (personen som gir ansiktsuttrykk og / eller tale) til en "målskuespiller" (personen hvis ansikt vil bli manipulert i henhold til hva kildeskuespilleren gjør). Kildeskuespillerens visuelle informasjon går gjennom programmet og blir gjengitt på toppen av målskuespillerens videostrøm, så det ser ut til at målskuespilleren smiler, snakker, stikker ut tungen hans eller hva som helst annet kommer til å tenke på.

Takket være en rekke referansepunkter som er kartlagt rundt ansiktet (i likhet med Myidol-appen), omfatter typer visuell informasjon målt av systemet ansiktsform og funksjoner (som øynene, nesen, munnen og til og med rynker) samt ansikts tekstur og dybde. Programmet samsvarer deretter med kildeskuespillerens referansepunkter til målskuespilleren og overbilder disse uttrykkene til målet for en hyperrealistisk video-feed.

Siden dette systemet fortsatt er i arbeidene (og ganske rudimentært utstyr ble brukt), er sluttresultatene fortsatt litt uhyggelige - som de semi-forstyrrende tanntennene, programmet ligger over innsiden av målets munn, slik at det ikke er et gapende svart hull når det er " åpne "(se ovenfor) … samt hva slags blikk i målets øyne. Men det er små frites i forhold til hvilke kule ting utviklingen av dette programmet betyr for oss.

Her er et par ideer for hva vi kunne bruke denne teknologien for:

  • Du har et viktig jobbintervju på Skype, og du er ikke kledd for å lykkes. Bare bruk en fancy utseende mens du gir ansiktsuttrykk og killer intervju svar.
  • Du ser et live-streamed forelesning fra en topplærer i Tyskland - det eneste problemet er at du ikke snakker tysk. Ingen bekymringer, takket være en sanntidsoversetter ved hjelp av denne programvaren, kan du se profeneren levere talen sin på ditt morsmål uten noen forferdelig dobbeltsinkforsinkelse i bildene.

Se uttrykksbyttet i handling: