Inside Pinscreen's Secretive Augmented Reality og CGI

Augmented reality og face-swapping ser ut til å være varme kandidater for de neste mobilappene; bare se på Facebooks kjøp av MSQRD eller Snapchats kjøp av Looksery. Men en AR-oppstart kalt Pinscreen, som for øyeblikket støttes til $ 1,8 millioner fra Lux Capital og Colopl VR Fund, ser ut til å gjøre ting annerledes i dette området. Omvendt snakket eksklusivt til Pinscreen-grunnlegger Hao Li om hva som kunne være foran dette hemmelige selskapet.

Du har kanskje ikke hørt om Hao Li, men du har sikkert sett denne USC-assisterende professorens forskning i handling i flere blockbuster-filmer. Mens han jobbet med visuelle effekter studio Industrial Light & Magic, hjalp Li utvikle noen verktøy som gjorde det mulig å spille i sanntid. Tanken var at en skuespiller kunne sitte foran en datamaskin med et webkamera, utføre en scene, og da ville denne forestillingen bli oversatt - i sanntid - til en CG-karakter.

Li har utført omfattende forskning på andre områder, inkludert utforming av 3D-modeller av ekte mennesker i sanntid, og fanger viktige deler av deres likhet, spesielt ansikter og hår. Senest viste Li ut av forskning som han og andre hadde utført i å fange en forestilling fra en person med bare ett kamera, og oversette det til en digital karakter.

I begynnelsen høres dette ikke så nytt. Det er allerede en rekke ansiktssporingsløsninger under utvikling, både for mobilapper og mye mer sofistikerte systemer som Faceshift (kjøpt av Apple i 2015). Men mange av disse er avhengig av dybdesensorer, som Lis teknologi ikke krever. Denne tilnærmingen, sier han, er veldig annerledes.

"Hvis du har en dybdesensor, er alt du trenger å optimalisere parametrene til en ansiktsmodell slik at modellen passer til 3D-inngangen så nær som mulig," forklarer Li. "Men når det gjelder ren RGB-inngang, projiseres hele verden på et todimensjonalt bilde uten kjente kameraparametere som brennvidder. Så en nøyaktig 3D-ansiktsmodell må utledes av dette projiserte bildet og kunne håndtere et bredt spekter av lysforhold, så vel som utseendet på forskjellige fag."

Derfor er betydningen av Lis forskning på 3D-avatarer. Ved kartlegging av menneskets ansikt, har mange kartleggingsprogrammer problemer med å håndtere visuelle hindringer som hår og briller. For å unngå dette problemet, skapte Pinscreen et dypt falsjonsnettverk som kan lære å segmentere et ansiktsområde i et fullstendig ubegrenset bilde."

Så, hva er Pinscreen ved hjelp av denne sprø avanserte teknologien, uansett?

"Vi vil være en ny type sosiale medier / kommunikasjonsplattform med noen interessante AR-evner," sier Li. "Det kommer ikke til å være en app som Snapchat-objektiver eller MSQRD, som for de fleste er bare interessant i noen få minutter."

Så det er ikke mye mer enn buzzwords for nå. Men ser dypere ut, men hans tidligere arbeid tyder på at de håper å utvikle evnen til å spore andres ansikt til tross for hår, briller eller andre objekter som hindrer visningen av det enkelte kamera. Legg til i noe forstørret virkelighet, og himmelen er grensen for filmer, sosiale medier og spill.

Det høres ganske banebrytende, men det er viktig å merke seg at Li og hans team ikke er de eneste som forsker på dette området. Disney nylig presentert sin ta på sanntid ansikts ytelse fange, som gjorde noen andre forskere med et verktøy kalt face2face. Theres også den nevnte Faceshift, sammen med Facebook og Snapchat, som også har begynt å demonstrere sine varer.

Så hva gjør Pinscreen's tech annerledes? Li foreslår at selskapets løsning er "mye mer robust og kan utlede mer nøyaktige 3D-modeller, siden vi eksplisitt håndterer okklusjoner."

"Vår viktigste innovasjon er en teknologi som gjør at vi kan bygge en komplett 3D-hodemodell, inkludert hår fra et hvilket som helst bilde automatisk," sier han. "Denne typen oppgave krever tradisjonelt en dyktig CG-modellør og rigger å produsere, men vi kan generere dette helt automatisk. De nyeste dokumentene som presenteres på SIGGRAPH (den ledende datagrafikk og interaktive teknikkonferanse) krever også flere inngangsbilder som input - vi fokuserer på løsningen med minimal innspillskrav, et enkelt 2D-bilde."

Selvfølgelig, til folk ser og bruker noen app fra Pinscreen, vil juryen forbli ute om sine evner. Forskjellen her er imidlertid at Li sikkert har en solid historie med forskning og innovasjon bak ham, spesielt i utformingen av digitale avatarer.

Li er tydelig trygg på Pinscreens muligheter i sosiale medier. "Som vår teknologi vil demokratisere generasjonen av 3D-avatarer, vil den ha åpenbare applikasjoner i spill, VR / AR-applikasjoner for nedsenkende kommunikasjon eller AI-agenter," sier han, "men jeg tror vi vil lage den kuleste applikasjonen selv, som er den sosiale medialplattformen vi utvikler.

"Viktigst," legger han til, "vi vil bygge noe som gjør at folk kan skape virkelig interessant innhold uten behov for dagens dyre VFX-rørledning og kan bruke veldig morsomt AR-innhold til å koble til hverandre."

Det høres ut som om Pinscreen vil inkludere rekke teknologier Li og hans team har jobbet med. Men, sier han, det er bare en del av planen. "Teknologisk demo er egentlig bare en funksjon av det vi planlegger å bruke," bemerker han. "Pinscreen vil være noe mye større og teknologien vil være en interessant funksjon i begynnelsen. Vi vil også være ganske annerledes enn andre sosiale medier plattformer."

For nå er Pinscreen fortsatt litt av et mysterium, og det ser ut til at vi bare må vente på å se hva de har i butikken.