Hvordan Ninja Theory gjør 'Hellblade' Cinematikk i sanntid

Ninja Theory er å bringe litt relativt uovertruffen teknologi til sitt kommende videospill Hellblade: Senuas offer: Muligheten til å skyte, gjengi og redigere scener for spillet i minutter i stedet for dager.

Som er tradisjon med ninja teori, Hellblade er ikke en typisk blockbuster - det følger reisen til Senua, en keltisk kriger som bekjemper mental sykdom. Gitt studioets interesse for å lage mindre, karakterhistorier i spill som Enslaved og DmC (selv på en skala som er like ved trippel-A), ved å bruke teknologi for å fremme en følelsesmessig ytelse, virker det som en naturlig progresjon.

Teknologien selv, som ninjeteorien kaller "sanntids kinematografi" etter en nylig demonstrasjon vist på VFX-konferansen SIGGRAPH, tar i hovedsak en mo-capped skuespillerens forestilling i sanntid som det ville være på et filmsett og overfører den gjengitte data til Sequencer, et nytt Adobe Premiere-lignende verktøy for Unreal Engine 4.

Derfra kan de rettferdige prestasjonsdataene - registrerte ansiktsanimasjoner, stemme og bevegelse - manipuleres på noen måter som om du vil ha et lineært segment av film, bare utviklerne er frie til å justere, justere eller redigere ting som belysning eller kameravinkler på fluen. (Siden dataene er i sanntid, er det enda mulig å helt endre eller legge til nye kameraer til en scene.)

For Ninja Theorys medstifter og sjefs kreativ direktør Tameem Antoniades, skaper alt i huset med teknologien hele forskjellen.

"Vi kan hoppe inn og skyte scener etter hvert som vi trenger dem. Vi trenger ikke å gjøre alt i en fire ukers skyting, sier Antoniades om studioets gamle metode. Det var tidligere involvert å bestille en blokk av tid på et motto-opptaksstudio for å fange et spills forestillinger alt på en gang. "Vi måtte skyte alt for spillet der, og deretter bygge spillet rundt det vi skjøt."

De tekniske mutrene og boltene er overraskende komplekse og innebærer mange hender. Bortsett fra å jobbe med Epic, som bidrar til å gi støtte til Sequencer og Unreal selv, kommer ansiktsfangstteknologien i bruk fra et eget mo-cap-programvareselskap, Cubic Motion, mens den serbiske basale ansiktsprestasjonsstudio 3Lateral ble tatt på for å skape hjelp realistiske virtuelle hoder - og det er bare et par ninja utenfor samarbeidspartnere.

Cubic Motion's ansiktsfangst-mellomvare og 3-lags fanget data - som krevde skuespillerinne Melina Juergens å reise til Novi Sad for å få ansiktet skannet på flere måter - brukes som et digitalt fundament for å presis fange opp sanntids ytelse. (Heldigvis er Juergens Ninja Theorys videoredigerer, så hennes tilgjengelighet for å skyte scener er ikke et problem.)

Men Hellblade ble startet fra et ønske om å gjøre noe helt uavhengig på en trippel-skala, og gjort så effektivt og billig som mulig. Så langt, deres arbeid snakker for seg selv, og er ganske utrolig å bli bygget av bare 16-personers lag.

Antoniades sier at det er relativt kompakt produksjon, med et tett fokus på en enkelt karakter, som gjør det mulig i det hele tatt.

"Vi bygde et opptaksfelt som kunne gjøre det vi gjorde før, men vi bygget det for sannsynligvis som $ 20.000 til $ 30.000. Som er super, super billig sammenlignet med hva slags oppsett vi jobbet med, sier han. "Selv om det føles som det er ekstremt høyteknologisk, ekstremt dyrt, er det ikke - dette er bare en mer effektiv måte å skyte, i ånden av alt annet gjorde."

For å bidra til at studioet fortsetter å ødelegge banken, lånte noen partnere ut utstyret og ga teknisk kompetanse mens Antoniades og teamet gjorde en bevisst innsats for å holde utstyrskostnadene så lave som mulig. Ved hjelp av ni mo-cap kameraer i en plass på tre-av-tre meter, mye mindre enn et stort studio tjue-tjue meter oppsett, var en stor hjelp.

"Det er mange kompromisser vi har gjort," sier Antoniades. "Vår rigging for å montere kameraene vi kjøpte fra IKEA. De er garderobepoler. Belysningen vi trengte - de er kontorlamper vi kjøpte av Amazon. Vi tok bare den billigste mulige løsningen ved hver tur for å kunne fange ett tegn."

Studioets åpenhet om utvikling er det som førte Epic 's sjefsteknolog, Kim Libreri, til å spørre Antoniades om ninja teorien ønsket å gjøre en livefremvisning med Senuas skuespillerinne på GDC i mars; da det viste seg en suksess, jobbet teamet med sine partnere for å skyte og gjøre en hel cutscene på syv minutter for en SIGGRAPH-presentasjon i juni ved å bruke Sequencer til å overføre data med overført data til Unreal Engine.

I motsetning til den mer avskalede GDC-demoen viste SIGGRAPH-presentasjonen (som de utførte foran et publikum på 2500 VFX-bransjepersonell) Senua å snakke med en doppelganger, mens Antoniades skutt begge Juergens 'mo-capped-deler som de skjedde. Etter å ha tatt doppelgangeren, hadde Ninja Theory hjelp fra Epic, Cubic Motion og 3Lateral på scenen for å sikre at dataene ble fanget riktig og deretter satt inn i Sequencer's videoredigeringsstil.

Til slutt ble dataene spilt da Antoniades filmet Juergens en gang til, og spilte nå den virkelige Senua, mot sin første forestilling - samtidig som selve kameraets bevegelse og fokus ble tatt opp. For deres ytelse, fikk Ninja Theory SIGGRAPHs beste sanntidsgrafik og interaktivitetstildeling.

Det som gjør teknologien så svingende, er at ikke engang de beste studioene i filmproduksjon produserer bilder for øyeblikket så nær den endelige kunsten som dette. I stedet bruker de en prosess som kalles pre-visualisering, som virker litt som en sanntids animert omriss, ved hjelp av grunnleggende gjengitt geometri for å måle blokkering og handling av en scene. Å gå fra grov forhånd til sluttbilde tar vanligvis et spørsmål om måneder, og mangler detaljer, spesielt med tanke på fravær av ansiktsfangst.

"Hvis du kunne se et tegn live, forestill deg alle de tingene du kan gjøre med det," sier Antoniades. "Med SIGGRAPH trodde vi," vi har en sjanse til å faktisk gjøre noe som du ikke engang kan gjøre på filmsett. "Filmstudier med millioner av dollar har ikke denne teknologien."

Det er også en fordel for den totale utviklingshastigheten.

"Fordi vi har vårt eget oppsett her, kan vi hoppe inn og skyte scener etter hvert som vi trenger dem," sier han. "Vi gjør det mer organisk - som bygningsnivåer, kan vi hoppe inn og skyte scenene for disse nivåene, eller hvis vi trenger ekstra scener, hopp inn og skyte dem. Det er fortsatt i tråd med fortellingen og historien, det har bare gjort scenen litt kulere, så vi kan trekke triks med flere versjoner av Senua som vi ellers ikke ville ha."

Mens Antoniades sier at teknologien i sanntid ikke vil ha merkbar effekt på historien eller spille spillet (bortsett fra kanskje flere eksperimentelle cutscenes), er han optimistisk, den kan brukes til nye typer opplevelser og underholdning i nær fremtid, spesielt i virtuell virkelighet.

"Tenk deg tegnene vender og møter deg eller går med deg eller samhandler med deg," sier han. "Jeg tror dette vil føre til en annen type underholdning som vi ikke har navn på, vi har ikke engang grammatikken som vi gjør med film og videospill."

Hva som kan skje før er noe som Twitch chat hvor folk kunne snakke med Senua selv i sanntid - noe fans kan potensielt se i de kommende månedene. Det er også mulig å benytte seg av VR, konserter og andre ikke-gaming applikasjoner.

"Å kunne sette opp steder, skuespillere, skyt ting, og da, fordi det er helt i sanntid, kan du gjøre alt interaktivt på stedet, prøve forskjellige scenarier, sier Antoniades. "Det er muligheter i nær fremtid som bare ikke ville være mulig selv i fjor."

Med Hellblade Å være bare en av flere prosjekter inn og ut av spill som er riktig som Ninja Theory jobber med, vil forhåpentligvis vise seg et godt hoppende punkt for å se hvordan ting kan utvikle seg herfra.

"Jeg tror det kommer til å være bra for spillere, fordi de får mer interessante prosjekter," sier han. "Og det vil også være bra for utviklere. Jeg tror industrien skifter til det bedre, så lenge vi alle klarer å henge der og overleve for bare litt lenger."