Spill- og filmkomponist Sage Lewis sier ingen forstår å skrive for VR ennå

For den klassisk trente musikeren Sage Lewis utgjør teknologien en utfordring. Selv om hans komposisjoner har vist seg i annonser for Google, Facebook og Nintendo, forblir Lewis standhaftig med akustiske lyder. "Det er noe om strengekvartetten og de viktigste akustiske instrumentene, som uttrykker så mye følelser," sier han over telefon. "Du kan ikke virkelig uttrykke det med elektronisk musikk på samme måte."

Men kanskje han har funnet ut det. På Sør ved sørvest, Lewis nyeste poeng - techno-drama Operatør Starring Martin Starr (Silicon Valley) og Mae Whitman, og VR-thrilleren Surrogatet - takle vår stadig skiftende forståelse av menneskelig interaktivitet med gjennombruddsteknologi. Lewis score, en melding om elektronikk og akustikk reflekterer disse seismiske skiftene.

Regissert av Logan Kibens, Operatør følger en dataprogrammerer som bygger en kundeservice bot ved hjelp av sin kone som en mal før han tar en obsessiv, destruktiv sti bygget på kjærlighet. Surrogatet, i mellomtiden, er en VR-opplevelse fra en førstepersonsvisning som avslører et urolig ekteskap. Nominert til Interactive Innovation Award på festivalen, Surrogatet "Problematiserer begrepet fysisk tilstedeværelse og reflekterer … kulturell frykt og trengsel i den digitale tidsalderen."

Før Austin-festivalen talte Lewis til Omvendt og fortalte oss hvordan han komponerte en av SXSWs skjulte perler og hvordan reglene for komponering av VR fortsatt er skrevet.

På SXSW i år har du Operatør og Surrogatet. Hva kan du fortelle om forståelsen av de to prosjektene?

Det er spennende, de er to filmer som ligner i sine historier, men svært forskjellige i form og måten de oppleves på. Begge har å gjøre med teknologi, forhold til og hvordan det forstyrrer ekte relasjoner i våre personlige liv. De handler om kunstig intelligens og hvor vi skal i fremtiden.

Teknologi og menneskelige relasjoner er populære temaer, vist i ting som Henne og Svart speil. Hvordan nærmet du poengene dine for Operatør ?

Teknologi er mediating vår kommunikasjon mer og mer, men hvor vi kunne gå er våre relasjoner ikke bare med et annet menneske, men en algoritme. Det var morsomt å jobbe på disse temaene musikalt, poenget har et kammerensemble med en strengekvartett, piano, akustisk gitar, trommesett og perkusjon. Deretter er det en hel elektronisk side, hvert elektronisk instrument kart direkte til den andre av den akustiske. Vi gjenskapte dem fra bunnen av med en modulær synthesizer. Det skapte en poengsum som kunne uttrykke disse følelsene elektronisk.

Med tanke på hvordan disse filmene er så viktige om teknologi, hvorfor inneholdt du naturlige og klassiske lyder i Operatør ?

For meg handlet det om to samtidige verdener, en virtuell og en naturlig, og hvordan de eksisterer i harmoni og motstridende, kjemper over samme rom. Det var viktig å ha stykker. Hvis du har to ting satt mot hverandre i kontrast, gjør den hver og en kraftigere. Elektronisk musikk høres mer elektronisk når den er i sammenheng med akustisk musikk. Kvaliteten på noe som er naturlig kan høres enda mer naturlig når du setter det mot noe veldig unaturlig.

Hva var din favoritt del av Operatør å score?

Det er noen vakre scener av Lake Michigan hvor karakteren, Joe, går i gang hver dag. Han måler hans helse data, går til Lake Michigan og tar et bilde. Det er en scene hvor de var som: "Dette er en av de viktigste filmbitene. Dette er alt du, Sage. "Musikken måtte være enkel også, det forteller ikke med mange bevegelser. Det var bare et par minutter med noen få bevegelser som var enkle å plassere og virkelig kunne slå deg i hjertet. Det var det mest spennende for meg.

Hvordan lager du en subjektiv opplevelse i VR versus en film som Operatør ?

Det er spennende fordi ingen forstår hvordan man gjør det. Det er ingen steder du kan studere, ikke engang å sjekke ut andre VR-prosjekter for å se hva de har gjort, fordi det fortsatt ikke er så lett tilgjengelig. Det er mye å finne deg selv. Vi har våre egne Oculus-headset som vi pleide å utvikle. Noen ganger går vi til VR-konferanser for å se annet innhold, men for det meste er det et produkt som ikke har rammet markedet ennå.

Hva med videospill, som du har jobbet med - og er også en subjektiv teknologisk opplevelse?

På noen måter er det som videospill, men opplevelsen er annerledes. Surrogatet er ikke et spill, men en "interaktiv film", som gjorde en veldig god jobb å finne ut nytt territorium av VR. Det er 12 minutter lang, det er sfærisk, noe som betyr snarere enn en 16x9 ramme du er i filmen hvor du ser bak deg, opp, ned, du kan gå rundt. Det er denne hybrid av CG-skudd med et sfærisk kamera, med ekte tegn. Ikke avatarer.

Når du går rundt, bruker noen av musikken hele tiden til å støtte fortellingen. Det er denne andre typen plassert i mellomrom. Hvis du går til det rommet, hører du det, men hvis du ikke er det, gjør du det ikke. Det er mye du trenger å kommunisere når du er i en film for å få historien til å fungere slik at folk ikke savner viktige deler, men i VR har du ikke kontroll over brukeren. Brukeren kan vandre hvor som helst.

Poengsummen i VR hjelper den emosjonelle lysbuen å bli formidlet, enten de er oppmerksomme i forestillingen eller ikke. Du må bruke poengsummen for å få ting sammen fordi du ikke har kontroll. Dette er interessant for meg fordi internt, i tegnet du er inne i, er det en psykologisk thriller for det tegnet i sinnet og kroppen, men i omverdenen er det ikke. Det er folk som beveger seg rundt og snakker, ikke en vanlig thriller med handling.

Kameravinkler i film kommuniserer fortelling og tema, hvilken musikk intensiverer. I VR virker det som om musikk gjør alt arbeidet.

Det er vanskelig å finne ut også fordi når jeg komponerer, kan jeg ikke oppleve det. Jeg kan ikke demo det fordi du ikke kan komponere med headsettet på. I en film kan du se på den, legge inn musikken og se på den igjen og ha en masse mennesker sitte sammen og snakke om det.

VR ligner faktisk teater. Noen mennesker har gode seter, noen har dårlige seter. De ser på alle vinkler. Fra det musikalske perspektivet vet du hvordan ting skal synkroniseres. Du trenger ikke å gjette hvordan de skal føle seg på scenen når du jobber med det. I VR du gjetter, forestiller deg det i tankene dine, materialer du refererer til som hjelper deg med å informere deg om hvordan ting skal se og føles på slutten.

Det er aldri ferdig. Det fortsetter bare å forandre seg. Surrogatet, vi har nettopp ferdig med å gjøre den siste oppdateringen til den. Da fortsetter vi å jobbe lenge med det som vi lærer. Ting er tregere fordi du stole på programmerere, ting bryter hele tiden inne i systemet. Det er så annerledes.

Hvor lenge tror du det vil ta for komponister å finne rytmen for musikk i VR?

Å finne ut hvordan du skriver musikk til VR, vil ta så lang tid som å finne ut de andre elementene. Jeg tenker tre til fem år til det begynner å komme til et punkt, det fungerer og en del av alles liv. I år vil VR være på vei til markedet. Det vil trolig ta flere år å forbedre prototypen og finne ut hvordan man lager innhold, men jeg ser det skje rundt 2020, når det er en velutviklet form. Film tok lang tid også. Det var flotte filmer fra begynnelsen, Charlie Chaplin og ting som det, men å utvikle teknologien tok lang tid fram til gullalderen. Vi er fortsatt langt borte fra det, men det skjer nå. Vi skal begynne å se det i år. Det er spennende.