Face the Music: Hvordan "Eye Dirigent" hjelper Paralytics Rock Fuck Out

Andreas Refsgaard, en interaksjonsdesigner og kreativ coder som bor i Amsterdam, har designet et musikalsk grensesnitt som gjør at mennesker med fysiske funksjonshemninger kan lage musikk. Øyelederen bruker øyesporingsprogramvare og en datas webkamera til å oversette ansiktsbevegelser til forskjellige komponenter av musikalsk sammensetning. Brukere kan trene seg selv til å spille ting med ansiktet deres, noe som betyr at paralyserte mennesker - folk som ikke lenger kan spille instrumenter - kan få en ny sjanse til å lage vakre (eller bare høye) lyder. Det rette blikket treffer en akkord med Refsgaards oppfinnelse. Det rette uttrykket uttrykker seg høyt.

Refsgaard snakket til Omvendt om motivasjonen bak prosjektet hans, kampene han løp inn underveis, og hva han lærte hva han ga folk som hadde mistet muligheten til å lage musikk en ny sjanse.

Hva er din bakgrunn med musikk?

Jeg ville ikke kalle meg en musiker fordi jeg bare spiller for moro, men jeg spiller gitar og bass. Ableton er et musikkprogram, en digital arbeidsstasjon som ligner på innspilling av programvare som Logic eller Protools eller Garage Band. Jeg tok et kurs på det, og det var ikke så bra å lage musikk med det, men jeg var fascinert av mulighetene jeg så. Da begynte vi å samarbeide og gjøre noe mer kunstnerisk installasjonstype ting hvor han ville designe lydene og jeg ville koble sensorer, for eksempel et dybdekamera, så når folk gikk forbi, ville de styre noe av prosjektets aspekt.

Så du er en interaksjonsdesigner og kreativ koder. Kan du forklare hva disse titlene betyr?

Alle tingene jeg designer er interaktive. Så hvis jeg skulle lage noen slags møbler, ville det ha noen funksjonalitet som ville få det til å reagere på noe. Jeg er også en kreativ koder. Sammenlignet med mange andre mennesker - for eksempel studerte jeg i København på Copenhagen Institute of Interaction Design hvor folk kommer fra mange forskjellige bakgrunner - jeg er litt mer mot kodingssiden. Jeg kaller meg selv en "kreativ koder" fordi jeg ikke er en skikkelig koder. Jeg er ikke så god i det, men jeg kan gjøre noen ting veldig fort, og jeg kan koble sammen ting og jeg er god til å komme opp med nye ideer.

Hva var det som inspirerte deg til å hjelpe mennesker med fysiske funksjonshemninger, lage musikk?

Etter videregående skole i to eller tre måneder var jeg en vaktmester for noen med muskeldystrofi. Å være sammen med ham, gjorde meg hele tiden klar over noen av de tingene jeg ikke kunne hjelpe ham med. En av dem uttrykte seg på en kreativ måte. Det var ikke det jeg trodde, "Ok, her er et problem jeg trenger å løse," for på den tiden var jeg ung og hadde ingen faglige ferdigheter. Men det satt fast med meg.

Hva med teknisk inspirasjon?

Et prosjekt som heter Eyewriter jeg så for et år siden, er et maleri program som ble designet for en fyr som pleide å være en graffiti artist, men da ble lammet. Noen av vennene hans var kodere og laget et verktøy for ham med øyesporing som gjorde at han kunne tegne. Og siden jeg hadde spilt rundt med sensorer og ting i musikkprogramvare, gjorde jeg en tilkobling. Jeg gjorde det som mitt siste prosjekt på skolen.

Hvordan ble musikken til det kreative feltet du ville utforske?

Jeg tror kanskje fordi jeg liker musikk mye selv og når det gjelder tiden jeg hadde for prosjektet. Det ble bare klart at musikk var det jeg ønsket å jobbe med. Så ble jeg veldig inspirert av Eyewriter med hensyn til å lage grafikk.

Musikk virker som et godt valg fordi det er universelt. Jeg kan ikke tenke på noen som ikke liker musikk.

I begynnelsen ønsket jeg faktisk å teste ut hvor viktig musikk var for gruppen jeg designet for. De tidlige trinnene var bare å observere hvordan mennesker med ulike fysiske funksjonshemminger samhandler med musikk. Et hjem jeg besøkte hadde musikk torsdager. Noen kan peke litt eller spille litt på et tastatur, og noen kan ikke gjøre noe i det hele tatt, men faktum er at de dukker opp på Music Thursdays.

Mellom å observere og deretter lage enheten, hvor lang tid tok det?

Ofte i en prosessprosess ville det være to separate ting, men jeg liker ikke denne tilnærmingen. Jeg liker å bygge fra begynnelsen og da når jeg har samtaler om hva jeg har bygget. Og så endrer jeg eller finjusterer det.

Hva var det som å se folk bruke det for første gang?

Det var ganske fint, ja. Fordi noen av folkene ikke kunne snakke, kan forbindelsen være vanskelig. Men da de brukte øyenlederen, hadde vi virkelig forbindelse. De så på meg og smilte eller fungerte veldig glad, eller da jeg bare demo det, var de virkelig fokusert. Det var et vakkert eksempel på hvordan musikk kan hjelpe folk til å samhandle og uttrykke følelser.

Uten å bli for teknisk, hva var det største problemet du kjørte inn mens du designet Eye Conductor?

For at systemet skal fungere må du sitte i samme stilling som vi sitter akkurat nå foran bærbare PC-er, fordi bildet du ser på meg akkurat nå, er rett og bra for å spore ansiktet og øynene mine. Men hvis du er med noen i rullestol som ikke har kontroll over stillingen eller ryggen eller nakken, så vil de til tider sitte mer sidelengs og systemet kan ikke spore deres ansiktsbevegelser. Og så noen ganger vil det være litt ubehagelig for meg å prøve å si, "Ok for at dette skal fungere må du sitte straks." Og da kommuniserer de med dem som ikke-verbale?

Hvis noen hodet var tiltet slik, kan du teoretisk holde den bærbare datamaskinen på en måte som plukker opp ansiktsbevegelsene sine?

Yeah. Så jeg gikk egentlig ikke inn på å løse dette problemet, men mange mennesker har datamaskiner montert på rullestolene, og datamaskinen er på en pol og deretter på den polen er det en monteringsenhet og de vinkler den i riktig retning for å peke på personens ansikt. Det er ingen posisjon som er riktig eller feil, det handler bare om å få sensorene - som er webkameraet og et øye-spor - å være rett på for hodet. Det var litt utfordrende. Det var mer av en maskinvare ting fordi ellers ville jeg måtte prøve å bygge en struktur og det ville være rotete. Jeg er ikke så god i det.

Gjorde du det hele selv eller gikk du inn i tekniske problemer som bare andre mennesker visste hvordan man skulle løse?

Jeg gjorde det selv, men på lyddesignsiden fikk jeg hjelp fra den professoren jeg fortalte deg om. I utgangspunktet bare lyddesign ting. Jeg hadde også en rådgiver som ga meg noen pekere i form av et programmeringsspråk som heter Max, som han var veldig flott på. Han hjalp meg til å være mer komfortabel med visse programmeringsdetaljer. Selvfølgelig var det mye nytt, men grunnleggende av det jeg allerede visste fra tidligere erfaring. Jeg gjorde øyeleder i åtte uker, og folk sa: "Åh, det er gal, hvordan kan du gjøre det om åtte uker?" Men jeg lagde noen andre ting som også er avanserte når det gjelder å jobbe med sensorer og musikkprogramvare, og det tok langt lenger fordi Jeg visste ikke hvordan jeg skulle gjøre det. Nå som jeg vet det er ikke så vanskelig, selv om dette prosjektet var mer komplisert. Det er også viktig for meg å påpeke at det er en fullt fungerende prototype, men det er ikke et produkt. Så folk kan ikke gå ut og kjøpe den og installere den på datamaskinen min.

Jeg skulle spørre deg om du har planer om å selge den?

Jeg vil egentlig ikke selge den, jeg vil gi den bort. Jeg vil gjøre det til en åpen kildekode ting, men jeg kan ikke love noe nå. Jeg har ingen midler til det ennå, og jeg har jobb og andre ting å gjøre. Jeg fikk en melding fra en fyr i Michigan, for eksempel som pleide å være en produsent og da fikk han ALS. Jeg må gjøre det på en eller annen måte tilgjengelig for alle disse menneskene. Det er veldig viktig for meg å på et tidspunkt, og jeg kan ikke love når, men forhåpentligvis ganske snart, pakker det på en måte slik at folk enten kan laste ned alt som en ting og det ville kjøre på de fleste datamaskiner eller faktisk prøve det ut i nettleseren. Ideen bak å gjøre det til en nettleser ting vil bare kreve at folk har en datamaskin med online-tilgang, og så har det noen erstatning for en mus som de kan ha på datamaskinen. Hvis jeg gjør det åpen kildekode, kan jeg gi grunnleggende demo, og folk kan da legge til sine egne vendinger for å gjøre det til seg selv.

Det er hyggelig å høre at du gjør dette fordi du vil hjelpe folk og ikke fordi du vil bli rik eller noe sånt.

Verktøyene jeg bygget det med - i det minste den arbeidsprototypen - er åpen kildekode. Hvorfor vil jeg da få kreditt? For eksempel ansiktssporingssystemet som jeg bruker til prototypen min, som gjør at folk kan lage en lyd ved å heve øyenbrynene eller åpne munnen, det er en ting som heter FaceOSC laget av en fyr kalt Kyle McDonald, og det er et åpen kildekode system. Jeg tror ikke jeg ville ha fått så langt jeg gjorde uten det programvaren.