Se forskere animere statiske bilder ved hjelp av mesmeriserende maskinlæring

Animasjon er vakker, men å skape bevegelige bilder er utrolig arbeidsintensiv. Den visuelle og kunstavdelingen som jobbet med filmen Moana alene nummerert nær 300 personer, ifølge kredittoppføringene på IMBD. Men en ny prosess utviklet av forskere ved Princeton har potensial til å forenkle enkelte deler av prosessen drastisk, med fascinerende resultater.

Verktøyet lar i utgangspunktet brukere velge en del av et statisk bilde som de vil bli animert, regndråper i en stormscene, for eksempel eller damppartikler som beveger seg gjennom en forbrenningsmotor.

Brukeren manipulerer da den delen av bildet for å angi hvor fort de vil at animasjonen skal bevege seg, hvoretter en algoritme tar over og ekstrapolerer instruksjonene til alle de andre liknende objektene i bildet. Det har potensial til å spare animatører mye tid, samtidig som det gjør det mye lettere for amatører å lage ting som filmtekster - fotografier der en enkelt del av bildet er animert.

"Personen gir spor om hvilke aspekter av scenen de vil animere," forklarer medforfatter Adam Finkelstein i en uttalelse. "Datamaskinen fjerner mye av vanskeligheten og tediumet som ville være nødvendig for å lage animasjonen helt for hånden."

Det er en teknikk som var vanskeligere å utvikle enn du tror. Maskininnlæring er veldig god til å identifisere ting i fotografier, som er bundet av naturregler og relativt konsistente. Bilder trukket av den menneskelige hånden er naturligvis ikke konsekvente: Hver person eller kunstner har sin egen stil.

"Det finnes et så bredt spekter av tegningsstiler," forklarer Nora Willett, en kandidatstudent i Princetons institutt for datavitenskap og papirets hovedforfatter. "Det er bare ikke nok data til å trene en maskin for å gjenkjenne hver eneste fantastisk tegning."

For å overvinne denne hindringen utviklet forskerne et grensesnitt som gjorde det lettere for mennesker og maskinlæring å jobbe sammen. De startet med Autodesk SketchBook Motion-appen, som kan skape animasjon, men krever at brukere enten gjør dem for hånd eller kompilere dusinvis av lag gjennom en annen app som Adobe Photoshop.

For å teste deres grensesnitt, rekrutterte Willetts team seks personer med varierende animasjonserfaring, hvorav to var gode nok til å lage sine egne animasjoner selv. De presenterte sin nye metode bare i forrige uke, på Association for Computing Machinery Symposium om brukergrensesnitt programvare og teknologi.