Ett år i, "På denne dagen" -funksjonen eksemplifiserer hvordan A.I. Er å endre Facebook

For et år siden i dag lanserte Facebook sin "On This Day" -funksjon. Omvendt snakket med Facebooks datasynsforskerledende Manohar Paluri om hvordan kunstig intelligens, maskinlæring og datasyn gjør denne funksjonen mer meningsfylt - og hvordan disse områdene av forskning og utvikling vil fortsette å forbedre Facebook-opplevelsen i årene som kommer.

Selv om du ikke har brukt funksjonen På denne dagen selv, har du sett disse innleggene rundt nyhetsfeeden din; du har sett en venn som deler en begivenhet fra hans eller hennes Facebook-fortid. Kan ikke tro at det har vært tre år siden at tryllekunstneren trakk en kanin ut av en hatt! parret med et bilde av tryllekunstneren som trekker kaninen ut av hatten. Noe likt det. Og i dag deler Facebook sitt eget minne. På denne dagen, for et år siden, ble Facebook lansert på denne dagen. (Nå, på denne dagen kan du ha mer enn 60 millioner daglige besøkende, og 155 millioner abonnere på sine varsler.)

Men for Facebook er dette minnet mindre sentimental enn det er en milepæl. Facebook utvider konsekvent nye funksjoner, og disse funksjonene blir konsekvent undersøkt og tweaked. Noen ganger er det mennesker, som Paluri og hans lag, som gjør tweaking; andre ganger er det A.I.s. De fleste ganger, men det er symbiotisk. Facebook er som et cyborg, og dette cyborg har en raison d'être: å gjøre Facebook-opplevelsen din som hyggelig som mulig.

Datasynet, innholdsforståelsen og A.I. troppen på Facebook kunne ses - hvis du vil - som cyborgs hovedkort. Og Paluri, for å fortsette metaforen, er en slags sentralbehandlingsenhet for det aktuelle hovedkortet. Paluri har jobbet i datasyn i over tiår, og han er ikke liten yngel: han startet på SRI, flyttet til IBM Watson labs, og derfra hoppet over til Google. Og nå er han i Menlo Park på Facebook. Da han ble med, avsluttet sitt internshipprosjekt innen visuell anerkjennelse som "ryggraden", sier han, av Facebooks bilde- og videoforståelse teknologi. Og den visuelle anerkjennelsesmotor blir mer og mer sentral for Facebook.

"Hvis du ser på bruk av Facebook over tid - og dette er et eksempel som Mark Zuckerberg også sitater ofte - du ser rikere og rikere medier blir delt, og folk bruker det for å koble til," sier Paluri. "Du starter fra tekst, du går til bilder; fra bilder du går til videoer, og fra videoer går vi nå til VR. Ettersom kommunikasjonsmediet blir rikere og rikere, er det også viktig at verktøyene fanger opp, at verktøyene forstår hva dette innholdet er. Med mindre vi har det, vil vi ikke kunne gjøre bedre i News Feed-rangeringen, vi vil ikke kunne gjøre det bedre når vi søker etter søk, vi vil ikke kunne gjøre det bedre med å beskrive bilder for blinde, vi vil ikke være kunne bygge bedre befolkningstetthetskart."

Post av zuck.

Den relativt nye sentraliteten av kunstig intelligens, maskinlæring og datasyn, Paluri sier, er litt av en "strategisk innsats" - men et spill som spenner ham. Ingen andre steder som han har jobbet med, har en så stram tilbakemelding og responsløp mellom forskning og ingeniørarbeid. "Ved å sentralisere det prosesserer vi med toppmoderne, vi skyver toppmoderne, og så kan produktgruppene og resten av selskapet låses på det, sier han.

Nå styrer Paluri datamaskinens visjonsteam. "Målet på høyt nivå for teamet er å få maskiner til å se hvordan mennesker gjør det," forklarer Paluri. "Og gå utover, faktisk - gå utover hva mennesker er i stand til, mot, for eksempel, finkornet anerkjennelse, for eksempel. Vi publiserer våre funn i topp konferanser, vi skriver tekniske blogger, og vi er veldig åpne om hva vi jobber med. Samlet sett er vårt hovedmål å bringe datasynteknologi til resten av produktgruppene på Facebook."

Og det fremste produktet som høster Palisis lagets høst, skjer så tilfeldigvis på denne dagen.

Bak det enkle, uskyldige sløret som er på denne dagen ligger en kompleks A.I. og datasystem som finjusterer din mnemonic opplevelse. Paluri, som - igjen - er bare tangentielt knyttet til On This Day, forklarer hvorfor gjenoppliving av sosiale nettverksminner kan være en god ting:

"Nostalgi er et veldig positivt fenomen. Så, for eksempel, å se bryllupet ditt på en improvisert måte - når du ikke er spesielt på jakt etter det, men det bare viser seg på nyhetsfeeden din - er en svært behagelig opplevelse. Spesielt når du surfer i dag, og et positivt minne kommer ut fra fortiden."

"Nostalgi er et veldig positivt fenomen."

Likevel er det utvilsomt nostalgi som faller mer på den bitre siden av det bittersøde spektret. "Det første som kommer til å tenke, sier Paluri, er:" Skal du overfylle alle minnene? Det intuitive svaret er nei, fordi det avhenger av din nåværende tilstand, det avhenger av det bestemte minnet; det er mange, mange inneboende ting. Det er der A.I. teknologien kommer inn i bildet."

Og det er to måter der A.I. kommer inn, her: en, personalisering; to, innholdsforståelse.

Med hensyn til sistnevnte innholdsforståelse: "Disse minner er tekstminner, livshendelser, bilder du lastet opp, eller videoer du lastet opp. Så nå har du denne mengden innhold som er av forskjellige modaliteter, og forståelse av hva som er der inne er ekstremt viktig for å kunne lære og gi det riktige settet av minner."

I tillegg - og ikke bare for On This Day - innholdsforståelse og disse A.I. systemer bidrar til å luke gjennom den overveldende mengden informasjon som er på Facebook hver dag. (Tenk på det: Hvis Facebooks nyhetsfeed lignet Instagram, ser du kan være to prosent av alle innlegg. I stedet møtes du med innhold som du sannsynligvis vil ha, eller innhold som du vil bruke mye tid på.) Og det hjelper med å filtrere ut motstandsdyktig innhold, som pornografi, mer enn de fleste andre nettsteder på nettet.

"Selv om det er et tap, gir det dem et positivt minne."

Og med hensyn til den tidligere, utdyper Paluri: "For deg, kanskje, ser du på positive minner er gode, og du liker ikke noe negativt. Men for noen andre, kanskje de vil bli påminnet om at de mistet katten sin på denne dagen. Selv om det er et tap, gir det dem et positivt minne. "Og på en måte har hver Facebook-bruker en svært personlig, bak-scenes profil som vet hva han eller hun vil eller ikke vil gjenkjenne om. "Når du samhandler med minnene - som du deler, eller som du avviser - finnes det en maskinlæringsmodell som bruker innholdsforståelsesmodulen, sammen med dine preferanser, og tilpasser fremtidige minner som blir servert til deg.”

Men vær ikke redd: Facebook vil forsikre deg om at du ikke er uhøflig påminnet om en oppbrudd eller en slektninges forbigående. "Uansett hvor bra A.I. eller maskinlæringsteknologi er, vil vi fortsatt gi kontroll til brukeren, fordi vi på slutten av dagen har til hensikt å gjenopprette minner de liker. "Brukerne får en overstyringsbryter:" Hvis de vet det, mellom disse datoer, en negativ ting skjedde - de brøt opp, eller noe - vi vil gi dem full kontroll over å ikke overdekke disse minner."

Innenfor preferanser for På denne dagen kan du si Ikke vis meg minner med så og så fordi han er en foraktlig mann eller … fra de siste tre årene som var elendige og på ingen måte bemerkelsesverdige.

Ser frem, Paluri forklarer hvorfor han er begeistret for å fortsette å jobbe med å utvikle disse systemene, og forbedre kvaliteten på Facebooks hovedkort.

Du har nevnt andre programmer allerede for visjon og innholdsforståelse systemer i Facebook. Er det noe annet som fortsatt er i arbeidene - som sysselsetter disse systemene - som spenner deg?

Alle disse evnene på videoer er noe som spenner meg, sikkert. Det eksisterer absolutt allerede; Det er en pågående ting, fordi videoen er ganske stor på Facebook. Men jeg tror, ​​på et visst nivå, vi ønsker å bli rikere og rikere på å forstå det. Den nåværende datasynteknologien er fortsatt ikke der når det gjelder å beskrive bilder som mennesker gjør. Det kan fortelle deg at dette bildet har disse tingene, at dette er piksel som tilhører katten, og så videre - men det er begrenset. Det forstår fortsatt ikke forholdet mellom ting, og det beskriver det fortsatt ikke på en menneskelig måte.

Det er noe arbeid der ute som beskriver bilder - det kalles bildetekst. Det er en mengde arbeider som kom ut de siste to årene. Men hvis du ser på bildetekster som disse systemene genererer, er de veldig generelle. De er ikke beskrivende. En av tingene vi ønsker, og som kommer til å komme i fremtiden fra vår side, er å beskrive dem på en mye rikere måte. Både for bilder og video. Hvis du har en to minutters video, vil du ikke ha en setningsbeskrivelse; hva du vil ha er et avsnitt med tidssensor til beskrivelsen, ikke sant? "Dette skjedde, da skjedde dette, så skjedde det," ikke sant? Det er en god forståelse.

Så, du ønsker å slå meg ut av jobben min, sier du. Kort oppsummert.

Lapper Nei, definitivt ikke. Jeg gjør jobben din mer interessant.

Føler du at Facebook er litt merkelig for denne undersøkelsen, eller er det et perfekt sted?

Jeg tror det er et perfekt sted, fordi innholdsforståelse er i DNA fra Facebook. Hvis du ser på eksplosjonen av Facebook-bruk, er News Feed en av stolpene som tillot Facebook å være et fantastisk sosialt nettverk sammenlignet med mange andre konkurrenter. News Feed, fortsatt, er hoveddistribusjonskanalen.

Men når du kommer til nyhetsmat, kommer du ikke med en bestemt hensikt. Du kommer dit for informasjon. Så det er litt viktig for oss å vise deg de riktige tingene, for å vise deg meningsfulle ting. Hvis du skal til andre tjenester, kan du kanskje gå med en hensikt, i hvilket tilfelle all service må gjøre er å gi svaret. Her er det som om jeg gir deg spørsmålet og Jeg gir deg svaret. Så, du må være veldig, veldig bra for noen å fortsette å komme tilbake.

Det er derfor A.I. og innholdsforståelse er kjernen i Facebook, og hvorfor dette er det beste stedet for det. Gitt hvor mye media det er - gitt hvor mye innhold på Facebook handler om bilder og videoer, og skiftet mot mer og mer video og VR - det er det beste stedet å gjøre A.I. forskning, datasyn og maskinlæring.

Det er ikke et merkelig sted: det er de sted.