Vi testet Facebooks Voice over Photo Recognition med grafiske bilder

I dag rullet Facebook ut en funksjon som kalles automatisk alttekst som gjør at bildekvaliteten til sosiale medier blir mer tilgjengelig for personer som er blinde eller synshemmede.

Ved hjelp av IOS VoiceOver-funksjonen, viser Facebooks objektgjenkjenningsteknologi elementer som et bilde kan inneholde. Spesielt omfatter disse elementene folk (hvor mange er avbildet og om de smiler), enkelte objekter, innendørs / utendørs scener, handlinger, ikoniske steder, og om et bilde har anstrengende innhold.

En studie i 2014 viste at synshemmede deler færre bilder på Facebook, men i gjennomsnitt "liker" folks bilder mer enn de som ikke er synskadet. De kommenterer også bilder like ofte. Likevel, forståelsen av bildet som er basert på å analysere kontekstavelodier ut av metadata og bildetekster - ting vi alle vet er ikke alltid de enkleste beskrivelsene.

Med automatisk alttekst kan brukerne imidlertid få ny innsikt om et bilde gjennom en mekanisert beskrivelse av bildet.

Så hva skjer når bildene kan anses å være upassende innhold under Facebooks egne retningslinjer?

Jeg lastet opp noen bilder Facebook har eller har dømt som "angrerlig" til et (privat) album for å finne ut.

amming

Historier om Facebook å fjerne bilder av kvinner ammer tok over internett i begynnelsen av 2015. Av de berørte kvinnene syntes nyfødte fotografer å ha mange av problemene.

Jade Beall er en av de fotografene.Bilder som den ovenfor ble gjentatte ganger tatt av hennes profesjonelle Facebook-side. I dag tillater Facebook bilder av amming å være på nettstedet, som Beall feiret ved å repostere bildet ovenfor som hodet bilde med bildeteksten:

"YAY for sosiale medier utvikler og støtter desexualization av kvinner ammer! Jeg er fortsatt i ærefrykt for at jeg kan legge inn dette bildet uten frykt for å være FB forbudt!"

Facebooks automatiske alttekst er også kult med amming, og lar beskrivelsen til en enkel måte:

"Bildet kan inneholde: Seks personer."

I tilfelle av et grunnleggende bilde av en mor amming, tilbyr det rett og slett:

"Bildet kan inneholde: To personer."

Narkotika bruk

Facebook forbyder eksplisitt bilder og videoer som inneholder narkotikabruk. Å ta en fett bong hit er et klart eksempel på "narkotikabruk."

Automatisk alt tekst omhandler det slik:

"Bildet kan inneholde: En person, innendørs."

nakenhet

Sammen med narkotikabruk, forbyder Facebook også nakenhet. Linjen her blir litt uklar, som Facebook tillater noen nakenhet, men bare nakenhet som selskapets censorer mener har kunstnerisk fortjeneste. Malerier får generelt mer plass i disse tilfellene, mens fotografering blir sprukket ned på litt vanskeligere.

I tilfelle av ovennevnte maleri hadde automatisk alt tekst ikke noe problem med bildet:

"Bildet kan inneholde: En person."

Som svar på Facebooks retningslinjer for sensur, rangerte kunstnere under #FBNudityDay 14. januar for å legge inn nakenbilder. Facebook har en tendens til å censurere. Et fullstendig nøkkelbildebildebilde ble tatt med, og når det ble lagt til automatisk alt-bildeprøve, var dette svaret:

"Bildet kan inneholde: En person."

Grafisk vold

Facebook fordømmer bilder og videoer som skildrer og forherrer grafisk vold. Etisk, grafisk vold er skummel bakken. Bildet vi brukte til å teste hvordan den automatiske altteksten ville reagere på grafisk vold var et av et venezuelansk skuddoffer som ble lagt ut i 2014 og eid av San Francisco Chronicle.

Bildet har en mann på en gurney i smerte, blod overalt. Ved siden av ham er en kvinne med hansker på, men bildet skjærer henne på skuldrene.

Det var her den mest skadelige alt tekstresponsen kom inn. Voiceover sa bare:

"Bildet kan inneholde: Sko."

Levende fødsel

Facebooks siste forgang til hva som bør og ikke skal vises på folks sosiale medier, var et bilde av en levende fødsel. New York Magazine Først tok oppmerksomheten til bildet, som viser en kvinne som heter Francie som holder hennes nyfødte baby, navlestreng fortsatt festet.

Det ble postet i en privat Facebook-gruppe, men ble fjernet fordi noen i den private gruppen rapporterte det for å ha overtrådt Facebooks nøkkelregler. Francie uttalte imidlertid at hun betraktet bildet som et eksempel på kvinnelig empowerment.

Automatisk alttekst hadde dette å si:

"Bildet kan inneholde: En eller flere personer."

Som disse eksemplene viser, er Facebooks automatiske alt-tekst ikke så rask til å bedømme hva som er og ikke er hensiktsmessig for nettstedet som Facebooks sensorer er. Men det er fortsatt tid til å fange opp. Facebook sier at den nye teknologien vil bli bedre etter hvert som tiden går, og programmet lærer mer.

Uansett hvor velfungerende ved lansering, vil den nye teknologien gi synskadede muligheten til å samhandle med bilder på Facebook på måter de ikke kunne gjøre før. Vi ser frem til automatisk alt tekstforbedring - men kanskje ikke så mye at det begynner å snikke på "upassende" bilder, ikke sant?