211service.com
Appen upptäcker objekt för synskadade
När jag gick runt på mitt kontor en morgon nyligen, berättade en kvinnlig röst på min iPhone de föremål jag passerade. Tegel, vägg, telefon, sa hon sakligt. Rösten stannade när jag stötte på en cykel som hängde på en vägghängd ställning och sedan tonades, cykel.
Rösten är en del av en gratis app för bildigenkänning som heter Aipoly som försöker göra det lättare för personer med synnedsättning att känna igen sin omgivning. För att använda den riktar du telefonens bakre kamera mot vad du vill att den ska identifiera, och Aipoly kommer att tala vad den ser (eller åtminstone vad den tror att den ser) och visa objektets namn på telefonens display. Aipoly körs direkt på din telefon, så den behöver inte ha tillgång till internet för att fungera, och den kan identifiera det ena objektet efter det andra när du flyttar runt telefonen, utan att du behöver ta ett foto av varje sak.
Skaparna av Aipoly hoppas att appen kan vara till hjälp för personer med grava synnedsättningar – och kanske för dem som försöker lära sig ett nytt språk. De hoppas också att det kommer att vara snabbare än andra bildigenkänningsrelaterade appar som är beroende av andra människors hjälp, som Var mina ögon , eller som kräver internet, som t.ex Tryck påTapSee .
Appen rullades ut för iPhone tidigt i år av en Melbourne-baserad startup med samma namn. Aipolys medgrundare Simon Edwardsson säger att de känner igen bilder genom att använda djupinlärning, som är en maskininlärningsteknik inspirerad av studier av hjärnan. Det är samma teknik som används av Facebook för att känna igen ansikten och Google för att söka bilder.
Appen tar reda på vad något är genom att dela upp en bild i olika egenskaper, som kurvor, linjer och mönster (som ränder), och använder sedan dessa funktioner för att bestämma sannolikheten för att bilden är ett specifikt objekt.
Aipoly kunde berätta för mig hur många saker jag kan hitta på mitt kontor, även om det fortfarande krävs mycket arbete. Den kan bara känna igen cirka 1 000 föremål än så länge; Edwardsson säger att företaget försöker öka det till 5 000, men det skulle fortfarande inte vara så många om man tänker på hur många olika saker man stöter på varje dag.
Och även om appen ofta var korrekt när den upptäckte ett föremål, även när den delvis var tilltäppt (som hörlurar slängde runt min kollegas hals), fanns det många feleldningar också.
Till exempel sa dess kvinnliga röst Chevrolet, sedan hjul och slutligen mus medan telefonen var fokuserad på min datormus. Och appen felidentifierade en mikrovågsugn som AC.
Aipolys iPhone-app använder artificiell intelligens för att identifiera objekt när du flyttar runt din telefon.
Användare kan träna Aipoly genom att skriva ett korrekt ord eller en fras för att identifiera ett objekt som det blir fel på; denna data kommer sedan att laddas upp till Aipolys servrar och uppstarten kommer att lägga till beskrivningar till Aipoly med några veckors mellanrum när den släpper nya versioner av appen, säger Edwardsson.
Jeff Bigham , en docent i mänsklig datorinteraktion vid Carnegie Mellon University som studerar hjälpmedel, säger att Aipoly verkar fungera ganska bra, och det kan användas för att få en känsla av din omgivning genom att flytta telefonen runt dig. Men han ifrågasätter hur användbara vissa av dess objektidentifierande färdigheter är, eftersom människor tenderar att vara bra på att avgöra vad något är genom att röra vid det.
Vad som är mycket mer användbart är att skilja saker från varandra som annars inte går att särskilja, säger han, som burkar eller lådor med mat som känns ungefär likadant.