Hur Moss hjälpte maskinseende att övervinna en akilleshäl

De senaste åren har algoritmer för djupinlärning revolutionerat hur maskiner känner igen objekt. Toppmoderna algoritmer överträffar lätt människor när det gäller att identifiera vanliga saker som bord, stolar, bilar och till och med ansikten.

Men dessa algoritmer har en akilleshäl: det finns vissa saker som de helt enkelt inte kan se. Till exempel är maskinseende inte bra på att känna igen saker som gräs och örter, eftersom de har amorfa former som är svåra att definiera.

Ett bord har i allmänhet fyra ben och en plan yta, egenskaper som maskininlärning är bra på att identifiera. Däremot kan gräs och örter av samma art vara olika stora och ha olika antal löv, frön och så vidare, beroende på växtförhållandena. Det gör det svårt för maskinseende att känna igen dem, särskilt om de inte är i blom.

Maskiner har lika svårt att identifiera träd från flygbilder eller grödor från satellitbilder. Vad som behövs är ett nytt tillvägagångssätt som kan träna algoritmer för djupinlärning att arbeta med sin magi på objekt med tvetydig form.

Ange Takeshi Ise och kompisar vid Kyoto University i Japan. Dessa killar har utvecklat en enkel teknik som hjälper djupinlärningsmaskiner att känna igen dessa amorfa växter. De har genomgått den nya tekniken genom att lära den känna igen olika typer av mossa, en växt med en svårdefinierad form.

Teamet har goda förutsättningar att studera mossa, med tanke på Kyotos berömda varma och våta klimat, vilket främjar dess tillväxt. Ise och co började med att fotografera mossa i en traditionell japansk trädgård i Kyoto, kallad Murin-An, där den odlas.

De identifierade tre sorters mossa och fotograferade var och en individuellt men också på platser där de alla finns tillsammans med andra icke-mossiga växter och drag. Varje bild togs med en digitalkamera, såsom en Olympus OM-D E-M5 Mark II, med ett 50 mm objektiv (eller motsvarande) från ett avstånd av 60 centimeter direkt ovanför mossmattorna. Dessa bilder har 4608 x 3456 pixlar.

Målet för deras djupinlärningsalgoritm är att identifiera de olika typerna av mossa i en enda bild och att skilja mossan från andra föremål och växter.

Deras metod är okomplicerad. För att träna algoritmen delar teamet upp varje bild av en specifik mossa i mycket mindre regioner på 56 x 56 pixlar, med 50 procents överlappning. På så sätt genererar originalbilden cirka 90 000 bilder, av vilka de använder 80 procent för att träna sin algoritm och resten för att testa den.

Även om träningsbilderna togs av en enhetlig matta av en viss typ av mossa, kan dessa mattor innehålla små delar av andra mossor. Så teamet undersökte alla träningsbilder och tog bort bilderna av främmande mossor för hand. Det lämnade bilder av tre typer av mossa— Polytrichum , Trachycystis , och Hypen -liksom icke-mossa funktioner. Alla träningsbilder kan sedan märkas som en av dessa typer och matas in i djupinlärningsmaskinen.

Resultaten är imponerande. Med denna metod lärde sig algoritmen snabbt att känna igen varje typ av mossa med god noggrannhet. När forskarna släppte algoritmen lös på en enda bild som visar olika typer av mossa, kunde den exakt identifiera mossorna i olika delar av bilden. Modellen klassificerade korrekt testbilder med en noggrannhet på över 90 %, säger de.

Algoritmen fungerar bättre för vissa typer av mossa än andra. Den beräknade prestandan för Polytrichum är 99 % [igenkänningsnoggrannhet], Trachycystis är 95 %, och Hypen är 74 %, säger Ise och co.

Den lägre noggrannheten för Hypen beror på att denna växt är mer amorf än de andra, med mindre väldefinierade former av tillväxt. Däremot Polytrichum har en distinkt, väldefinierad form.

Teamet säger att det finns olika sätt att förbättra noggrannheten, som att bygga en träningsuppsättning av fotografier tagna vid olika tider på året när Hypen Mossa, i synnerhet, kan se mer distinkt ut. Eller så kan vitbalansen på digitalkameran standardiseras för att få en mer exakt färgåtergivning för varje mossa.

Resultaten visar i alla fall betydande lovande för framtiden. Tekniken skulle kunna tillämpas på flygbilder för att bättre identifiera träd och växter i bilder tagna från ovan. Det skulle vara oerhört användbart för inventering i naturen eller i stora skötta områden som gårdar och skogar.

Under tiden säger Ise och co att de planerar att utveckla en app som låter människor identifiera mossa med hjälp av en smartphone. Det kan visa sig vara populärt för trädgårdsmästare.

Ref: arxiv.org/abs/1708.01986 : Identifiera 3 mossarter genom djupinlärning, med hjälp av metoden med hackad bild

Dölj