AI-framsteg gör det möjligt att söka, handla med bilder

Webben har förändrats mycket under de senaste 20 åren, men textsökningsrutor är en konstant. Att skriva text i pixlade avlånga avlängder förblir en stapelvara i hur vi interagerar med webbplatser och mobilappar som onlinebutiker.

Pinterest-användare kan söka efter objekt på tjänsten genom att välja delar av en bild.

De senaste framstegen inom programvara för bildigenkänning används för att utmana det. Det sociala nätverket Pinterest och skobutiken Shoes.com på nätet testar nya sätt att söka eller bläddra med bara bilder istället för text.

Båda företagen har vänt sig till en teknik som kallas djupinlärning, som nyligen har gjort det möjligt för programvara matcha människor på vissa riktmärken för bildigenkänning. Tekniken driver Googles bildsökning och fotoorganisationstjänsten som den lanserade i somras (se Google lanserar nya automatiserade hjälpare).

Pinterests nya visuella sökverktyg låter dig rita en ruta runt något som syns i en bild på tjänsten för att hitta visuellt liknande föremål från ett index på över en miljard. Till exempel, i ett snabbt test av funktionen, att rita runt en kaffebryggare som sågs på ett foto av ett kök visade det sig att andra gillar den, inklusive närbilder av exakt samma modell.

Vissa föremål som kallas till genom en visuell sökning kommer med köpknappar bifogade - en funktion som Pinterest introducerade i somras. Bildsökningsfunktionen rullas ut till alla användare av företagets webbplats och mobilappar denna vecka. Pinterests system lärde sig att förstå bilder genom att rita på texten som folk bifogade till foton som delas på tjänsten.

Företag har försökt använda bildsökningsteknik för att göra shopping eller att upptäcka produkter enklare tidigare. Till exempel levererade Amazon en app för att leta upp produkter som tagits på ett foto med sin floppade Fire-smarttelefon förra året. 2010 köpte Google Like.com, som hade lanserat en sajt för shoppingjämförelse som kunde hitta produkter som visuellt liknade en du valt och till och med låter dig markera viktiga detaljer på en bild för att vägleda dess val. Google visar visuellt liknande produkter på sin shoppingsajt idag, men låter dig inte lyfta fram detaljer.

Kevin Jing, chef för visuell sökning på Pinterest, säger att visuell sökning nu har större chans att bli oumbärlig. Bildrepresentation som kommer från djupinlärning är mycket, mycket mer exakt, säger han. Även i år har det skett så mycket förbättringar. De nya visuella sökverktygen är dock inte perfekta. Först när många människor har fått en chans att prova dem kommer det att stå klart om den underliggande tekniken har förbättrats tillräckligt för att väsentligt förändra hur människor interagerar med onlinetjänster.

Skohandlaren Shoes.com testar ett annat tillvägagångssätt för visuell sökning som också drivs av djupinlärning. Företaget är först med att använda sig av bildbehandlingsteknik riktad till återförsäljare utvecklad av artificiell intelligens startup Sentient, som har samlat in över 143 miljoner dollar från investerare (se AI Supercomputer Built by Tapping Data Warehouses for Idle Computing Power ).

Shoes.com testar initialt Sentients teknologi i damskorsektionen av sin kanadensiska butik. Klicka på den visuella filterknappen och du får ett rutnät med 12 bilder som Sentients programvara tror representerar de mest distinkta klustren av stilar från katalogen med cirka 7 000 stövlar. Välj den som ligger närmast det du letar efter och programvaran kommer att använda de visuella egenskaperna hos ditt val för att uppdatera rutnätet för att visa 11 till som ser ut som det. Att upprepa den processen några gånger gör det möjligt att hitta ett urval av stövlar med mycket speciella egenskaper.

Nigel Duffy, Sentients tekniska chef, säger att den nya funktionen visar hur programvara som kan förstå bilder gör onlineshopping effektivare. Det här är en kategori där det är väldigt svårt att beskriva i ord för en sökmotor vad du letar efter, säger han. Vi kan få riktigt detaljerade preferenser väldigt snabbt.

Roger Hardy, VD för Shoes.com, säger att det finns bevis för att den visuella filterfunktionen ökar försäljningen och att han överväger att rulla ut den till andra kategorier av skor. Sentients Duffy säger att han förväntar sig att se den underliggande teknologin tillämpas på andra produkter som smycken, väskor och andra accessoarer.

Dölj