211service.com
Extrahera betydelse från miljontals sidor
En mjukvarumotor som drar samman fakta genom att kamma igenom mer än 500 miljoner webbsidor har utvecklats av forskare vid University of Washington. Verktyget extraherar information från miljarder textrader genom att analysera grundläggande relationer mellan ord.
Ordsökning : TextRunner kammar automatiskt igenom 500 miljoner webbsidor för att extrahera mening från ordrelationer.
Vissa experter säger att den här typen av automatiserad informationsextraktion sannolikt kommer att utgöra grunden för en mycket mer intelligent nästa generations webbsökning, där mängder av information först samlas in och sedan kombineras intelligent.
University of Washington-projektet representerar en uppskalning av en befintlig teknik som utvecklats där, kallad TextRunner, både vad gäller antalet sidor och omfattningen av ämnen som den kan analysera.
Betydelsen med TextRunner är att den är skalbar eftersom den är oövervakad, säger Peter Norvig, forskningschef på Google, som donerat databasen med webbsidor som TextRunner analyserar. Den kan upptäcka och lära sig miljontals relationer, inte bara en åt gången. Med TextRunner finns det ingen människa i slingan: den hittar bara relationer på egen hand.
Norvig förklarar att tidigare teknologier har krävt mer vägledning från programmeraren. Till exempel, för att hitta namnen på personer som är VD:ar inom miljontals dokument, måste du först träna programvaran med andra exempel, som Steve Jobs är VD för Apple, Sheryl Sandberg är VD för Facebook. Norvig tillägger att Google gör liknande arbete och använder redan sådan teknik i begränsade sammanhang.
TextRunner blir av med det manuella arbetet. En användare kan till exempel gå in, dödar bakterier, och motorn kommer med sidor som ger insikter om att klor dödar bakterier eller ultraviolett ljus dödar bakterier eller värme dödar bakterier – resultat som kallas trippel – och ger sätt att förhandsgranska texten och besök sedan webbsidan som den kommer ifrån.
Prototypen har fortfarande en ganska enkelt gränssnitt och är inte avsedd för offentlig sökning så mycket som för att demonstrera den automatiska utvinningen av information från 500 miljoner webbsidor, säger Oren Etzioni , en datavetare vid University of Washington som leder projektet. Det vi visar är mjukvarans förmåga att uppnå rudimentär förståelse av text i en aldrig tidigare skådad skala och omfattning, säger han.
Etizioni säger att TextRunners förmåga att extrahera mening snabbt och i stor skala kom från hans grupps upptäckt av en generell modell för hur relationer uttrycks på engelska som stämmer oavsett ämne. Till exempel täcker det enkla mönstret 'entity1, verb, entity2' förhållandet 'Edison uppfann glödlampan' såväl som 'Microsoft förvärvade Farecast' och många fler, säger han. TextRunner förlitar sig på denna modell, som automatiskt lärs in från text, för att analysera meningar och extrahera trippel med hög noggrannhet.
TextRunner fungerar också som en utgångspunkt för att bygga slutsatser från frågor på naturliga språk, vilket är vad gruppen nu arbetar med. För att ge ett enkelt exempel: om TextRunner hittar en webbsida som säger att däggdjur är varmblodiga och en annan webbsida som säger att hundar är däggdjur, kommer en slutledningsmotor att producera informationen att hundar förmodligen är varmblodiga.
Detta är analogt med teknik utvecklad av Powerset, som förvärvades av Microsoft förra året. Strax före detta förvärv presenterade Powerset ett verktyg som var begränsat till att extrahera fakta från endast cirka två miljoner Wikipedia sidor. TextRunner-tekniken hanterar Wikipedia-sidor plus godtycklig text på vilken sida som helst, inklusive blogginlägg, produktkataloger, tidningsartiklar och mer.
Denna arbetslinje har gjort viktiga framsteg i den skala som dessa uppgifter kan närma sig, säger Jon Kleinberg, en datavetare vid Cornell University som har följt University of Washingtons sökforskning. Han tillade att detta arbete återspeglar en växande trend mot utformningen av sökverktyg som aktivt kombinerar information de hittar på webben till en större syntes.