211service.com
Språkmodeller som GPT-3 kan förebåda en ny typ av sökmotor
Pixabay
År 1998 publicerade ett par Stanford-studenter en uppsats som beskrev en ny typ av sökmotor : I den här artikeln presenterar vi Google, en prototyp av en storskalig sökmotor som använder sig av strukturen i hypertext. Google är designat för att genomsöka och indexera webben effektivt och producera mycket mer tillfredsställande sökresultat än befintliga system.
Relaterad berättelse
Denna know-it-all AI lär sig genom att läsa hela webben nonstop Diffbot bygger den största kunskapsgrafen någonsin genom att tillämpa bildigenkänning och naturligt språkbehandling på miljarder webbsidor.Den viktigaste innovationen var en algoritm som heter PageRank, som rankade sökresultat genom att beräkna hur relevanta de var för en användares fråga utifrån deras länkar till andra sidor på webben. På baksidan av PageRank blev Google porten till internet, och Sergey Brin och Larry Page byggde ett av de största företagen i världen.
Nu har ett team av Google-forskare publicerat ett förslag till en radikal omdesign som kastar ut rankningsmetoden och ersätter den med en enda stor AI-språkmodell – en framtida version av BERT eller GPT-3 . Tanken är att istället för att söka efter information i en stor lista med webbsidor, skulle användarna ställa frågor och få en språkmodell tränad på dessa sidor att svara på dem direkt. Tillvägagångssättet kan förändra inte bara hur sökmotorer fungerar, utan hur vi interagerar med dem.
Många problem med befintliga språkmodeller måste åtgärdas först. Till att börja med kan dessa AI:er ibland generera partiska och giftiga svar på frågor – ett problem som forskare på Google och på andra håll har påpekat .
Tänker om på PageRank
Sökmotorerna har blivit snabbare och mer exakta, även när webben har exploderat i storlek. AI används nu för att rangordna resultat, och Google använder BERT för att förstå sökfrågor bättre. Men under dessa justeringar fungerar alla vanliga sökmotorer fortfarande på samma sätt som de gjorde för 20 år sedan: webbsidor indexeras av sökrobotar (programvara som läser webben oavbrutet och upprätthåller en lista över allt den hittar), resultat som matchar en användares sökfråga är hämtas från detta index, och resultaten rangordnas.
Denna index-hämta-sedan-ranka ritning har stått emot tidens tand och har sällan ifrågasatts eller på allvar tänkt om, skriver Donald Metzler och hans kollegor på Google Research. (Metzler avböjde en begäran om att kommentera.)
Problemet är att även de bästa sökmotorerna idag fortfarande svarar med en lista över dokument som innehåller den information som efterfrågas, inte med själva informationen. Sökmotorer är inte heller bra på att svara på frågor som kräver svar från flera källor. Det är som om du frågade din läkare om råd och fick en lista med artiklar att läsa istället för ett rakt svar.
Metzler och hans kollegor är intresserade av en sökmotor som beter sig som en människoexpert. Den bör producera svar på naturligt språk, syntetiserade från mer än ett dokument, och backa upp sina svar med hänvisningar till stödjande bevis, som Wikipedia-artiklar syftar till att göra.
Relaterad berättelse
Varför GPT-3 är det bästa och sämsta av AI just nu Open AI:s språk AI imponerade allmänheten med sin uppenbara behärskning av engelska – men är allt en illusion?
Stora språkmodeller tar oss en del av vägen dit. Utbildad på det mesta av webben och hundratals böcker, hämtar GPT-3 information från flera källor för att svara på frågor på naturligt språk. Problemet är att den inte håller reda på de källorna och inte kan ge bevis för sina svar. Det finns inget sätt att avgöra om GPT-3 papegojar pålitlig information eller desinformation – eller bara spyr ut nonsens av egen tillverkning.
Metzler och hans kollegor kallar språkmodeller för dilettanter – De uppfattas veta mycket men deras kunskap är huddjup. Lösningen, hävdar de, är att bygga och utbilda framtida BERT och GPT-3 för att behålla register över var deras ord kommer ifrån. Inga sådana modeller klarar ännu av detta, men det är i princip möjligt och det pågår tidigt arbete i den riktningen.
Det har gjorts årtionden av framsteg inom olika sökområden, från att svara på frågor till att sammanfatta dokument till att strukturera information, säger Ziqi Zhang vid University of Sheffield, Storbritannien, som studerar informationssökning på webben. Men ingen av dessa tekniker såg över sökningen eftersom de var och en adresserar specifika problem och inte är generaliserbara. Den spännande utgångspunkten för den här uppsatsen är att stora språkmodeller kan göra alla dessa saker samtidigt, säger han.
Ändå noterar Zhang att språkmodeller inte fungerar bra med tekniska eller specialistämnen eftersom det finns färre exempel i texten de utbildas på. Det finns förmodligen hundratals gånger mer data om e-handel på webben än data om kvantmekanik, säger han. Språkmodeller idag är också snedställda mot engelska, vilket skulle lämna icke-engelska delar av webben underbetjänade.
Hanna Hajishirzi, som studerar naturlig språkbehandling vid University of Washington, välkomnar idén men varnar för att det skulle bli problem i praktiken. 'Jag tror att stora språkmodeller är mycket viktiga och potentiellt framtiden för sökmotorer, men de kräver stort minne och beräkningsresurser', säger hon. 'Jag tror inte att de skulle ersätta indexering.'
Ändå är Zhang exalterad över möjligheterna. Det har inte varit möjligt tidigare, eftersom stora språkmodeller tog fart först nyligen, säger han. Om det fungerar skulle det förändra vår sökupplevelse.
Uppdatering: vi har ändrat texten för att tydligare representera problemen med befintliga stora språkmodeller.