Sök bortom Google

Om anställda på Google är oroliga för framtiden, skulle du inte veta det från ett besök på företagets huvudkontor. Sedan förra hösten, när tal om ett börsnotering fick investerare att salivera, har organisationen varit under ovanlig granskning: vissa observatörer har kallat det det hetaste företaget på planeten, medan andra hävdar att det är en verksamhet i ledarlös oordning, med konkurrenter som trängs in och stora kunder på gränsen till avhopp. Men Google-komplexet i Mountain View, Kalifornien, är till det yttre lika bekymmerslöst som vilket universitetsområde som helst. Huvudlobbyn är ett arbetsrum i shagadelic kitsch, med en babyflygel, en snurrande festlampa och en rad neonljusa lavalampor arrangerade i samma blå-röd-gul-blå-grön-röd sekvens som företagets bekanta. logotyp. Cafeterian pulserar av rockmusik, ropade konversationer och ljudet av nördar som slukar gratis gourmetmat. På övervåningen, i båsgårdarna, pratar programmerare över gångvägar fulla av leksaker, Segway-transporter och en och annan hund.

Det är först när jag sätter mig i ett tyst konferensrum med Googles teknikchef Craig Silverstein som den snurriga dot-com-stämningen blir mer allvarlig. Nu när företag som Google och Internetreklambyrån Overture har visat att visning av ämnesspecifika betalda annonser vid sidan av resultaten på en söksida är en verklig pengagörare - som bidrar till uppskattningsvis 2 miljarder dollar i branschövergripande intäkter under 2003 - en grupp wannabes investerar i sökprogram som de säger kommer att ge användarna mer relevanta resultat än Googles, snabbare. Jag frågar Silverstein om Googles berömda fokus på bättre teknik kommer att hålla det före alla konkurrenter. Hans svar är försiktigt.

Det är väldigt lätt att flytta från en sökmotor till en bättre, säger han. Google betalar hundratals forskare och mjukvaruutvecklare, inklusive mer än 60 doktorer, för att bemanna frontlinjerna i detta teknikkrig, förklarar Silverstein, som själv är på längre ledighet från sina doktorandstudier i datavetenskap vid Stanford University. Men han erkänner att det inte är någon garanti för seger. Vi hoppas att nästa genombrott kommer från Google - men vem vet?

Vem vet, egentligen? Enligt Reston, VA-baserade undersökningsföretaget comScore, har Google ett stort försprång över sina konkurrenter vad gäller publikandel i USA, och stod för 77 procent av alla sökningar i augusti 2003 (inklusive sökningar gjorda på AOL och Yahoo!, som använde Googles sökmotor ). Men i sökbranschen är innovation ett wild card. 1999 kunde man ha sagt att AltaVista i stort sett hade avslutat sökmarknaden, konstaterar Whit Andrews, forskningschef på teknikrådgivningsföretaget Gartner. 1997 var det Inktomi. 1995 var det Yahoo!. Du vet aldrig i sökbranschen när det finns någon på gatan som kommer att få dig att se ut som gårdagens nyheter.

Google är sårbart delvis för att det har få av de infrastrukturella fördelarna, som AT&T:s en gång exklusiva ägande av större delen av telefonnätet eller Microsofts kontroll över PC-operativsystem, som vanligtvis bidrar till att bevara dominansen. (Pressrapporter i januari indikerade faktiskt att Yahoo! snart kan avbryta sin relation med Google och vända sig till sin egen sökteknologi.) Och företagets anspråk på berömmelse – dess sökalgoritmers förmåga att hitta de mest relevanta resultaten, baserat på deras popularitet-kan bli oaktad. När Google först lanserades hade de några nya knep som ingen annan hade tänkt på tidigare, säger Doug Cutting, en oberoende mjukvarukonsult som skrev en del av kärnteknologin bakom sökmotorn Excite och har designat sökverktyg för Apple Macintosh-datorer. Men många andra sökmotorer erbjuder nu spännande alternativ till Googles tekniker, tror Cutting.

Till exempel finns det Teoma, som rangordnar resultaten enligt deras ställning bland erkända myndigheter i ett ämne, och den australiska startupen Mooter, som studerar användarnas beteende för att bättre förstå exakt vad de letar efter. Och så är det gorillan från Redmond: Microsoft vänder sig till att söka som en av sina nästa stora affärsmöjligheter. Dess forskare utarbetar ett nytt operativsystem som smälter samman Google-liknande sökfunktioner i alla Windows-program, såväl som programvara som letar igenom webben efter definitiva svar på frågor som du formulerar på daglig engelska. Samtidigt har Yahoo! lanserade ett eget forskningslaboratorium i januari och Cutting själv bygger ett alternativ med öppen källkod till Google. Nuförtiden, säger han, är jag inte övertygad om att [Google är] markant bättre.

Oavsett vilken teknik som lockar morgondagens webbsurfare, kommer dess byggare att tjäna enormt inflytande och vackra vinster. Cirka 550 miljoner sökförfrågningar läggs in varje dag över hela världen (245 miljoner av dem i USA). År 2007 kommer de betalda annonsintäkterna som genereras av alla dessa sökningar att uppgå till cirka 7 miljarder USD, säger analytikern Safa Rashtchy från Piper Jaffray. Ändå visar undersökningar att nästan en fjärdedel av användarna inte hittar vad de letar efter i den första uppsättningen länkar som returneras av en sökmotor. Det beror delvis på att de värdefulla informationsnålar vi söker är begravda under en höstack som växer med cirka 60 terabyte varje dag. Och det är därför som den brutala konkurrensen inom sökbranschen säkerligen kommer att fortsätta, särskilt när sökföretagen inleder en mängd avancerade teknologier, såsom bearbetning av naturliga språk och maskininlärning. Under de kommande fem till tio åren, säger Rashtchy, kunde vi se massiva förbättringar som ger en ökning av relevans och användning i storleksordningar. Och det är konkurrensen om att leverera dessa förbättringar - mycket mer än framgången eller misslyckandet med Googles ryktade börsintroduktion, som förväntas av många ske i vår - som sannolikt kommer att avgöra hur vi kommer att navigera på webben om några år.

Dra rang

Till sin natur är det kaotiskt och decentraliserat och webben skriker efter verktyg för att hjälpa människor att leta efter dokument oavsett var de bor. Säg att du vill ha information om behandlingar för skörbjugg på 1700-talet: utan en sökmotor har du inget sätt att veta att den data du behöver endast lagras på platser som en kryptiskt namngiven fil ( www.jameslindlibrary.org/trial_records/17th_18th_ Century/lind/lind_kp.html) på en server på biblioteket vid Royal College of Physicians i Edinburgh, Skottland.

När du skriver skörbjugg i en sökruta på Google eller MSN eller Ask Jeeves, rör du dock fortfarande inte själva filen på Royal College. Du bläddrar bara igenom sökföretagets index över webben - en enorm lista sammansatt av mjukvaruspindlar som kryper igenom tusentals sidor varje sekund, kopierar nyckelord, fraser, titlar och undertexter, länkar och annan beskrivande information. När ett fragment av information väl landar i indexet komprimeras det vanligtvis, tilldelas en vikt eller betydelse och lagras i en databas för snabb hämtning. Söktermerna du anger jämförs med detta index, och länkar till sidor som innehåller en eller flera av dina termer visas i relevansordning.

Hur en sökmotor avgör att relevansen är den hemliga såsen. Google tog fart 1999 till stor del tack vare PageRank, en algoritm som uppfanns av grundarna Larry Page och Sergey Brin och som var den första som utnyttjade den massiva sammanlänkningen av webbsidor. Varje länk är i själva verket en röst gjord av författaren till en sida för innehållet på en annan. Page och Brin insåg att om deras index var tillräckligt stort skulle de kunna bedöma en sidas betydelse genom att räkna antalet andra sidor som länkade till den. De tog även hänsyn till andra faktorer, såsom relevansen av texten kring länkarna och länksidornas egen popularitet. Men deras banbrytande insikt var att webben är en gigantisk popularitetstävling - och att de mest citerade sidorna förmodligen kommer att vara de mest användbara. Tekniken fungerade djävulskt bra och webbanvändare röstade med sina klick. Mellan juni 2000 och januari 2004 sjönk den före detta topphunden AltaVista, som rankade resultat till stor del efter hur många gånger en sida nämnde användarens sökord, från åttonde plats i den totala webbtrafikrankningen till 61:a, medan Google klättrade från nästan osynlig till fjärde plats, enligt uppgifter från analysföretagen Media Metrix och Alexa. Google har så genomsyrat webben att själva namnet valdes av American Dialect Society som det mest användbara nya ordet 2002.

Trots sina fördelar har PageRank några brister. Precis som tidigare sökmotorer kunde luras av sidor fyllda med tusentals nyckelord i osynligt vitt-på-vitt typ, kan en skrupelfri webbplatsägare som vill att hans webbadress ska visas högre upp i Googles sökresultat enkelt publicera tusentals eller till och med miljontals skräpsidor som innehåller länkar till hans webbplats, vilket på konstgjord väg höjer dess ranking. (Google säger att de har sätt att motverka sådana attacker, men kommer inte att diskutera dem.) Samma kryphål i PageRank tillåter Google-bombningar – ett nyligen förekommande fenomen där bloggare gör en humoristisk eller politisk poäng genom att skapa så många länkar till en viss webbplats som det kommer upp först när användare skriver in en specifik term i Googles sökruta. Googles bombplan som protesterade mot kriget i Irak, till exempel, lyckades göra George W. Bushs biografi om Vita huset till det första rankade resultatet under ett eländigt misslyckande.

Mer besvärande för vissa kritiker är dock PageRanks besatthet av berömmelse. En legitim sida som matchar en Google-användares söktermer perfekt kan begravas i sökresultaten helt enkelt för att det inte finns tillräckligt med andra sidor som pekar på den, konstaterar Daniel Brandt, en webbutvecklare som driver en kritisk webbplats som heter Google Watch. En sidas relevans för en enskild användare, hävdar Brandt och andra kritiker, kan bero på mer än dess popularitet. Bara för att resten av planeten tror att det här är resesidan nummer ett betyder det inte att det är resesidan nummer ett för dig, säger Liesl Capper, grundare och VD för Sydney-baserade uppkomlingen Mooter, som tror att hon kanske har ett bättre sätt.

Sätta en stämpel på sökresultat

Skriv in samma sökord i tio olika sökmotorer, och du kommer sannolikt att få tio motstridiga uppsättningar resultat. Det beror delvis på att sökföretagens spindlar genomsöker olika delmängder av webben; men ännu viktigare, det är en återspegling av de unika principerna som fungerar i varje företags rankningsalgoritmer. Så här hanterar tre sökmotorer termen frimärkes samling .

	Fråga Jeeves/Teoma	Google	Mooter
ett.	American Philatelic Society	Samling av mynt och frimärken (About.com)	Stämpel länk - Filateli, frimärkssamlandets bästa sida i sin kategori
två.	Joseph Lufts filatelistiska resurser på webben	Joseph Lufts filatelistiska resurser på webben	Warragul Philatelic Society (frimärkssamling)
3.	Linns.com : Webbplatsen för världens största veckofrimärkestidning-Linn's Stamp News	American Philatelic Society	Posthistoria , filatelistiska omslag och frimärken till salu
Fyra.	Stämpel länk - Filateli, frimärkssamlandets bästa sida i sin kategori	BNAPS frimärkssamling för barn	Great Britain Philatelic Society
5.	Philatelic.Com	Linns.com : Webbplatsen för världens största veckofrimärkestidning-Linn's Stamp News	Frimärkssamling, filateli, frimärksauktion
	Den högst rankade sidan har den högsta auktoriteten - i huvudsak flest länkar - bland gemenskaper av webbplatser om frimärkssamling. Den valideras av referenser från resurssidor (länksamlingar från experter och entusiaster – i det här fallet frimärkssamlare) och länkpopularitetsmätningar som liknar Googles. Tvåan, Joseph Luft’s Philatelic Resources, har färre och mindre kvalificerade remisser från experter i ämnet.	Googles tjänstemän kommer inte att diskutera hur Google-motorn kommer fram till ranking för specifika webbplatser. Patentdokument och publicerade dokument visar dock att Google rangordnar sidor efter hur ofta andra sidor länkar till dem. Google tar också hänsyn till sådana faktorer som relevansen av hänvisningssidorna och texten kring länkarna. Förmodligen samlingsfrimärken. about.com är den mest citerade sidan om detta ämne i Googles index.	Mooter grupperar först resultaten i kluster eller teman. Sidorna som visas ovan visas i filatelistklustret, rangordnade efter hur ofta sökorden och klusternamnet förekommer på varje sida, bland andra faktorer. Mooter lär sig användarens avsikt genom att notera vilka kluster och sidor som klickas på, och rankar om resultaten för att återspegla det uppenbara mönstret av intresse.

Källor: Ask Jeeves, Google, Mooter. Resultat aktuella den 5 januari 2004 (Fråga Jeeves, Google), 13 januari 2004 (Mooter).

En Starburst av idéer

Jag äter lunch med Capper en strålande tidig vinterdag i San Francisco. Hon är i stan för att kalla på potentiella investerare och kunder. Människor som kontrollerar informationsflödet har en subtil men genomgående kraft, säger hon uppriktigt till mig. Någon måste ha den makten, och det är viktigt att de som gör det är de som medvetet försöker ha en positiv inverkan, och som ger makten tillbaka till individen. Mooter syftar till att göra det genom att göra webbsökningar enklare och mer personliga. Capper växte upp i Zambia, studerade psykologi i Sydafrika och grundade en kedja av centra för tidig barndomsutveckling innan han emigrerade till Australien 1997 och valde sökteknologi som platsen för sitt nästa genomslag. Hon etablerade sig i centrala Sydney och anställde Jondarr Gibb, en erfaren mjukvaruarkitekt, och John Zakos, en doktorand som skriver sin doktorsavhandling vid Griffith University om tillämpningar av neurala nätverksteori för internetsökningar.

De tre har blandat sina idéer om psykologi, mjukvara och neurala nätverk för att skapa en rankningsalgoritm som lär sig av användaren allt eftersom en sökning fortskrider. Innan en lång lista med länkar dumpas på en användare, analyserar Mooter de potentiella betydelserna och permutationerna för startnyckelorden och, bakom kulisserna, rangordnar de resulterande webbsidornas relevans inom breda kategorier som kallas kluster. Användaren ser först en starburst av klusternamn på skärmen. En sökning på namnet Paul Czanne, till exempel, ger kluster som t.ex konst, konstnärer, Czanne, Frankrike, gallerier , och kända målningar . Det är psykologidelen. När du gör en traditionell sökning får du dina miljontals resultat, och ditt sinne gör en konceptuell gruppering, säger Capper. Men våra sinnen är fasta för att bara bearbeta tre till fem typer av information på en gång. Vi bestämde oss för att inte åsidosätta det utan att arbeta med det.

Sedan kommer inlärningsdelen. För att utveckla en mer exakt förståelse för vad användaren förmodligen letar efter, noterar Mooter-motorn vilka kluster och länkar som klickas på och använder den informationen för att förbättra framtida svar. Anta att en användare skriver in termen hund, klickar på ett kluster som kallas raser och sedan spenderar mycket tid på att titta på webbplatser om Schnoodles (en populär schnauzer-pudel-blandning). När användaren klickar på ett nytt sökresultat kommer Mooter att anpassa rankningen för att spegla detta uppenbara intressemönster, vilket till exempel kan leda till att sajter om hundar plus raser plus Schnoodles visas högre. En förfinad uppsättning resultat visas på varje sida; motorn fortsätter att justera rankingen baserat på användarens beteende.

Hela idén är att ge människor de resultat de vill ha med så få klick som möjligt. Två klick och vi har redan en mycket bra uppfattning om vart du är på väg, säger Capper. När Mooters betasida debuterade i oktober förra året, förväntade sig Capper inte att den skulle märkas utanför Australien. Men trafiken från hela världen har varit så stor, säger hon, att företaget har varit tvungen att installera fler webbservrar för att hålla tjänsten igång.

Spendera mycket tid med att prata med insiders inom sökbranschen och du kommer att inse att det finns nästan lika många sätt att rangordna sökresultat som det finns sidor på webben. Googles förmodade övertro till popularitet var en av inspirationerna bakom Teoma (uttalas tay-o-ma), som grundades 2000 av datavetaren Apostolos Gerasoulis och kollegor vid Rutgers University i New Jersey. Teomas sökmjukvara driver nu Ask Jeeves, söksidan nummer sex. Google tittar på webbens struktur, men den metoden går inte ner till nästa nivå, säger Paul Gardi, Teomas senior vice president för sök. När du kommer ner till den lokala nivån kommer du att upptäcka att länkarna samlas kring vissa ämnen eller teman, ungefär som samhällen. Till exempel länkar sidor om hemförbättring inte bara uppåt till mer populära sidor; de tenderar också att länka till varandra och bilda cirklar kring framstående sajter som Hometime.com, Homeideas.com och BobVila.com.

Rutgers-forskarna designade Teoma (gaeliska för expert) för att hitta de ämnesspecifika gemenskaperna och utnyttja deras visdom. Innan Teoma-motorn presenterar resultaten för en given uppsättning nyckelord, förklarar Gardi, identifierar den de associerade gemenskaperna och letar efter myndigheterna inom dem – det vill säga de sidor som gemenskapsmedlemmarnas webbplatser pekar på oftast. Teoma försöker verifiera trovärdigheten hos dessa auktoritetssidor genom att kontrollera om de är listade på resurssidor skapade av ämnesexperter eller entusiaster, som tenderar att länka till de bästa sidorna inom gemenskapen. Den rangordnar sedan sökresultaten efter hur ofta varje sida citeras av auktoritetssidor.

IBM och andra organisationer experimenterade med liknande auktoritetsbaserade rankningssystem i slutet av 1990-talet, men Gerasoulis säger att deras tillvägagångssätt kan ta timmar att gå igenom alla sidor där ute. Gerasoulis proprietära teknik gör samma sak på ungefär en femtedels sekund. Ask Jeeves dumpade sin tidigare sökleverantör och bytte till Teomas teknologi 2001, och sökvolymerna ökade med 30 procent per år 2002 och 2003.

Hur svårt det än är att tro när du tittar på ett dussin sidor med sökresultat, ignorerar dagens sökmotorer det mesta som finns på Internet. Programvaruspindlar har svårt att indexera innehåll som är skyddat bakom registreringsformulär eller lagrat i databaser som produktkataloger eller juridiska och medicinska arkiv och bara samlat på webbsidor i det ögonblick som användare begär det. Denna så kallade Deep Web kan uppgå till så mycket som 92 petabyte (92 miljoner gigabyte) över hela världen, eller nästan 500 gånger volymen av ytwebben, enligt School of Information Management and Systems vid University of California, Berkeley.

Mining the Deep Web är uppdraget för ett annat fräscht ansikte i sökföretaget-Chicago-baserade Dipsie. Google och Teoma indexerar bara cirka 1 procent av dokumenten där ute, säger Jason Wiener, Dipsies grundare och tekniska chef. Wiener, en självlärd programmerare som drev ett webbutvecklingsföretag i San Francisco fram till dot-com-kraschen, har ägnat de senaste två åren åt att bygga en smidigare sökrobot, en som kan ta sig förbi formulär och databasgränssnitt. Säg att du undrar över standardutrustningen på en Mercedes 55SL cabriolet. På Cars.com tar det ungefär sex steg att gå ner till sidan med detaljerad produktinformation. Dipsie kommer dock att ha indexerat hela Cars.com-databasen i förväg, så att den kan skicka dig till samma sida med ett enda klick. Vi hanterar inget som kräver autentisering med användarnamn och lösenord, men vi gör nästan allt annat, säger Wiener. Han hävdar att när Dipsies sökwebbplats blir allmänt tillgänglig i sommar, kommer dess index att inkludera 10 miljarder dokument - tredubbla den nuvarande storleken på Googles index.

Så medan Google fortfarande är kung av kullen, kryllar kullen i sig nu av konkurrenter med sina egna ljusa idéer. Google vet detta, säger Gartners analytiker Andrews. De är födda i Stanford, och de vet att det finns elever i Stanfords klasser som säger: Hej, jag har en idé – vad händer om vi tar den här algoritmen och syr ihop den med den algoritmen?» De måste antingen anställa de unga turkarna eller besegra dem.

Mikrosökning

Men om det finns ett mjukvaruföretag som vet hur man anställer unga turkar och omvandlar deras idéer till marknadsdominerande produkter, så är det Microsoft. Nämn vilken heta hörn av datavetenskap som helst, och företaget Bill byggde kommer sannolikt att anställa minst en eller två av fältets ledande forskare: trots allt sysselsätter de fem Microsoft Research-labben runt om i världen mer än 600 forskare. Och när Microsoft känner lukten av en stor marknad, rör det sig vanligtvis med full kraft för att satsa sitt anspråk.

Det finns inget blå himmel över Microsofts satsningar på informationsinhämtning, disciplinen som sökmotorn kom från. Företaget har redan vunnit 97 procents marknadsandel inom PC-operativsystem och 90 procents andel av kontorsprogramvara; sök är en av de sista stora delarna av datorlandskapet som Microsoft inte dominerar. Och en undersökning av FoU-projekt på företaget bekräftar att det ser förbättrade former av sökning som nyckeln till företagets tillväxt. När lanseringen av nästa version av Windows, med kodnamnet Longhorn, närmar sig - en testversion kommer att vara klar senare i år - forskare och produktutvecklare accelererar ansträngningarna för att göra webbsökning till en integrerad del av den.

En av de flashigaste mjukvarorna som är på gång lovar att du ska kunna skriva in dina frågor på enkel engelska och få ett direkt svar tillbaka. Företaget anser att sökanvändare inte ska behöva oroa sig för att välja rätt sökord, länka dem tillsammans med rätt booleska operatorer ( och, eller, inte , etc.), och bläddra igenom sida efter sida med sökresultat. Istället, säger Microsoft-forskaren Eric Brill, bör sökmotorer förstå och svara på frågor på naturligt språk.

Ta Microsoft Researchs AskMSR-program, som Brill och hans kollegor har testat på Microsofts interna nätverk i mer än ett år. Kärnan är en enkel sökruta där användare kan skriva in frågor som Vem dödade Abraham Lincoln? och istället för att få tillbaka en lista över webbplatser som kan ha den information de söker, får du ett enkelt svar: John Wilkes Booth. Programvaran förlitar sig inte på någon avancerad artificiell intelligensalgoritm utan snarare på två förvånansvärt enkla knep. För det första använder den språkregler som lärts från en stor databas med exempelmeningar för att skriva om sökfrasen så att den liknar möjliga svar: till exempel ___ dödade Abraham Lincoln eller Abraham Lincoln dödades av ___. Dessa textsträngar används sedan som frågor i en sekvens av vanliga sökordsbaserade webbsökningar. Om sökningarna ger en exakt matchning är programmet klart och det presenterar det svaret för användaren.

I många fall kommer programmet dock inte att hitta en exakt matchning, utan bara sneda varianter av textsträngarna, som John Wilkes Booths våldsdåd på Ford Theatre avslutade Lincolns andra mandatperiod innan den hade börjat. Det är okej också. Som sitt andra knep resonerar AskMSR att om Booth ofta förekommer i samma mening som Lincoln, måste det finnas en viktig relation mellan dem - vilket gör det möjligt för den att ge ett svar, även om den inte är 100 procent säker ( se F: Hur fungerar det att svara på frågor? Nedan ). Vi utnyttjar webbens redundans, förklarar Brill. Om du har många ställen där du är lite säker på att du har hittat svaret, gör redundansen det säkrare. I takt med att webben växer, kommer dess redundans att växa, vilket gör AskMSR allt kraftfullare, resonerar Brill. Även om planerna för AskMSR inte är bestämda, tror Brill att koden kommer att se dagens ljus, kanske som en del av en framtida Microsoft-sökmotor.

En annan Microsoft Research-satsning är mindre bekymrad över hur sökmotorer fungerar än med hur och när användare behöver information. Just nu, när du vill söka information, stoppar du i princip allt du gör, drar upp en separat applikation, kör sökningen och försöker sedan integrera sökresultatet i vad du än gjorde tidigare, säger Microsofts expert för informationsinhämtning, Susan. Dumais. Vi försöker tänka på hur sökning kan vara mycket mer en del av den pågående datorupplevelsen.

Mot det syftet utvecklar Dumais ett program som heter Stuff I've Seen som är utformat för att ge datoranvändare snabb och enkel tillgång till allt de har sett på sina datorer. Gränssnittet till experimentprogrammet, som kommer att påverka sökmöjligheterna i Longhorn, är en alltid tillgänglig sökruta i aktivitetsfältet i Windows. Ange en fråga i rutan, så visar Stuff I've Seen en organiserad lista med länkar till relaterade e-postmeddelanden, kalendermöten, adressbokskontakter, kontorsdokument eller webbsidor i ett enda enhetligt fönster. En framväxande funktion av Stuff I've Seen, kallad Implicit Query, skulle fungera i bakgrunden för att hämta information relaterad till vad användaren än arbetar med. Om du till exempel läser ett e-postmeddelande, kan Implicit Query visa en ruta med länkar till titlarna och e-postadresserna för alla personer som meddelandet nämner, och till alla dina tidigare e-postmeddelanden från avsändare. För att göra programvaran ännu mer användbar arbetar Dumais med att lägga till ett objekt till tvåknappsmusens standard Windows högerklicksmeny som skulle vara märkt Hitta mig sånt här och som skulle söka både personlig data och webbdata efter information relaterad till en markerad namn eller fras.

AskMSR, Stuff I've Seen och relaterade projekt är alla en del av en större förändring av teknikstrategin hos Microsoft, en som skulle kunna positionera företaget att konvertera hundratals miljoner Windows-användare runt om i världen till sin egen sökteknologi, lika mycket som det tog bort webbläsarmarknaden från Netscape redan på 1990-talet. Kärnan i denna transformation är det nya Windows-filsystemet, eller WinFS - själva hjärtat av Longhorn. Under det nuvarande Windows-filsystemet partitionerar varje programvaruapplikation sitt tilldelade lagringsutrymme i sin egen speciella hierarki av mappar. Detta gör det nästan omöjligt att till exempel länka en bit information som namnet på författaren till ett Word-dokument med samma persons adress eller telefonnummer i Outlook. WinFS, däremot, har i sin kärna en relationsdatabas: en ordnad uppsättning tabeller lagrade på din hårddisk där all data på din dator kan sökas och modifieras av alla applikationer med hjälp av en standarduppsättning kommandon.

Om Longhorn inkluderar verktyg baserade på Stuff I've Seen och låter dem kommunicera direkt med en webbsökmotor, kan det skapa den enda sökrutan som mjukvarutillverkare drömmer om - porten till all information du behöver, oavsett om det är inuti din PC eller ute på nätverket. Gartners Whit Andrews, för en, ser fram emot Microsofts nya programvara. Kom an! han säger. Jag sitter här och tittar på min e-post. Om jag vill kolla upp dig måste jag komma ihåg att googla dig. Men det jag verkligen vill är att ta reda på om jag har pratat med dig tidigare. Så jag vill högerklicka och söka globalt, söka i mina e-post- och kontaktmappar, söka på U.S. Search.com [som säljer tillgång till information som lagras i offentliga register]. Vem har den fördelen? Microsoft är där, och för de lågprisprylar som konsumenterna inte kommer att kasta en massa pengar på, är de i en fantastisk position.

F: Hur fungerar det att svara på frågor?
A: Så här

Microsofts AskMSR programvara förvandlar vanliga engelska frågor till formella sökfrågor och omröstningar på webben
för konsensussvar.

1. Fråga	Hur många ägg är det i en bagares dussin?
2. Skriv om frågan	Det finns + ägg i ett + bagerdussin En bagares dussin har + ägg bagare + dussin + ägg
3. Samla sökresultat och filtrera (Ignorera till exempel resultat som inte liknar ett svar på en fråga om hur många)	Ett dussin har vanligtvis 12 ägg, så hur många ägg har ett bagersdussin? The Baker's Dozen Cookbook Varför kallas 13 ägg för ett bagardussin? 13 ägg gör ett bagare dussin.
4. Extrahera svar från text och presentera mest sannolika svar	13 ägg (81 procent sannolikt) 12 ägg (7 procent sannolikt)

Källa: Microsoft

Under tiden tillbaka på Googleplex

Jag frågar Googles teknikchef Craig Silverstein om Microsofts sökuppbyggnad håller honom vaken på natten. Han erkänner att Microsoft och Google utforskar en del av samma tekniska territorium men hävdar att eftersom Google är så mycket mindre än Microsoft (1 000 anställda mot 55 000), kan de agera mer smidigt utifrån sina idéer. Och trots sin mindre storlek totalt sett har Google fler forskare som främst ägnar sig åt sökning än Microsoft. Silverstein påpekar också att var och en av Googles flera hundra mjukvaruutvecklare måste – som en del av jobbet – spendera 10 procent av sin tid på långtgående personliga projekt, som ger ett kontinuerligt flöde av kreativa idéer.

Några av dessa projekt dyker upp på Google Labs (labs.google.com), en del av Googles webbplats där allmänheten kan prova och kommentera sökrelaterad programvara som fortfarande är under utveckling. Google Viewer, till exempel, animerar resultat så att de rullar upp på skärmen som filmer. Röstsökning låter dig ange en sökning per telefon om du råkar vara borta från ditt skrivbord, och sedan hämta resultaten online senare. Google Deskbar installerar en permanent Google-sökruta i aktivitetsfältet i Windows; resultat visas i ett litet, tillfälligt fönster, så användare behöver inte starta sina webbläsare varje gång de vill slå upp något.

Men ingen av Google Labs-prototyperna representerar en innovation av storleken på Page och Brins ursprungliga PageRank-algoritm. De är inte heller i samma liga som Microsofts försök att återuppfinna Windows och integrera applikationerna som körs på det. Medan Silverstein och hans kollegor kommer att prata om effektiviteten hos Googles mer än 10 000 webbservrar och passionen och drivkraften hos Googles programmerare, kommer de inte att säga hur företaget hoppas kunna förbättra PageRank, eller vilka nya teknologier som kan motverka hot som Teoma och AskMSR. Så i slutändan finns det få yttre bevis för att Google har de nya idéerna som det kommer att behöva för att behålla sin marknadsandel. Säger öppen källkodsprogrammerare Doug Cutting, Google har en hel del människor som försöker komma med monumentala framsteg, men vi har inte sett dem. Jag tror att om de hade dem skulle de visa dem.

En sak som Silverstein gillar att prata om är hans långsiktiga mål för sökteknologi, som han tror fortfarande är i sin linda. Det är tydligt att svaret [att söka] inte är en rankad lista över webbplatser, säger han. Ingen förväntar sig att närma sig en bibliotekarie, ställa en fråga om Panamakanalen och få 50 boktitlar som svar, hävdar han. Silverstein tycker att experter på informationsinhämtning bör sikta högt och bygga mjukvara som är lika bra på att peka användare mot de specifika resurser de behöver som en välutbildad referensbibliotekarie. Det kommer naturligtvis att kräva stora framsteg inom områden som probabilistisk maskininlärning och bearbetning av naturligt språk – och Google fortsätter att anställa några av de bästa nya doktorerna inom dessa områden, inklusive fyra nyutexaminerade från Stanford-laboratoriet i Daphne Koller, en ledande maskininlärningsforskare ( ser 10 nya teknologier som kommer att förändra din värld , BARN februari 2004 ).

Men kommer all den talangen att omsättas till verktyg som människor kan använda? Google själv dök upp till synes från ingenstans och överskuggade snabbt andra framstående sökmotorer som AltaVista. Och om det finns ett budskap som sprids av prästerna från dot-com-boomen som fortfarande gäller, så är det att människors önskan om snabbare och mer effektiva sätt att göra saker överträffar varumärkeslojalitet varje gång. Om rivaler som Ask Jeeves och uppkomlingar som Mooter eller Dipsie uppnår även en del av sina visioner om bättre rankningsalgoritmer, enklare gränssnitt och större, mer omfattande index, kan de ta en stor bit av Googles verksamhet. Microsofts genomgripande översyn av Windows-miljön lovar under tiden att förändra själva konceptet med sökning för de allra flesta datoranvändare.

De goda nyheterna för internetsurfare är att konkurrensen kommer att göra sökverktyg till en ännu mer användbar del av vårt dagliga liv. Utan sökverktyg skulle webbens rikedomar vara lika otillgängliga som surfplattor, rullar och handkopierade tomerna från före Gutenberg-åldern, och när själva webben växer, ökar också vårt behov av bättre sätt att penetrera den. Men vilka tekniker som kommer att ge den åtkomst vi längtar efter – och vem som kommer att tjäna mest på dem – är frågor som inte ens de bästa sökmotorerna kan svara på.

Dölj