211service.com
Watson om Jeopardy, del 2
Tittar på den första natten Jeopardy att ställa IBM Watson-programmet mot mänskliga tävlande var jättekul. En fin touch var backstage-displayen som visade tre svar Watson övervägde för varje fråga och maskinens förtroende för dem. Det är intressant, eftersom det ger dig en inblick i de olika saker som den övervägde.
Några av kategorierna var uppenbarligen softballs för Watson. En kategori, Beatles People, var lätt eftersom bara matchande låttexter skulle få programmet långt (men inte hela vägen) till att hitta svaret. Spelets regler förbjöd datorn att gå ut på webben för att hitta svar. Watson måste förlita sig på sina egna resurser, lagrade i förväg. Men i sina 15 petabyte lagringsutrymme har Watson i princip, mer eller mindre, en kopia av en bra bit av webben.
Uppenbarligen hade den en kopia av Beatles-texterna som den sökte efter. Annars hade den inte haft en bön om dessa frågor.
Watson avslutade den första omgången oavgjort för första, med $5 000; Ken Jennings var trea med $2 000. Men för att få en uppfattning om hur bra Watson verkligen gjorde, kan du köra din egen tävling hemma, mot vad som är Watsons verkliga konkurrent. Inte Brad Rutter eller Ken Jennings, utan en sökmotor som Google. Skriv bara in ledtråden till Google och se vad du får. Precis som Watson analyserar Google enorma mängder text, räknar ord och håller reda på hur ofta ord tenderar att förekomma tillsammans. Precis som Watson använder Google flera metoder för att analysera text och har sedan ett slags röstschema för att ta reda på hur säker den är på svaret.
Det finns många skillnader mellan Watson och Google, men att göra det kommer att ge dig en bra känsla för problemet. För det mesta kommer du att få några webbsidor som har svaret någonstans inom sig, men att välja svaret från det som finns på sidan, annonser och allt, är ingen enkel bedrift. Att förstå vad som utgör ett svar är det centrala problemet.
Intressant nog var där Watson misslyckades ibland mer lärorikt än när det lyckades.
Ledtråd: Det var den här anatomiska konstigheten hos den amerikanske gymnasten George Eyser...
Ken Jennings svar: Saknar en hand (fel)
Watsons svar: ben (fel)
Rätt svar: Saknar ett ben
Vad Watson inte insåg var att ordet ben i sig självt inte var ett svar på frågan. Detta är sunt förnuft för människor, eftersom ben är en anatomisk del, inte en anatomisk konstighet, även om Watson insåg att ben var inblandade på något sätt. Det som hände här kan ha varit något mer djupgående än en enkel bugg. David Ferrucci, Watsons projektledare, tillskrev misslyckandet till svårigheten med ordet konstighet i frågan. För att förstå vad som kan vara konstigt måste du jämföra det med det som inte är udda - det vill säga vad som är sunt förnuft. Ett problem med Watsons tillvägagångssätt är att om någon mening förekommer i dess databas, kan den inte avgöra om någon lagt den där bara för att den är sann, eller för att någon ansåg att den var så ovanlig att den behövde sägas.
En dator som saknar sunt förnuft är tyvärr ingen konstighet. Kanske borde det vara det.
Henry Lieberman är en forskare som arbetar med artificiell intelligens vid Media Laboratory vid MIT.