211service.com
Denna superdator kommer att försöka hitta intelligens på Reddit
Är det möjligt att hemligheten med att bygga maskinintelligens ligger i att spendera oändliga timmar med att läsa Reddit?
Det är en fråga ett team av forskare vid OpenAI , en ideell organisation som stöds av flera Silicon Valley-armaturer, hoppas kunna svara med en ny typ av superdator utvecklad av chiptillverkaren Nvidia. Forskarna tränar också robotar som diskar genom experiment, och de bygger algoritmer som kan lära sig att spela en mängd olika datorspel.
Den nya maskinen, kallad DGX-1, är optimerad för den form av maskininlärning som kallas djupinlärning, vilket innebär att mata data till ett stort nätverk av grovt simulerade neuroner och som har resulterat i stora framsteg inom artificiell intelligens de senaste åren. DGX-1 kommer att låta AI-forskare träna djupinlärningssystem snabbare med mer data. Som en grov jämförelse tar beräkningar som skulle ta 250 timmar på en konventionell dator cirka 10 timmar på DGX-1.
Nvidias VD, Jen-Hsun Huang, levererar den första DGX-1 till Elon Musks OpenAI.
På OpenAI kan den prestandaökning som uppnås med den nya hårdvaran ses mest omedelbart i språkförståelsen. OpenAI-forskarna matar meddelandetrådar från den populära webbplatsen Reddit till algoritmer som bygger en probabilistisk förståelse av konversationen. Om den matas med tillräckligt många exempel kommer den underliggande språkmodellen att vara tillräckligt bra för att föra en konversation själv, hoppas forskarna. Och hårdvaran kommer att göra det möjligt att mata in många fler textbitar i modellen och att använda mer datorkraft på problemet.
Andrej Karpathy , en forskare vid OpenAI, säger att moderna maskininlärningstekniker tenderar att bli smartare när de blir större. Deep learning är en väldigt speciell klass av modeller för när du skalar upp modellerna fungerar de alltid bättre, säger Karpathy i en video som släpptes av Nvidia idag.
Språk är fortfarande ett mycket knepigt problem för artificiell intelligens, men under de senaste åren har forskare gjort framsteg i att tillämpa djupinlärning på problemet (se AI:s språkproblem). Forskare på Google matade till exempel filmdialog till ett system för djupinlärning som ursprungligen var utformat för att utföra översättning och sedan visade att den kunde svara på några frågor anmärkningsvärt bra.
OpenAI:s forskare planerar också att undersöka om en robot kan lära sig att använda språk genom att interagera med människor och den verkliga världen. Denna forskning är dock i ett tidigt skede och det kommer att bli lättare att skala upp arbetet med Reddit. Karpathy säger att modellerna som tränas på Reddit-data kan gå från att konsumera månader av samtal till år tack vare den nya hårdvaran.
Nvidia, som tillverkar grafikprocessorer för spel, har dragit nytta av djupinlärningsboomen eftersom dess hårdvara är väl lämpad för de parallella beräkningar som krävs. Under de senaste åren har företaget försökt utnyttja denna fördel, och DGX-1, utvecklad till en kostnad av cirka 2 miljarder dollar, är i huvudsak en bank av grafikchips optimerade för djupinlärning. Chipsen kan behandla data mycket snabbt (med en topp på cirka 170 teraflops, eller miljarder aritmetiska beräkningar per sekund) och kan dela data lättare.
Andrew Ng, chefsforskare på det kinesiska internetföretaget Baidu, har tagit en närmare titt på DGX-1, som Baidu planerar att använda. Möjligheterna den ger kommer att tillåta oss att prova nya sätt att skala vår träningsprocess, säger Ng. Detta kommer att tillåta oss att träna modeller på större datamängder, vilket vi har funnit leder till framsteg inom AI.
OpenAI är involverad i en rad avancerad AI-forskning. Förutom djupinlärning är dess forskare fokuserade på att utveckla algoritmer som kan läras genom omfattande försök och fel, ett forskningsfält som kallas förstärkningsinlärning.
OpenAI hoppas kunna använda förstärkningsinlärning för att bygga robotar som kan utföra användbara sysslor i hemmet, även om detta kan visa sig vara en tidskrävande utmaning (se This Is the Robot Maid Elon Musk Is Funding och The Robot You Want Most Is Far from Reality ).
Forskarna vid OpenAI undersöker också sätt för AI-algoritmer att lära sig mycket mer effektivt genom att generera sina egna modeller, eller teorier, om vad en datamängd betyder. En algoritm kan lära sig att spela en rad datorspel, till exempel genom att fastställa att samla mynt vanligtvis hjälper till att höja poängen.
Ilya Sutskever , forskningschef på OpenAI och en framstående figur inom AI, säger att arbete inom detta område i slutändan kan leda till bättre algoritmer som kan lära sig mer effektivt. När alla dessa förbättringar väl är gjorda borde det vara möjligt att bygga agenter som kan uppnå mer sofistikerade mål med mycket mindre erfarenhet, säger han.
OpenAI grundades 2015 med 1 miljard dollar i finansiering från teknikbranschens VIPs inklusive Elon Musk, VD för Tesla och SpaceX, och Sam Altman, ordförande för Y Combinator. Målet med den ideella organisationen är att göra öppen AI-forskning och hjälpa till att säkerställa att AI gynnar mänskligheten.
Jen-Hsun Huang, VD för Nvidia, säger att beslutet att ge den första DGX-1 till OpenAI återspeglar en tro på OpenAI:s mål. Nvidias strategi är att demokratisera AI, sa Huang i en intervju. Vi skulle vilja att den här tekniken, hur kraftfull den än är, rör sig i en riktning som är bra för samhället.