Apples AI-direktör: Så här laddar du upp djupinlärning

Apples chef för artificiell intelligens, Ruslan Salakhutdinov, tror att de djupa neurala nätverk som har producerat spektakulära resultat under de senaste åren kan bli överladdade under kommande år genom tillägg av minne, uppmärksamhet och allmän kunskap.

Talar kl MIT Technology Review På tisdagens EmTech Digital-konferens i San Francisco sa Salakhutdinov att dessa attribut kan hjälpa till att lösa några av de utestående problemen inom artificiell intelligens.

Salakhutdinov, som behåller en post som en docent vid Carnegie Mellon University i Pittsburgh, pekade i sitt tal på begränsningar med djupt lärande-drivet maskinseende och förståelse av naturligt språk.

Djup inlärning – en teknik som involverar användning av ett stort antal grovt simulerade neuroner arrangerade i många sammanlänkade lager – har producerat dramatiska framsteg i maskinuppfattning under de senaste åren, men det finns många sätt på vilka dessa nätverk är begränsade.

Salakhutdinov visade till exempel hur bildtextningssystem baserade på tekniken kan märka bilder felaktigt eftersom de tenderar att fokusera på allt i bilden. Han pekade sedan på en lösning i form av så kallade uppmärksamhetsmekanismer, en tweak till djupinlärning som har utvecklats de senaste åren. Tillvägagångssättet kan åtgärda dessa fel genom att ha ett systemfokus på specifika delar av en bild när man använder olika ord i en bildtext. Samma tillvägagångssätt kan också bidra till att förbättra förståelsen av naturliga språk genom att göra det möjligt för en maskin att fokusera på den relevanta delen av en mening för att sluta sig till dess innebörd.

En teknik som kallas minnesnätverk , utvecklat av forskare på Facebook, kan förbättra hur maskiner pratar med människor. Som namnet antyder lägger tillvägagångssättet en del av långtidsminnet till neurala nätverk så att de kommer ihåg historien om en chatt.

Minnesnätverk har också visat sig förbättra en annan typ av AI, känd som förstärkningsinlärning. Till exempel visade två forskare vid CMU nyligen hur detta kan skapa en smartare spelalgoritm . Forskare vid DeepMind, ett AI-fokuserat dotterbolag till Alphabet, har också visat sätt för djupinlärningssystem att bygga och få tillgång till en form av minne.

Förstärkningsinlärning dyker snabbt upp som ett värdefullt sätt att lösa svårprogrammerade problem inom robotik och automatiserad körning. Det var en av MIT Technology Review 10 banbrytande teknologier från 2017.

Ett annat spännande område för framtida forskning, sa Salakhutdinov, skulle vara att hitta sätt att kombinera handbyggda kunskapskällor med djup inlärning. Han pekade på allmänna kunskapsdatabaser som Freebase och ordbetydande arkiv som WordNet .

Precis som människor förlitar sig mycket på allmän kunskap när de analyserar språk eller tolkar en visuell scen, kan detta hjälpa till att göra AI-system smartare, sa Salakhutdinov. Hur kan vi införliva all denna förkunskap i djupt lärande? sa han under sitt föredrag. Det är en stor utmaning.

Salakhutdinov talade under en session som samlade forskare från flera olika skolor inom AI. Ett gemensamt tema bland talarna var behovet av olika tillvägagångssätt för att ta AI till nästa nivå.

Under sessionen Peter söndagar , en professor vid University of Washington som studerar olika metoder för maskininlärning, sa att det också finns ett behov av att fortsätta leta efter helt nya metoder för AI. Det finns en tankeskola inom maskininlärning att vi inte behöver snygga nya algoritmer, vi behöver bara mer data, sa han. Jag tror att det finns riktigt djupa, grundläggande idéer som måste upptäckas innan vi verkligen kan lösa AI.

Dölj