Högpresterande infrastruktur för maskininlärning till låg kostnad accelererar innovation i molnet

Tillhandahålls av Amazon webbtjänster

Artificiell intelligens och maskininlärning (AI och ML) är nyckelteknologier som hjälper organisationer att utveckla nya sätt att öka försäljningen, minska kostnaderna, effektivisera affärsprocesser och förstå sina kunder bättre. AWS hjälper kunder att påskynda deras AI/ML-användning genom att leverera kraftfulla datorer, höghastighetsnätverk och skalbara högpresterande lagringsalternativ på begäran för alla maskininlärningsprojekt. Detta minskar inträdesbarriären för organisationer som vill använda molnet för att skala sina ML-applikationer.

Utvecklare och datavetare tänjer på teknikens gränser och anammar allt mer djupinlärning, som är en typ av maskininlärning baserad på neurala nätverksalgoritmer. Dessa modeller för djupinlärning är större och mer sofistikerade, vilket resulterar i stigande kostnader för att driva underliggande infrastruktur för att träna och implementera dessa modeller.

För att göra det möjligt för kunder att påskynda sin AI/ML-transformation bygger AWS högpresterande och billiga maskininlärningschips. AWS Inferentia är det första maskininlärningschippet som byggts från grunden av AWS för den lägsta kostnaden för maskininlärning i molnet. Faktum är att Amazon EC2 Inf1-instanser som drivs av Inferentia, levererar 2,3 gånger högre prestanda och upp till 70 % lägre kostnad för maskininlärning än nuvarande generations GPU-baserade EC2-instanser. AWS Trainium är det andra maskininlärningschippet från AWS som är specialbyggt för att träna djupinlärningsmodeller och kommer att finnas tillgängligt i slutet av 2021.

Kunder i olika branscher har implementerat sina ML-applikationer i produktionen på Inferentia och sett betydande prestandaförbättringar och kostnadsbesparingar. Till exempel möjliggör AirBnB:s kundsupportplattform intelligenta, skalbara och exceptionella serviceupplevelser för sin gemenskap av miljontals värdar och gäster över hela världen. Den använde Inferentia-baserade EC2 Inf1-instanser för att distribuera NLP-modeller (natural language processing) som stödde dess chatbots. Detta ledde till en 2x förbättring av prestanda direkt jämfört med GPU-baserade instanser.

Med dessa innovationer inom kisel gör AWS det möjligt för kunder att träna och utföra sina djupinlärningsmodeller i produktion enkelt med hög prestanda och genomströmning till betydligt lägre kostnader.

Maskininlärning utmanar hastighetsövergången till molnbaserad infrastruktur

Maskininlärning är en iterativ process som kräver att team bygger, tränar och distribuerar applikationer snabbt, samt tränar, omskolar och experimenterar ofta för att öka prediktionsnoggrannheten hos modellerna. När de distribuerar utbildade modeller i sina affärsapplikationer måste organisationer också skala sina applikationer för att tjäna nya användare över hela världen. De måste kunna betjäna flera förfrågningar som kommer in samtidigt med nästan realtidsfördröjning för att säkerställa en överlägsen användarupplevelse.

Nya användningsfall som objektdetektering, naturlig språkbehandling (NLP), bildklassificering, konversations-AI och tidsseriedata är beroende av djupinlärningsteknik. Modeller för djupinlärning ökar exponentiellt i storlek och komplexitet, från att ha miljontals parametrar till miljarder på ett par år.

Utbildning och implementering av dessa komplexa och sofistikerade modeller leder till betydande infrastrukturkostnader. Kostnaderna kan snabbt bli oöverkomligt stora när organisationer skalar sina applikationer för att leverera nästan realtidsupplevelser till sina användare och kunder.

Det är här molnbaserade infrastrukturtjänster för maskininlärning kan hjälpa. Molnet ger on-demand åtkomst till datorer, högpresterande nätverk och stor datalagring, sömlöst kombinerat med ML-drift och högre nivå AI-tjänster, för att göra det möjligt för organisationer att komma igång omedelbart och skala sina AI/ML-initiativ.

Hur AWS hjälper kunder att påskynda sin AI/ML-transformation

AWS Inferentia och AWS Trainium syftar till att demokratisera maskininlärning och göra den tillgänglig för utvecklare oavsett erfarenhet och organisationsstorlek. Inferentias design är optimerad för hög prestanda, genomströmning och låg latens, vilket gör den idealisk för att distribuera ML-inferens i stor skala.

Varje AWS Inferentia-chip innehåller fyra NeuronCores som implementerar en högpresterande systolisk array-matrismultipliceringsmotor, som kraftigt påskyndar typiska djupinlärningsoperationer, såsom faltning och transformatorer. NeuronCores är också utrustade med en stor on-chip cache, som hjälper till att minska åtkomsten till externa minne, minska latens och öka genomströmningen.

AWS Neuron, mjukvaruutvecklingssatsen för Inferentia, stöder inbyggt ledande ML-ramverk, som TensorFlow och PyTorch. Utvecklare kan fortsätta använda samma ramverk och verktyg för livscykelutveckling som de känner till och älskar. För många av deras utbildade modeller kan de kompilera och distribuera dem på Inferentia genom att bara ändra en enda kodrad, utan ytterligare applikationskodändringar.

Resultatet är en högpresterande slutledningsinstallation som enkelt kan skalas samtidigt som kostnaderna hålls under kontroll.

Sprinklr, ett mjukvaru-som-en-tjänst-företag, har en AI-driven enhetlig plattform för hantering av kundupplevelser som gör det möjligt för företag att samla in och översätta kundfeedback i realtid över flera kanaler till praktiska insikter. Detta resulterar i proaktiv problemlösning, förbättrad produktutveckling, förbättrad innehållsmarknadsföring och bättre kundservice. Sprinklr använde Inferentia för att distribuera sin NLP och några av sina datorvisionsmodeller och såg betydande prestandaförbättringar.

Flera Amazon-tjänster distribuerar också sina maskininlärningsmodeller på Inferentia.

Amazon Prime Video använder datorseende ML-modeller för att analysera videokvaliteten för liveevenemang för att säkerställa en optimal tittarupplevelse för Prime Video-medlemmar. Den distribuerade sina ML-modeller för bildklassificering på EC2 Inf1-instanser och såg en 4x förbättring av prestanda och upp till 40 % kostnadsbesparingar jämfört med GPU-baserade instanser.

Ett annat exempel är Amazon Alexas AI- och ML-baserade intelligens, som drivs av Amazon Web Services, som är tillgänglig på mer än 100 miljoner enheter idag. Alexas löfte till kunder är att det alltid blir smartare, mer konversationsrikt, mer proaktivt och ännu mer förtjusande. För att hålla det löftet krävs ständiga förbättringar av svarstider och kostnader för maskininlärning. Genom att distribuera Alexas text-till-tal ML-modeller på Inf1-instanser kunde den sänka inferensfördröjningen med 25 % och kostnaden per slutledning med 30 % för att förbättra serviceupplevelsen för tiotals miljoner kunder som använder Alexa varje månad.

Släpp lös nya maskininlärningsfunktioner i molnet

När företag tävlar för att framtidssäkra sin verksamhet genom att möjliggöra de bästa digitala produkterna och tjänsterna, kan ingen organisation hamna på efterkälken när det gäller att implementera sofistikerade maskininlärningsmodeller för att förnya sina kundupplevelser. Under de senaste åren har det skett en enorm ökning av tillämpbarheten av maskininlärning för en mängd olika användningsfall, från personalisering och churn-förutsägelse till bedrägeriupptäckt och försörjningskedjans prognoser.

Lyckligtvis släpper maskininlärningsinfrastrukturen i molnet lös nya funktioner som tidigare inte var möjliga, vilket gör den mycket mer tillgänglig för icke-expertutövare. Det är därför som AWS-kunder redan använder Inferentia-drivna Amazon EC2 Inf1-instanser för att tillhandahålla intelligensen bakom deras rekommendationsmotorer och chatbots och för att få handlingskraftiga insikter från kundfeedback.

Med AWS molnbaserade infrastrukturalternativ för maskininlärning som lämpar sig för olika kompetensnivåer, är det tydligt att vilken organisation som helst kan accelerera innovation och omfatta hela livscykeln för maskininlärning i stor skala. När maskininlärning fortsätter att bli mer genomgripande kan organisationer nu i grunden förändra kundupplevelsen – och sättet de gör affärer på – med kostnadseffektiv, högpresterande molnbaserad maskininlärningsinfrastruktur.

Läs mer om hur AWS:s maskininlärningsplattform kan hjälpa ditt företag att förnya sig här .

Detta innehåll producerades av AWS. Den skrevs inte av MIT Technology Reviews redaktion.

Dölj