Datavetenskap och statistik: Möjligheter och utmaningar

tillhandahålls av MIT Professional Education

Vi lever nu i en värld där det verkar som att allt om oss spåras (eller snart kommer att) spåras och registreras: vad vi äter, vad vi tittar på, hur vi umgås, vad vi gillar och ogillar, vår viktiga hälsostatistik – och listan fortsätter.

Sådan oöverträffad tillgång till personuppgifter ger potentiellt enorma möjligheter att till exempel hjälpa regeringstjänstemän att fatta bättre politiska beslut, tillåta företag att arbeta mer effektivt och lönsamt, effektivisera användningen av offentliga resurser, stödja mer personlig vård och läkemedelsdesign och på annat sätt förbättra den övergripande livskvaliteten i vårt samhälle. Nyckeln till att ta vara på dessa möjligheter ligger i vår förmåga att omvandla tillgänglig data till viktiga beslut.

Datavetenskap och statistik: Möjligheter och utmaningar

• Denna nya 6-veckors onlinekurs börjar 4 oktober.

  Registrera idag!

En kommande sex veckors online MIT Professional Education-kurs, Datavetenskap: Data till insikter , erbjuds i samarbete med MIT Institute for Data, Systems, and Society ( IDSS ), kommer att fokusera på analyser. Men det kommer också att ta itu med sådana problem som de senaste trenderna inom maskininlärning: hur man extraherar meningsfulla insikter och preferenser från kunddata i allmänhet och hur man ställer rätt frågor för att fatta bättre affärsbeslut.

Utmaningen

Under de senaste decennierna har vi byggt infrastruktur som kan lagra och bearbeta enorma mängder data. Men vi saknar fortfarande den kritiska förmågan att sömlöst sammanfoga olika databitar för att göra meningsfulla förutsägelser som leder till beslut med stor genomslagskraft. Med tanke på de oändliga möjligheter som kan frigöras genom att ta itu med denna brist, tror jag att detta är en av vår tids avgörande utmaningar.

Utbildningsinstitutioner kan spela en ledande roll när det gäller att ta sig an denna viktiga utmaning. Vid MIT, IDSS och dess nya statistik- och datavetenskapscenter ( SDSC ) kommer att hjälpa till att hantera utmaningen att omvandla data till verkliga beslut med ett tvådelat tillvägagångssätt:

1. Utbilda våra elever att kunna arbeta med stora datamängder och att använda verktygen för att utvinna meningsfull information ur den. Med andra ord måste vi utbilda studenter inom alla discipliner till att bli både datavetare och statistiker. Detta kräver att institutioner utformar ett strömlinjeformat, tvärvetenskapligt utbildningsprogram som inkluderar element från teknik, matematiska vetenskaper och samhällsvetenskaper.
2. Utveckla ett forskningsprogram som så småningom producerar ett statistiskt databehandlingssystem som lätt kan användas för att göra alla möjliga exakta förutsägelser. Ett sådant system måste arbeta med heterogena datakällor, fungera i skala och leda till förutsägelser som kan tolkas effektivt. Detta ambitiösa program kan hjälpa till att mobilisera en tvärvetenskaplig och spännande intellektuell ansträngning inom datavetenskap och statistik under nästa årtionde eller längre fram.

Funderar på beslut

Låt oss överväga hur beslut fattas. I en typisk organisation beror grundläggande operativa uppgifter på beslut om hur man ska investera tillgängliga resurser bland olika konkurrerande alternativ, med ett öga på ett eller flera mål.

Till exempel fattar den amerikanska regeringen sådana beslut samtidigt som den utvecklar sin budget. Ett handelsföretag investerar pengar i olika finansiella instrument för att skapa portföljer med hög avkastning och, potentiellt, välförstådda risker. En detaljhandelsorganisation fattar beslut om vilka inköp av varor som kommer att generera höga intäkter och vinster. Ett hushåll fattar beslut om hur man får ut det mesta av familjens inkomst. En rationell individ fattar beslut om vad man ska äta (och vad inte att äta) för att få tillräckligt med energi och hålla sig frisk.

Alla sådana beslut, i ett nötskal, går ut på att göra förutsägelser och sedan genomföra vissa optimeringsaktiviteter med hjälp av dessa förutsägelser.

Hur det fungerar: Ett detaljhandelsexempel

Låt oss nu titta på ett konkret exempel som involverar en klädhandlare. Återförsäljarens primära operativa problem är att ta reda på vilka produkter som ska visas upp för kunder, med tanke på olika operativa begränsningar som dess budget för att köpa lager, gränserna för butikernas hyllutrymme och dess leverantörers scheman. Frågan om att välja vilka produkter som ska visas upp uppstår vid olika tidpunkter för olika typer av beslut, som att bestämma vilka produkter som ska köpas över hela butikskedjan, vilka som ska skickas till olika platser från distributionscenter, vilka produkter som ska rabatteras, vilka som ska marknadsföras via e-post, och som de ska visa för kunder när de besöker butiker eller e-handelssajter.

Alla dessa frågor kräver i huvudsak en förståelse för vad folk gillar och ogillar. Vissa befintliga system ger dessa insikter och kan till exempel indikera att blå skjortor är trendiga medan röda shorts har slutat sälja. Men hur omvandlar vi dessa insikter till handling?

Datadrivet beslutsfattande

Begreppsmässigt kräver datadrivet beslutsfattande att man kopplar beslutsvariabler och alternativ till data, och sedan löser ett optimeringsproblem med olika mål. Operationellt kräver detta att man bygger ett databehandlingssystem som kan vara extremt storskaligt och som kan behöva fungera i realtid med tre komponenter på hög nivå: gränssnitt, infrastruktur och algoritmer.

Gränssnitt. Dessa tillhandahåller sätt att leverera information till slutkunder och sensorer för att samla in information. Webbaserade (webbläsare) gränssnitt eller mobilapplikationer tillåter till exempel insamling av information om kundaktiviteter online. På liknande sätt kan sådana gränssnitt hjälpa en beslutsfattare i en detaljhandelsorganisation att interagera med data och insikter, samt få beslutsstöd. Standardiseringen av sådana gränssnitt har möjliggjort massiv innovation inom detta område under det senaste decenniet.

Infrastruktur. Infrastrukturens roll är att tillhandahålla ett sätt att sömlöst lagra och bearbeta enorma mängder data. Behovet av sådan infrastruktur uppstod naturligt i slutet av 1990-talet när Internet-eran tog fart. Det är ingen överraskning att webbsökningsföretag har banat väg för grundläggande innovationer. Intressant nog har webbsökning, en till synes enkel funktion, lett till utvecklingen av en generisk skalbar lagrings- och beräkningsinfrastruktur. Det har i sin tur varit den främsta anledningen till de senaste spännande innovationerna inom skalbar beräkning och databehandling.

Algoritmer. Databehandlingsalgoritmer omvandlar rådata som samlas in till värdefulla insikter och beslut. Lämpliga modeller används för att koppla dessa data till beslutsvariabler. Till exempel, när rådata genereras av människor, kan det vara vettigt att använda en beteendemodell för att koppla den observerade data till beslutsvariabler. De resulterande algoritmerna använder beräknings- och lagringsinfrastrukturen, baserat på data som erhålls genom gränssnittet, och producerar slutresultat som kan levereras till slutanvändaren via gränssnittet.

Ändå är en stor utmaning att möjliggöra utvecklingen av databehandlingsalgoritmer för alla. Till skillnad från tillgången på standardiserade gränssnitt eller en generisk beräknings- och lagringsarkitektur är vi långt ifrån en generisk, databehandlande, algoritmisk arkitektur.

Låt oss återgå till detaljhandelsexemplet ovan. Tänk specifikt på beslutsuppgiften för vilka produkter som ska visas för kunder när de besöker e-handelswebbplatsen – det vill säga hur gör vi personifiera varje kunds upplevelse? Naturligtvis beror detta på data om den specifika kunden, såväl som den data som samlas in om andra.

Dessa data samlas in via en kunds webbhistorik och klick på e-handelswebbplatsen, tidigare köp och annan onlineaktivitet som samlas in via våra webb- och mobilgränssnitt. Det är sannolikt lagrat i en lagringsinfrastruktur. Det omvandlas till personliga beslut i realtid via potentiellt sofistikerade databehandlingsalgoritmer som använder beteendemodeller från samhällsvetenskapen, tillsammans med metoder från matematisk statistik och maskininlärning. Databehandlingsalgoritmerna använder beräkningsinfrastrukturen för att kunna fatta sådana beslut i realtid. På så sätt levereras personliga beslut till kunden via gränssnittet.

Nyckeln till att bygga denna typ av personalisering eller rekommendationssystem är att ha tillgång till ett skickligt team av datavetare och statistiker som kan identifiera lämpliga statistiska metoder och beteendemodeller för att utveckla databehandlingsalgoritmer. De kan sedan designa människovänliga gränssnitt som kan samla in användbar data och därefter leverera beslut. Även om detta är ett dyrt åtagande, har några av de största återförsäljarna redan tagit denna väg.

Å andra sidan har personaliserings-/rekommendationssystemet specifika funktioner som tar en mycket liknande form över organisationer. Denna likhet har möjliggjort utvecklingen av generiska rekommendationssystem. Därför slutar många återförsäljare med att köpa sådana system från externa leverantörer som helt enkelt kopplar in personaliseringssystemet via gränssnitten.

Stänga slingan

Som diskuterats tidigare är en stor utmaning att gå från data till beslut. Vi har redan mycket data – och vi har en bra infrastruktur för att lagra och bearbeta den – men vi måste ta reda på hur bearbeta det. Diskussionen om personaliserings-/rekommendationssystemet förklarar exakt de två tillvägagångssätt som vi kan använda samtidigt för att möta denna utmaning.

För det första måste vi göra det möjligt för organisationer att bygga sitt team av skickliga datavetare. För det andra bör vi utveckla en generisk databehandlingsalgoritmisk arkitektur. Specifikt måste denna databehandlingsarkitektur fokusera på att utveckla ett generiskt prediktionssystem. Det beror på att ett beslutssystem i grunden har två komponenter: att förutsäga det okända och att använda förutsägelserna för att utföra optimering. Under de senaste decennierna har betydande framsteg gjorts för att utveckla teorin och praktiken för optimering. Men vi kan fortfarande inte definiera vad det generiska och universella prognosproblemet är.

IDSS, SDSC och 'Data Science'

MIT lanserade IDSS för att ta itu med samhälleliga frågor som dyker upp under nästa århundrade. Även om många av dessa frågor involverar flera discipliner, är de alla sammankopplade genom en gemensam utmaning: datadrivna beslut. För att utveckla ett utbildningsprogram och möjliggöra forskning inom datavetenskap och statistik vid IDSS skapade MIT SDSC under IDSS-paraplyet.

Vi kommer att hjälpa till att hantera utmaningen att omvandla data till beslut genom att möjliggöra de två tillvägagångssätt som jag har beskrivit genom både SDSC och IDSS. Specifikt kommer SDSC att utbilda sofistikerade datavetare och statistiker genom tvärvetenskapliga utbildningsprogram. IDSS kommer att tillhandahålla en tvärvetenskaplig forskningsmiljö som gör det möjligt för dess medlemmar att genomföra ambitiösa forskningsprogram inom statistik och datavetenskap.

Samtidigt har vår nya sexveckors onlinekurs, Datavetenskap: Data till insikter , som börjar den 4 oktober, kommer att dela den senaste informationen om sätt att tillämpa datavetenskapliga tekniker för att mer effektivt ta itu med din organisations många utmaningar. För att lära dig mer om hur du skapar ditt företags framtid för dataanalys, besök sidan för kursregistrering .

Erkännanden: Författaren tackar Munther Dahleh och Philippe Rigollet för att de lämnat feedback på en tidigare version av den här artikeln, och Stefanie Koperniak och Myriam Joseph för korrekturläsning och redigering.

Devavrat Shah, meddirektör för Data Science: Data to Insights-kursen, är professor vid MIT:s avdelning för elektroteknik och datavetenskap, chef för SDSC och en kärnfakultetsmedlem vid IDSS. Han är också medlem i MIT:s Laboratory for Information and Decision Systems (LIDS) och Operations Research Center (ORC).

Dölj