211service.com
Twitter Data Scientist tar på McDonald's hela menyn, överlever
Edwin Chen är en dataforskare på Twitter som vill dela de mystiska hemligheterna med sin mörka konst, vilket är bra med tanke på att det förmodligen är det snabbast växande fältet i USA
Mmmm, datavetenskap. (cc Evan Blaser )
(Nedan har jag inkluderat hela en e-postintervju som jag genomförde med Chen, som du kanske vill hoppa till om du letar efter en allmän översikt över hans arbete. Han avslöjar bland annat att han har övervägt att bryta Twitter data för att se om människor äter snabbmat när de är ledsna.)
Datavetenskap är så nytt att det inte finns några läroböcker i ämnet och inga läroplaner för universitet som är utformade för att bli datavetare. Ändå är det en integrerad del av allt från kvantitativ handel på Wall Street till annonsinriktning på webben och optimering av verkliga leveranskedjor.
Innan han bröt terabyte av tweets för insikter som kunde omvandlas till interaktiva visualiseringar, finslipade Chen sina färdigheter när han studerade lingvistik och ren matematik vid MIT. Det är vanligtvis atypiskt för en datavetare, som har bakgrund i matematiskt rigorösa discipliner, vad de än är. (På Twitter, till exempel, alla datavetare måste ha minst en magisterexamen inom ett relaterat område .)
Här är ett av de konstigaste exemplen på datavetenskapens mångsidighet, från Chens egen blogg. I ett inlägg med den spännande titeln Oändliga blandningsmodeller med icke-parametriska Bayes och Dirichlet-processen Chen fördjupar sig i problemet med klustring. Det vill säga, hur tar man en mängd data och sorterar den i grupper av relaterade objekt? Det är ett tufft problem – hur många grupper ska det finnas? vilka är kriterierna för att sortera dem? – och detaljerna i hur han tacklar det är bortom de som inte har en bakgrund i den här typen av analyser.
För oss andra ger Chen ett konkret och lättillgängligt exempel: McDonald's
Genom att dumpa hela McDonalds-menyn i sin matematiska sorteringslåda upptäcker Chen till exempel att inte alla McDonalds-såser är skapade lika. Hot Mustard och Spicy Buffalo faller inte i samma kluster som Creamy Ranch, som har mer gemensamt med McDonald's Iskaffe med sockerfri vaniljsirap än med Newman's Own Low Fat Balsamic Vinaigrette.
Andra kluster dyker upp, inklusive alla hamburgare, frukostmat och sockerdrycker. Hittills, inte så överraskande, tills du kommer till det ena klustret på McDonalds meny som bara innehåller ett objekt.
Vad är så speciellt med McDonald's Fruit & Maple Oatmeal? Det är förmodligen dess fiberinnehåll, relativt (jag betonar relativt) höga nivåer av näringsämnen och lägre nivåer av socker, transfett och kolesterol.
Med andra ord, när en av Twitters nyaste dataforskare tillämpar sitt hantverk på McDonalds meny, extraherar hans algoritm automatiskt den enda maten på den som någon av oss förmodligen ens borde överväga att äta. Havregrynsgröt: på McDonald's är det verkligen i en klass för sig.
Här är hela intervjun med Chen:
1. Hur länge har du varit datavetare på Twitter?
Jag har varit på Twitter i ungefär fyra månader.
2. Vad gör en dataforskare på Twitter?
Vi arbetar med allt från att bygga maskininlärningsmodeller och förbättra våra storskaliga ramverk för databearbetning, till att skapa datavisualiseringar, köra statistiska analyser och hitta bättre sätt att förstå våra användare och Twitter-grafen. Det finns mycket variation, och det beror verkligen på varje persons kompetens och intressen.
Vid varje given tidpunkt kommer jag till exempel sannolikt att experimentera med nya annonsinriktningsalgoritmer, skriva MapReduce-jobb för att bryta terabyte av tweets (med Scalding, vårt interna språk MapReduce), bygga interaktiva visualiseringar för att få insikter i alla data vi samlar in, skriver en rapport för att förklara några nya rön, kör ett experiment på Mechanical Turk och mycket mer.
3. Blev ditt senaste inlägg (om klustring) inspirerat av något du arbetar med på Twitter (som du kan diskutera)?
Jag har arbetat en del med att gruppera våra användare och annonsörer, automatiskt härleda ämneskategorier i text och funderat på vad vi kan lära oss av mat på Twitter (till exempel skiljer sig män och kvinnor, eller sanfranciskaner och New York-bor i vad de äter? finns det något samband mellan vad folk äter och vad de twittrar, t.ex. är det mer benäget att äta skräpmat när de är ledsna?). Så även om inlägget inte var direkt inspirerat av det jag jobbar med på Twitter, är det definitivt relaterat.
4. Datavetenskap är en sak nu, men (har jag fått höra) området är så nytt att det inte finns några läroböcker eller universitetskurser som är specifika för det. Håller du med/håller du med?
Jag håller med – men det beror på din definition av datavetenskap (som många inte håller med om!). För mig är datavetenskap en blandning av tre saker: kvantitativ analys (för den rigoritet som krävs för att förstå dina data), programmering (så att du kan bearbeta dina data och agera utifrån dina insikter) och storytelling (för att hjälpa andra att förstå vad datamedel). Så användbara färdigheter för en datavetare att ha kan inkludera:
* Statistik, maskininlärning (på den kvantitativa analyssidan). Till exempel är det omöjligt att extrahera mening ur din data om du inte vet hur du kan skilja dina signaler från brus. (Jag ska dock betona att jag tror att all form av stark kvantitativ förmåga är bra – min egen bakgrund var ursprungligen i ren matematik och lingvistik, och många av de andra här kommer från områden som fysik och kemi. Du kan alltid välja upp de specifika verktyg du behöver.)
* Allmän programmeringsförmåga, plus kunskap om specifika områden som MapReduce/Hadoop och databaser. Till exempel är ett vanligt mönster för mig att jag kommer att koda ett MapReduce-jobb i Scala, göra lite enkel kommandoradsmunning på resultaten, skicka data till Python eller R för vidare analys, dra från en databas för att ta lite extra fält och så vidare, och ofta integrerar jag det jag hittar i vissa maskininlärningsmodeller till slut.
* Webbprogrammering, datavisualisering (på berättarsidan). Till exempel tycker jag att det är oerhört användbart att kunna slänga upp en snabb webbapp eller instrumentpanel som låter andra människor (inklusive mig själv!) interagera med data – när man kommunicerar med både tekniska och icke-tekniska personer är en bra datavisualisering ofta mycket mer användbart och insiktsfullt än ett abstrakt nummer.
Även om det inte finns många läroböcker eller kurser som täcker alla tre områden (ett undantag kan vara Jeff Hammerbacher och Mike Franklins kurs på Berkeley: http://datascienc.es/ ), det finns naturligtvis resurser som täcker varje färdighet ensam. (Datavisualisering verkar dock fortsätta att vara en underskattad färdighet, så klasser inom det området är mer sällsynta.)
Följ @Mims eller komma i kontakt