211service.com
Vi är orden
Med hjälp av teknikerna för genomik har ett team av forskare tagit fram ett verktyg som levererar kvantitativa data om hur kultur förändras över tiden. Genomikforskning analyserar enorma mängder data för att studera hur gener fungerar och förändras; det nya verktyget tar ett storskaligt tillvägagångssätt för att studera frekvensen av ordanvändning över tid.
Tillvägagångssättet är vettigt om ord betraktas som en kulturenhet, säger Erez Lieberman Aiden, en av projektets ledare. Genomet innehåller ärftlig information, som förs från generation till generation, säger han. Orden vi använder, i de böcker vi skriver, går också vidare från generation till generation.
Lieberman Aiden och Jean-Baptiste Michel , båda på Harvards Program för evolutionär dynamik , ledde projektet, som de har kallat culturomics - en portmanteau som kombinerar kultur och genomik. Den första frukten av deras arbete var en enorm databas med orden i cirka 5,2 miljoner böcker publicerade mellan 1800 och 2000 – ungefär fyra procent av alla publicerade böcker. Dessa kom från Google Books-projektet, vars bibliotek innehåller 15 miljoner böcker.
I dagens nummer av tidningen Vetenskap, forskarna presenterar sitt projekt tillsammans med några av de första resultaten de har härlett från data. I samband med publiceringen rullar Google ut en applikation (kl www.culturomics.org ) som låter vem som helst komma åt och analysera den färdiga databasen, som innehåller 2 miljarder ord och fraser.
Forskarna säger att genom att spåra frekvensen av ordanvändning kan samhällsvetare, datavetare och matematiker observera uppkomsten och utvecklingen av kulturella trender över tiden. Verktyget kan användas för att skapa tidslinjer för kultur, som visar spikar och dalar som motsvarar tung och knapphändig användning av särskilda ord.
Förtryck, till exempel, sätter spår i kulturhistorien. Tyskspråkiga böcker utgivna under nazistisk censur mellan 1936 och 1944 nämner knappt vissa konstnärer och filosofer vars namn var vanliga före och efter den perioden.
Analyserna identifierade också ord som fanns i publicerade böcker men som inte hade något hem i ordböcker, inklusive aridifiering (uttorkning av en region) och raderbara. Dessa obundna ord är inget undantag: När forskarna samlade ihop alla ord i det engelska lexikonet, räknade de mer än en miljon – dubbelt så många i stora moderna ordböcker. (De Oxford English Dictionary , till exempel har färre än 500 000 poster.)
Lieberman Aiden säger att han hoppas att forskare från många discipliner kommer att hitta nya sätt att utnyttja data. Det är ytterligare ett verktyg som står till humanisters förfogande för att samla in insikter och svara på frågor om den mänskliga naturen.
Han och Michel började arbeta på allvar med projektet 2007. Alla böckerna i Googles digitala bibliotek är inte offentliga, så forskarna var tvungna att vara försiktiga med att inte bryta mot upphovsrättslagen. I huvudsak tog de bort orden från böckernas sammanhang – samtidigt som metadata som publiceringsdatum hölls intakt – och organiserade orden i en enorm frekvenstabell.
De använde filter för att göra sin datamängd så korrekt som möjligt, så att till exempel sållas bort böcker med felaktiga publiceringsdatum eller de vars text var dåligt transkriberad av programvara för optisk teckenigenkänning. Efter filtrering lämnades de med 5 195 769 böcker, innehållande text på mer än 500 miljarder ord. Cirka 72 procent av dessa är engelska ord.
De intensiva beräkningar som krävdes för att begränsa denna datamängd till en baserad på frekvensen av varje ord distribuerades över flera maskiner hos Google och slutfördes snabbt.
Jon Kleinberg , en datavetare vid Cornell University, säger att ordfrekvens kan vara ett kraftfullt kvantitativt verktyg för att identifiera trender i kultur. Att titta på beteendet hos enskilda ord kan ofta vara en stark första indikator på ett fenomen över tid, säger han. Skannat material är dock bara början. Andra digitala texter ger rika källor för kvantitativ studie av kulturell information. Analysen av Googles söktermer kan till exempel avslöja vad som intresserar människor. Eller en storskalig studie av Facebook-uppdateringar kan fungera som en pulskontroll i realtid på massorna.
Vi ser saker som aldrig skrivits ner tidigare, säger han. På Twitter eller Facebook säger miljontals människor 'Jag känner mig glad' eller 'Jag känner mig ledsen.' Fram till de senaste 10 åren, var kunde du ha hittat miljontals människor som skrev ner sina känslor?