Data mining avslöjar grundläggande mönster av mänskligt tänkande

Redan 1935 gjorde den amerikanske lingvisten George Zipf en anmärkningsvärd upptäckt. Zipf var nyfiken på förhållandet mellan vanliga ord och mindre vanliga. Så han räknade hur ofta ord förekommer i vanligt språk och ordnade dem sedan efter deras frekvens.

Detta avslöjade en anmärkningsvärd regelbundenhet. Zipf fann att ett ords frekvens är omvänt proportionell mot dess plats i rankingen. Så ett ord som är tvåa i rankningen förekommer hälften så ofta som det vanligaste ordet. Det tredje rankade ordet förekommer en tredjedel så ofta och så vidare.

På engelska är det mest populära ordet de, som utgör cirka 7 procent av alla ord, följt av och , vilket inträffar 3,5 procent av tiden, och så vidare. Faktum är att cirka 135 ord står för hälften av alla ord som förekommer. Så några ord förekommer ofta, medan de flesta knappast förekommer.

Men varför? En spännande möjlighet är att hjärnan bearbetar vanliga ord annorlunda och att studier av Zipfs distribution bör avslöja viktiga insikter om denna hjärnprocess.

Det finns dock ett problem. Språkvetare är inte alla överens om att den statistiska fördelningen av ordfrekvensen är resultatet av kognitiva processer. Istället säger vissa att fördelningen är resultatet av statistiska fel associerade med lågfrekventa ord, vilket kan ge liknande distributioner.

Vad som behövs är naturligtvis en större studie över ett brett spektrum av språk. En sådan storskalig studie skulle vara mer statistiskt kraftfull och på så sätt kunna dra isär dessa möjligheter.

Idag får vi just en sådan studie tack vare arbetet av Shuiyuan Yu och kollegor vid Communication University of China i Peking. Dessa killar har hittat Zipfs lag på 50 språk hämtade från ett brett spektrum av språkliga klasser, inklusive indoeuropeiska, uraliska, altaiska, kaukasiska, kinesisk-tibetanska, dravidiska, afroasiatiska och så vidare.

Yu och co säger att ordfrekvenserna i dessa språk delar en gemensam struktur som skiljer sig från den som statistiska fel skulle producera. Dessutom säger de att denna struktur antyder att hjärnan bearbetar vanliga ord annorlunda än ovanliga, en idé som har viktiga konsekvenser för bearbetning av naturliga språk och automatisk generering av text.

Yu och cos metod är okomplicerad. De börjar med två stora textsamlingar som kallas British National Corpus och Leipzig Corpus. Dessa inkluderar prover från 50 olika språk, varje prov innehåller minst 30 000 meningar och upp till 43 miljoner ord.

Forskarna fann att ordfrekvenserna i alla språk följer en modifierad Zipfs lag där fördelningen kan delas in i tre segment. De statistiska resultaten visar att Zipfs lagar på 50 språk alla delar ett strukturmönster med tre segment, där varje segment visar distinkta språkliga egenskaper, säger de Yu.

Denna struktur är intressant. Yu och co har försökt simulera det med hjälp av ett antal modeller för att skapa ord. En modell är modellen monkey-at-a-skrivmaskin, som genererar slumpmässiga bokstäver som bildar ord när ett mellanslag uppstår.

Denna process genererar en maktlagsfördelning som Zipfs lag. Det kan dock inte generera den tresegmentsstruktur som Yu och co har hittat. Inte heller kan denna struktur genereras av fel associerade med lågfrekventa ord.

Yu och co kan dock reproducera denna struktur med hjälp av en modell av hur hjärnan fungerar som kallas dubbelprocessteorin. Detta är tanken att hjärnan fungerar på två olika sätt.

Det första är snabbt intuitivt tänkande som kräver lite eller inga resonemang. Denna typ av tänkande tros ha utvecklats så att människor kan reagera snabbt i hotfulla situationer. Det ger generellt bra lösningar på svåra problem, som mönsterigenkänning, men kan lätt luras av icke-intuitiva situationer.

Men människor är kapabla till mycket mer rationellt tänkande. Denna andra typ av tänkande är långsammare, mer beräknande och medveten. Det är den här typen av tänkande som gör att vi kan lösa komplexa problem som matematiska pussel och så vidare.

Dubbelprocessteorin antyder att vanliga ord som den, och, om och så vidare bearbetas av snabbt, intuitivt tänkande och används så oftare. Dessa ord utgör ett slags ryggrad för meningar.

Men mindre vanliga ord och fraser som hypotes och Zipfs lag kräver mycket mer noggrann eftertanke. Och på grund av detta förekommer de mindre ofta.

Faktum är att när Yu och co simulerar denna dubbla process leder det till samma tresegmentstruktur i ordfrekvensfördelningen som de mätte på 50 olika språk.

Det första segmentet återspeglar fördelningen av vanliga ord, det sista segmentet återspeglar fördelningen av ovanliga ord, och mittsegmentet är resultatet av korsningen av dessa två regimer. Dessa resultat visar att Zipfs lag i språk är motiverad av kognitiva mekanismer som dubbelbearbetning som styr mänskliga verbala beteenden, säger Yu och co.

Det är intressant arbete. Tanken att den mänskliga hjärnan bearbetar information på två olika sätt har tagit stor fart de senaste åren, inte minst på grund av boken Tänkande, snabbt och långsamt av den nobelprisvinnande psykologen Daniel Kahneman, som har studerat denna idé i detalj.

Ett välkänt problem som används för att utlösa snabbt och långsamt tänkande är detta:

Ett slagträ och en boll kostar $1,10 totalt. Battet kostar $1,00 mer än bollen. Hur mycket kostar bollen?

Svaret är naturligtvis 5 cent. Men nästan alla har den initiala benägenheten att tänka 10 cent. Det beror på att 10 cent känns rätt. Det är i rätt storleksordning och antyds av problemets inramning. Det svaret kommer från den snabba, intuitiva sidan av din hjärna.

Men det är fel. Rätt svar kräver den långsammare, mer beräknande delen av din hjärna.

Yu och co säger att samma två processer är involverade i att skapa meningar. De snabbtänkande del av din hjärnan skapar de grundläggande struktur av mening ( de ord här markant i djärv). De andra ord kräver de långsammare, Mer beräknande del av din hjärna.

Det är denna dubbla process som leder till den tresegmenterade Zipfs lag.

Det borde få intressanta konsekvenser för datavetare som arbetar med naturlig språkbehandling. Detta område har gynnats av enorma framsteg de senaste åren. Dessa har kommit från maskinlärande algoritmer men också från stora databaser med text som samlats in av företag som Google.

Men att skapa naturligt språk är fortfarande svårt. Du behöver inte chatta med Siri, Cortana eller Google Assistant för länge för att komma emot deras konversationsgränser.

Så en bättre förståelse för hur människor genererar meningar skulle kunna hjälpa avsevärt. Zipf skulle säkert ha blivit fascinerad.

Ref: arxiv.org/abs/1807.01855 : Zipfs lag på 50 språk: dess strukturella mönster, språklig tolkning och kognitiv motivation

Dölj