Kan automatiserade redaktionella verktyg hjälpa Wikipedias minskande volontärarbetsstyrka?

Resultatet är många högkvalitativa artiklar om ett stort antal ämnen på över 200 språk. Men det finns också artiklar av dålig kvalitet och tvivelaktig sanningshalt.

Detta väcker en viktig fråga för besökare på sajten: hur tillförlitlig är en given artikel på Wikipedia?

Idag får vi svar tack vare Xiangju Qins och Pádraig Cunninghams arbete vid University College Dublin i Irland. Dessa killar har utvecklat en algoritm som bedömer kvaliteten på Wikipedia-sidor baserat på auktoritativiteten hos de inblandade redaktörerna och livslängden på de redigeringar de har gjort.

Hypotesen är att sidor med betydande bidrag från auktoritativa bidragsgivare sannolikt är sidor av hög kvalitet, säger de. Med tanke på denna information bör besökare på Wikipedia kunna bedöma kvaliteten på en artikel mycket mer exakt.

Olika grupper har tidigare studerat kvaliteten på Wikipedia-artiklar och hur man mäter detta. Det nya med detta arbete är att kombinera befintliga åtgärder på ett nytt sätt.

Qin och Cunningham börjar med ett standardsätt för att mäta livslängden på en redigering. Tanken här är att en högkvalitativ redigering är mer sannolikt att överleva framtida revision. De beräknade detta genom att kombinera storleken på en redigering utförd av en given författare och hur länge denna redigering varar efter andra revisioner.

Vandalism är ett vanligt problem på Wikipedia. För att komma runt detta ignorerar Qin och Cunningham alla anonyma bidrag och tar också ett genomsnittligt kvalitetsmått som tenderar att minska effekten av skadliga redigeringar.

Därefter mäter de auktoriteten hos varje redaktör. Wikipedia är välkänt för att ha ett relativt litet antal dedikerade redaktörer som spelar en grundläggande roll i samhället. Dessa människor hjälper till att upprätthålla olika redaktionella standarder och sprider denna kunskap i hela samhället.

I denna gemenskap antar Qin och Cunningham att det finns en länk mellan två redaktörer om de båda har skrivit en artikel. Så oundvikligen tenderar mer erfarna redaktörer att vara bättre anslutna i nätverket.

Det finns olika sätt att mäta auktoritet. Qin och Cunningham tittar på antalet andra redaktörer som en given redaktör är länkad till. De bedömer andelen kortaste vägar över nätverket som går genom en given editor. Och de använder en iterativ Pagerank-typ algoritm för att mäta auktoritet. (Pagerank är Googles algoritm där en webbsida anses viktig om andra viktiga webbsidor pekar på den.)

Slutligen kombinerar Qin och Cunningham dessa mått på livslängd och auktoritet för att producera ett mått på artikelns kvalitet.

För att testa effektiviteten av deras bedömning använde de sin algoritm för att bedöma kvaliteten på över 9 000 artiklar som redan har bedömts av Wikipedias redaktörer. De säger att livslängden på en redigering i sig redan är en bra indikator på kvaliteten på en artikel. Att ta hänsyn till redaktörernas auktoritet förbättrar dock generellt bedömningen.

Artiklar med betydande bidrag från auktoritativa bidragsgivare är sannolikt av hög kvalitet, och att högkvalitativa artiklar generellt innebär mer kommunikation och interaktion mellan bidragsgivare, avslutar de.

Det finns vissa begränsningar såklart. En vanlig typ av redigering, känd som en återgång, ändrar en artikel till dess tidigare version och tar därmed bort en redigering helt. Detta används ofta för att bli av med skadegörelse. För närvarande har vi ingen speciell behandling för att hantera återställda redigeringar som inte introducerar nytt innehåll på en sida, erkänner Qin och Cunningham. Så det finns arbete att göra i framtiden.

Det nya tillvägagångssättet kan dock vara ett användbart verktyg i en Wikipedia-redaktörs arsenal. Qin och Cunningham föreslår att det skulle kunna hjälpa till att identifiera nya artiklar som är av relativt god kvalitet och även identifiera befintliga artiklar som är av särskilt låg kvalitet och därför kräver ytterligare uppmärksamhet.

Med den väldokumenterade nedgången i Wikipedias volontärarbetskraft är automatiserade redaktionella verktyg helt klart värdefulla för att minska arbetsbelastningen för dem som är kvar. En bredare fråga är hur bra dessa verktyg kan bli och hur de ska användas i den här typen av crowd-sourced strävanden.

Ref: arxiv.org/abs/1206.2517 : Att bedöma kvaliteten på Wikipedia-sidor med hjälp av Edit Longevity och Contributor Centrality

Dölj