211service.com
AAD22L: Automatisk akronymdetektion på 22 språk lanserad i Europa
Vi har alla haft erfarenheten av att läsa en rapport, vetenskaplig artikel eller bara en lång nyhetsartikel som förstörts av TMUA (Too Many Unnecessary Acronyms). Författaren introducerar en akronym i första stycket, andra i andra och tredje stycket leder till ett sista stycke som inte är mer än en sekvens av obegripliga versaler.
Idag har vi hjälp tack vare Maud Ehrmanns arbete vid Sapienza-universitetet i Rom i Italien och några kompisar som har utvecklat en textanalysator som känner igen över 1 miljon akronymer på 22 olika språk. Arbetet är en del av ett bredare arbete med att analysera innehållet i nyhetsartiklar för att hålla koll på medias bevakning av organisationer, företag, regeringar och så vidare.
Uppgiften att hitta akronymer i text är relativt enkel. Dessa killar har anpassat en algoritm som ursprungligen utvecklades för att upptäcka akronymer i medicinska texter på engelska. Den letar efter korta uttryck med versaler inom parentes och antar att orden omedelbart till vänster om parenteserna är den långa formexpansionen av akronymen.
Algoritmen filtrerar sedan resultaten för att ta bort bokstavssekvenser som innehåller saker som valutasymboler och ett mellanslag efter den första bokstaven och så vidare.
Det leder till några oundvikliga problem. En inträffar när algoritmen inte alls känner igen akronymen. Den främsta anledningen till att inte erkännas är fall där förkortningens korta form är på ett annat språk än den långa formen, till exempel i tyska Vereinigte Nationen (UNO), där den tyska långa formen följs av den engelska kortformen, säger Ehrmann and co.(UNO står för Organisation of United Nations, mer känd som UN på engelska.
Ett annat problem är när algoritmen hittar fel långformsversion av en akronym. Ett exempel på detta skulle vara Charles Otieno (VD) och tenderar att förekomma med generiska akronymer som kan appliceras på ett stort antal personer eller organisationer.
Ändå är dessa problem mindre och algoritmen fungerar i allmänhet bra. Ehrmann och co säger att de hittar akronymer med en precision som är större än 90 procent för alla 22 språk som de testade, med undantag för franska (87 procent).
Och de spekulerar i att det borde fungera bra med alla språk som använder versaler för att representera akronymer. Även om vi misstänker att metoden kommer att fungera bra med språk som använder till exempel de kyrilliska eller grekiska alfabeten, kommer den förmodligen inte att fungera bra för språk som använder arabiska eller hebreiska skrifter eftersom dessa inte skiljer på kasus, säger de.
Ehrmann och co har planer på att utöka arbetet ytterligare. En idé är att hitta sätt att länka samman de långa formerna av akronymer mellan olika språk. Ett annat är att hitta sätt att automatiskt känna igen och förstå akronymer som inte åtföljs av deras långa formexpansion (ett knepigt problem även för människor). Det kan vara möjligt genom att leta efter ledtrådar i det lokala sammanhanget, men detta är ett ambitiöst mål.
Intressant nog finns tre av de fyra författarna bakom detta arbete vid Joint Research Centre, Europeiska kommissionens forskningslaboratorium i Belgien. Språk är ett betydande och dyrt problem för EG, Europeiska unionens verkställande organ. Det måste underlätta kommunikationen mellan människor i 28 länder som använder 24 officiella språk till en kostnad av cirka 330 miljoner euro per år, eller cirka 60 cent för varje EU-medborgare.
Så det finns ett stort intresse för att automatisera så mycket av detta som möjligt. Akronymer är små men användbara första steg.
Ref: arxiv.org/abs/1309.6185 : Akronymigenkänning och bearbetning på 22 språk