AI tror att det här översvämningsfotot är en toalett. Åtgärd som kan förbättra reaktionen vid katastrofer.

Kraftiga översvämningar i Mellanvästern. Med tillstånd av MIT Lincoln Laboratory

Andrew Weinert och hans kollegor var djupt frustrerade. Efter att orkanen Maria drabbade Puerto Rico, arbetade forskarna från MIT:s Lincoln Laboratory hårt för att hjälpa Federal Emergency Management Agency (FEMA) att bedöma skadan. I handen hade de den perfekta datamängden: 80 000 flygbilder från regionen tagna av Civil Air Patrol direkt efter katastrofen.

Men det fanns ett problem: det fanns för många bilder att sortera igenom manuellt, och kommersiella bildigenkänningssystem kunde inte identifiera något meningsfullt. I ett särskilt uppseendeväckande exempel rekommenderade ImageNet, den gyllene standarden för bildklassificering, att märka en bild av en större översvämningszon som en toalett.

Det fanns det här fantastiska informationsinnehållet, men det var inte tillgängligt, säger Weinert.

De insåg snart att detta problem inte är unikt. I alla storskaliga katastrofscenarios kan team av räddningspersonal som FEMA spara avsevärd tid och resurser genom att granska detaljer om förhållanden på marken innan de anländer. Men de flesta datorseendesystem tränas på vanliga bilder från dag till dag, så de kan inte på ett tillförlitligt sätt plocka ut relevanta detaljer i katastrofområden.

Insikten tvingade teamet att sammanställa och kommentera en ny uppsättning bilder och filmer som är specifika för nödsituationer. De släppte datamängden tillsammans med en papper denna vecka i hopp om att den ska användas för att träna datorseendesystem i framtiden.

Datauppsättningen innehåller över 620 000 bilder och 96,5 timmars video som omfattar bilder från alla 50 delstater i USA. De flesta av medierna kom från statliga databaser eller Creative Commons-videor på YouTube; en liten del filmades också av Lincoln Labs personal själva.

Bilder från datamängden. Med tillstånd av MIT Lincoln Laboratory

För att göra det verkligt användbart för räddningspersonal, övervägde forskarna olika nödsituationer som sannolikt skulle slå ut vanliga bildklassificeringssystem. De sammanställde bilder på bilar i översvämmade vatten, till exempel; de flesta system skulle se vattnet och omedelbart märka fordonet som en båt – helt enkelt som ett symptom på deras träningsdata.

De ägnade också mycket tid åt att lista ut det bästa sättet att kommentera bilderna. De ville att anteckningarna skulle erbjuda räddningspersonal användbar kontext för sina uppdrag, och de behövde också att anteckningsschemat skulle vara tillräckligt enkelt för att datamärkare skulle kunna utföra snabbt med minimala fel. Så de efterliknade ImageNets organisationsstruktur, som grupperar foton i allt mer specifika kategorier av objekt, som djur, hund och sedan labrador retriever. I stället för objektkategorier samlade forskarna dock foton baserade på allt mer specifika katastrofegenskaper: Finns det skador? Ja eller nej? Finns det vatten? Ja eller nej? Ska vattnet finnas där? Ja eller nej?

Sådana kvalifikationer kommer att tillåta datorseendeforskare att enkelt sortera igenom datamängden och välja relevanta segment för att träna katastrofrelaterade bildigenkänningssystem. Dessa system skulle sedan hjälpa en räddningstjänst att snabbt bearbeta bilder från nya katastrofscenarier för att få en känsla av de värsta påverkansområden, vilka typer av förhållanden på marken som kan förväntas och vilka förnödenheter som ska förberedas för deras uppdrag.

Weinert säger att det fortfarande är ett pågående arbete, men han är exalterad över dess potential. Om vi ​​kunde ta reda på ett sätt att säga: 'Det är så här du bör kvalificera bilder för katastrofberedskap,' kan Amazon, Task Rabbit och alla andra molnkällor börja använda det som en industristandard, säger han, och börja utveckla mer katastrofmedvetna igenkänningssystem.

Forskarna gör nu datamängden tillgänglig för National Institute of Standards and Technology och har börjat samarbeta med andra organisationer för att sätta upp bildigenkänningstävlingar kring dess användning. Vi tittar på sätt att få detta i händerna på datorseendeforskare, säger Weinert.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.

Dölj