211service.com
Datorseende i AI: Datan som behövs för att lyckas
Tillhandahålls av Påstående
Att utveckla kapaciteten att kommentera enorma mängder data samtidigt som kvaliteten bibehålls är en funktion av modellutvecklingens livscykel som företag ofta underskattar. Det är resurskrävande och kräver specialiserad expertis.
Kärnan i alla framgångsrika initiativ för maskininlärning/artificiell intelligens (ML/AI) är ett engagemang för utbildningsdata av hög kvalitet och en väg till kvalitetsdata som är beprövad och väldefinierad. Utan denna kvalitetsdatapipeline är initiativet dömt att misslyckas.
Datavisions- eller datavetenskapsteam vänder sig ofta till externa partners för att utveckla sin datautbildningspipeline, och dessa partnerskap driver modellprestanda.
Det finns ingen definition av kvalitet: kvalitetsdata är helt beroende av det specifika datorseendet eller maskininlärningsprojektet. Det finns dock en generell process som alla team kan följa när de arbetar med en extern partner, och denna väg till kvalitetsdata kan delas upp i fyra prioriterade faser.
Anteckningskriterier och kvalitetskrav
Träningsdatakvalitet är en utvärdering av en datamängds lämplighet för att tjäna sitt syfte i ett givet ML/AI-användningsfall.
Datavisionsteamet behöver upprätta en entydig uppsättning regler som beskriver vad kvalitet betyder i sitt projekt. Anteckningskriterier är samlingen av regler som definierar vilka objekt som ska kommenteras, hur de ska kommenteras korrekt och vilka kvalitetsmålen är.
Noggrannhet eller kvalitetsmål definierar det lägsta acceptabla resultatet för utvärderingsmått som noggrannhet, återkallelse, precision, F1-poäng, et cetera. Vanligtvis kommer ett datorseendeteam att ha kvalitetsmål för hur noggrant objekt av intresse klassificerades, hur exakt objekt lokaliserades och hur noggrant relationer mellan objekt identifierades.
Personalutbildning och plattformskonfiguration n
Plattformskonfiguration. Uppgiftsdesign och arbetsflödesinställning kräver tid och expertis, och korrekt anteckning kräver uppgiftsspecifika verktyg. I det här skedet behöver datavetenskapsteam en partner med expertis för att hjälpa dem att avgöra hur de bäst konfigurerar märkningsverktyg, klassificeringstaxonomier och annoteringsgränssnitt för noggrannhet och genomströmning.
Arbetartestning och poängsättning. För att korrekt märka data behöver annotatorer en väl utformad utbildningsplan så att de till fullo förstår anteckningskriterierna och domänkontexten. Annoteringsplattformen eller den externa partnern bör säkerställa noggrannhet genom att aktivt spåra annotatorns kompetens mot gulddatauppgifter eller när en bedömning ändras av en högre kvalificerad arbetare eller administratör.
Marksanning eller gulddata. Ground sanningsdata är avgörande i detta skede av processen som baslinjen för att poängsätta arbetare och mäta utdatakvalitet. Många datorseende-team arbetar redan med en datauppsättning av grundsanningar.
Befogenhetskällor och kvalitetssäkring
Det finns ingen kvalitetssäkringsmetod (QA) som passar alla som uppfyller kvalitetsstandarderna för alla ML-användningsfall. Specifika affärsmål, såväl som risken förknippad med en underpresterande modell, kommer att driva kvalitetskraven. Vissa projekt når målkvalitet med hjälp av flera annotatorer. Andra kräver komplexa granskningar mot markens sanningsdata eller eskaleringsarbetsflöden med verifiering från en ämnesexpert.
Det finns två primära auktoritetskällor som kan användas för att mäta kvaliteten på anteckningar och som används för att poängsätta arbetare: gulddata och expertgranskning.
- Gulddata: Uppsättningen av gulddata eller grund sanningsuppsättningar kan användas både som ett kvalificeringsverktyg för att testa och poängsätta arbetare i början av processen och även som mått på utdatakvalitet. När du använder gulddata för att mäta kvalitet jämför du arbetarkommentarer med dina expertkommentarer för samma datauppsättning, och skillnaden mellan dessa två oberoende, blinda svar kan användas för att producera kvantitativa mätningar som noggrannhet, återkallelse, precision och F1-poäng .
- Expertgranskning: Denna kvalitetssäkringsmetod bygger på expertgranskning från en högutbildad arbetare, en administratör eller från en expert på kundsidan, ibland alla tre. Den kan användas tillsammans med gulddata QA. Expertgranskaren tittar på svaret från den kvalificerade arbetaren och antingen godkänner det eller gör korrigeringar vid behov, vilket ger ett nytt korrekt svar. Inledningsvis kan en expertgranskning äga rum för varje enskild instans av märkt data, men med tiden, eftersom arbetarkvaliteten förbättras, kan expertgranskning använda slumpmässigt urval för pågående kvalitetskontroll.
Itererar på dataframgång
När ett datorseendeteam framgångsrikt har lanserat en högkvalitativ utbildningsdatapipeline kan det påskynda framstegen till en produktionsklar modell. Genom löpande support, optimering och kvalitetskontroll kan en extern partner hjälpa dem:
- Spårhastighet: För att skala effektivt är det bra att mäta annoteringsgenomströmning. Hur lång tid tar det att gå igenom processen? Blir processen snabbare?
- Trimma arbetarutbildning: Allt eftersom projektets skalor kan märkning och kvalitetskrav utvecklas. Detta kräver fortlöpande utbildning och poängsättning av personalen.
- Train on edge case: Med tiden bör träningsdata inkludera fler och fler edge case för att göra din modell så exakt och robust som möjligt.
Utan utbildningsdata av hög kvalitet kan inte ens de bäst finansierade, mest ambitiösa ML/AI-projekten lyckas. Datavisionsteam behöver partners och plattformar som de kan lita på för att leverera den datakvalitet de behöver och för att driva livsförändrande ML/AI-modeller för världen.
Alegion är den beprövade partnern för att bygga utbildningsdatapipeline som kommer att driva din modell under hela dess livscykel. Kontakta Alegion på [email protected] .
Detta innehåll producerades av Alegion. Den skrevs inte av MIT Technology Reviews redaktion.