Hur datautvinning av misslyckanden kunde lära oss framgångens hemligheter

Ms. Tech | Edison: Library of Congress, Bulb: Pixabay

Thomas Edison beskrivs ofta som USA:s största uppfinnare. Hans framgångar inkluderar elproduktion, ljudinspelning och den elektriska glödlampan.

Men Edison var inte främmande för misslyckande. Han testade berömt 1 000 olika konstruktioner innan han satte sig på koltråden som blev den första kommersiellt framgångsrika glödlampan. Denna envishet skilde honom åt. Många av livets misslyckanden är människor som inte insåg hur nära de var framgång när de gav upp, sa han.

Många grupper och individer har studerat framgångens natur. Dessa studier har gett olika grader av insikt. Baksidan – misslyckandets natur – är mycket mindre väl studerad men utan tvekan viktigare. Lite är känt om de mekanismer som styr misslyckandets dynamik.

Idag förändras det, åtminstone delvis, tack vare Yian Yins arbete vid Northwestern University i Evanston, Illinois, och kollegor. Detta team har analyserat karaktären av misslyckanden i tre enorma datamängder efter framgångarna för nystartade företag, forskare som försöker säkra finansiering och terroristattacker. Verket avslöjar misslyckandets dynamik och en dold signatur som kan skilja förestående misslyckanden från framgångar i ett tidigt skede.

Teamets metod bygger på analys av tre datamängder. Den första är en uppsättning av alla hälsorelaterade forskningsförslag som lämnats in till US National Institutes of Health mellan 1985 och 2015.

NIH är världens största finansiär av biomedicinsk forskning, så denna datauppsättning är enorm och består av 776 721 ansökningar från 139 091 forskare. Den innehåller också information om huruvida varje förslag finansierades eller inte; med andra ord, om det var framgångsrikt eller inte.

Den andra databasen är över investeringsrekord i nystartade företag från VentureXpert, den officiella databasen för National Venture Capital Association. Detta följer ödet för varje startup som finansierades av riskkapitalister mellan 1970 och 2017 – totalt 58 111 företag som involverade 253 579 innovatörer.

I det här fallet anses en startup vara framgångsrik om den uppnådde ett börsnoterat erbjudande eller högvärdigt fusion och förvärv inom fem år efter grundandet.

Den slutliga datamängden är från Global Terrorism Database, som registrerar 170 350 terroristattacker av 3 178 terroristorganisationer mellan 1970 och 2017. I det här fallet är en framgångsrik attack en som kräver minst ett liv, medan misslyckanden är de som dödar ingen.

En nyckelfunktion i dessa datamängder är att de tillåter Yin och co att följa framgången hos forskare, innovatörer och terroristgrupper som gör många försök att nå sina mål. En nyckelfråga som de undersöker är hur försök förändras över tid och vilka faktorer som är inblandade i dessa förändringar.

Yin och co studerar specifikt två faktorer som anses spela en viktig roll i framgång och misslyckande: slump och lärande. De tittar först på slumpen, föreställningen att slumpmässiga händelser spelar en viktig roll för att hindra eller öka chanserna till framgång.

Det leder till en enkel modell. Om slumpen är nyckelfaktorn som avgör framgång, så har varje försök en begränsad sannolikhet att lyckas. Faktum är att framgång så småningom kommer att inträffa om tillräckligt många försök görs. Detta tyder på att antalet försök innan en framgång bör följa en exponentiell fördelning.

För att testa denna teori studerade Yin och co sekvenserna av misslyckanden av samma individer eller team innan de nådde framgång. Det visar sig att dessa sekvenser inte följer den typ av fördelning som förutsägs av en slumpmodell.

Yin och co utvärderade också de första och näst sista försöken i dessa misslyckanden och jämförde dem sedan för att se hur de har förändrats. Om turen är allt som betyder något borde det inte finnas någon signifikant skillnad.

Men de näst sista insatserna är betydligt bättre än de första försöken, menar laget. Detta tyder på att en annan mekanism måste vara på gång: de inblandade måste lära sig. Med andra ord, upplevelsen av misslyckande lär ut värdefulla lärdomar som kan användas för att förbättra prestandan nästa gång.

Eftersom inlärning bör minska antalet försök som krävs innan man uppnår framgång, bör det leda till en snävare fördelning av misslyckande streck än den exponentiella form som förutsägs av chansmodellen.

Men till Yin och cos överraskning följer inte heller misslyckanden det här mönstret. Faktum är att de har en mycket fetare svansfördelning. Dessa observationer visar att varken slumpen eller lärande ensam kan förklara de empiriska mönstren bakom misslyckanden, säger forskarna.

Så vilka andra faktorer är viktiga? För att ta reda på det, modellerade Yin och co hur människor lär sig av erfarenhet och hur detta påverkar deras nästa försök. I synnerhet modellerade de om människor tar hänsyn till alla sina tidigare erfarenheter eller bara några av dem.

Den resulterande modellen tar hänsyn till ett komplett utbud av lärande – från agenter som tar hänsyn till all sin tidigare erfarenhet till de som inte tar hänsyn till någon av sina tidigare erfarenheter, och allt däremellan.

Teamet säger att modellen förutsäger en fasförändring i beteendet som matchar empiriska data. När nivån på att lära av erfarenhet ligger under någon tröskel blir framtida försök aldrig tillräckligt bra för att lyckas. Faktum är att grupper kan minska kvaliteten på sitt arbete.

Men när nivån på att lära av erfarenhet ligger över denna tröskel, blir framtida försök bättre och bättre tills de så småningom lyckas. Och nyckelfaktorn är hur människor lär sig.

Det har viktiga konsekvenser. Till exempel betyder det att ett teams inlärningsprocess är en bra indikator på om det kommer att lyckas någon gång eller inte. Våra fynd avslöjar identifierbara men tidigare okända tidiga signaler som gör att vi kan identifiera misslyckande dynamik som kommer att leda till slutlig seger eller nederlag, säger Yin och co.

Nästa steg blir att analysera framgångsrikt lärande på plats så att det kan skiljas från misslyckat lärande och så småningom läras ut systematiskt.

Det kan vara ett avgörande sätt för lag att få ett försprång i konkurrensen. Och med så mycket på spel när det gäller finansiering och investeringar, har framgångsrika elever gott om incitament att anstränga sig hårdare. Edison skulle säkert bli imponerad.

Ref: arxiv.org/abs/1903.07562 : Kvantifiera dynamiken för misslyckanden över vetenskap, nystartade företag och säkerhet

Dölj