Podcast: När ditt ansikte är din biljett





I del-tre av den här senaste serien hoppar Jennifer Strong och teamet på MIT Technology Review på banan för att ta upp hur mycket saker och ting förändras.

Vi träffas :

  • Donnie Scott, senior vice president för allmän säkerhet, IDEMIA
  • Michael D'Auria, vice vd för affärsutveckling, Second Spectrum
  • Jason Gay, sportkrönikör, Wall Street Journal
  • Rachel Goodger, chef för affärsutveckling, Fancam
  • Rich Wang, chef för analys och fansengagemang, Minnesota Vikings

Krediter

Det här avsnittet rapporterades och producerades av Jennifer Strong, Anthony Green, Tate Ryan-Mosley, Emma Cillekens och Karen Hao. Vi är redigerade av Michael Reilly och Gideon Lichfield.

Transkript

[TR ID]



Stark: Jag är i Queens i grannskapet nära ett enormt stadionkomplex som heter Citi Field. Det är hem för New York Mets, men eftersom det är baseballs lågsäsong. Just nu är allt låst och allt man egentligen kan höra är rusningstrafik.

Men om du tittar upp, längs kanten av stadion där tusentals fans så småningom kommer att återvända, kan du se en del av hårdvaran som driver lagets användning av ansiktsigenkänning. De här kamerorna är avsedda att upptäcka ansikten som har förbjudits från marken – människor som biljettskalare, människor som har sprungit in på fältet, till och med begått brott ute på parkeringsplatsen och det systemet drivs av ett av de största namnen i ansiktet erkännande - NEC. Den kan mäta saker som öron - och den fungerar fortfarande med människor som bär masker, hattar och solglasögon.

Och när du väl kommer över till vändkorsen - det finns ett annat ansiktssystem från ett företag som är känt för flygplatssäkerhet - kallat Clear - och det är för biljettlöst inträde. I princip kan du använda ditt ansikte som en biljett. När du kommer in finns det ett betalningssystem i ett koncessionsområde - vilket innebär att du kan köpa en öl med ansiktet, om du vill.



Men det är när du kommer till din plats som saker blir riktigt intressanta. Redan före pandemin har närvaron vid basebollmatcher minskat. Egentligen har den här stadion ungefär 15 tusen färre platser än den som den ersatte. Och så, å ena sidan, försöker arenor att göra upplevelsen så säker och problemfri som de bara kan, men de försöker också lära sig så mycket de kan om vilka dessa människor är på läktaren och det också görs med ansiktsigenkänning. Jag heter Jennifer Strong, och i det här senaste avsnittet av vår miniserie tittar vi på hur detta och andra spårningssystem förändrar sportupplevelsen på läktaren och på planen.

[VISA ID]

[ Ljud från Chicago White Sox på Milwaukee Brewers (Anchor): Ok, vi är tillbaka till att spela boll. Två ut. 1:a omgången. Inga poäng. Och smeten kommer att vara Harold Baines med en 7-games slagsvit...]



[Ljud från Chicago White Sox på Milwaukee Brewers: publiken jublar]

Stark: I decennier var trängsel runt TV:n eller radion det bästa sättet att konsumera sport. Ofta innebar det att man ställde in i timmar som denna Major League Baseball-match från 1984 mellan Chicago White Sox och Milwaukee Brewers.

[ Ljud från Chicago White Sox på Milwaukee Brewers (Anchor ): Det är djupt i mittfältet. Går tillbaka... Det kan vara härifrån. Manning tittar upp. Det är härifrån! Ett homerun för Harold Baines. Soxs vinner med 7-6 i den längsta matchen i den amerikanska ligans historia.]



Stark: Matchen varade i åtta timmar och sex minuter. Och det skulle genomföras under två dagar. Men sporttittande idag ser ganska annorlunda ut. Mänsklig uppmärksamhet mäts i sekunder och de krymper. Miljontals människor tittar fortfarande på men ungefär en tredjedel streamar dem på mobila enheter. Och av dem som fortfarande tittar på tv, gör 80 procent av dem det medan de använder en andra enhet för att söka statistik, liveresultat, meddelanden till andra fans och titta på relaterade videor. Segmentet av fans som deltar i spel personligen ses nu som kunder med högt värde. Och det är en annan plats där face ID kommer in.

[ Ljud från CNBC nyhetssändning (Anchor): Och om du var arg över att Facebook invaderar din integritet kanske du inte vill delta i ett större sportevenemang.]

[ Ljud från CNBC nyhetssändning (Eric Chemi): Nya högteknologiska kameror kan nu ta ett högupplöst foto av varje person, i varje plats, varje minut av spelet.]

Stark: Ansiktsdata som samlats in på arenor av företag som Fancam används nu för att få insikter om fans demografi som ålder, kön och ras. Panoramakameror kan ta bilder med så fina detaljer att du kan zooma in (från ett fågelperspektiv av en stadion) på läktaren, på en enskild person, och ändå kunna urskilja nyanser som ett leende, skriver på sin skjorta, till och med strukturen på sin jacka. Och nu kan du också snabbt beräkna andelen personer som bär masker – Som i fallet med NFL:s Minnesota Vikings.

Wang: Det här är nytt för alla. Vi försöker fortfarande ta reda på exakt hur vi tillämpar dessa maskregler och hur vi ska övervaka dem och spåra dem.

Stark: Rich Wang är deras chef för analys och fansengagemang. Han är på ett Zoomsamtal som visar hur de använder datorseende.

Wang: Dessutom, om du tittar på denna graf. Den lägsta punkten är att 87% av människor som har sin mask på för det mesta och i större delen av spelet. Människor är du känner som beter sig och tillämpar maskregeln. Så det är verkligen positiva berättelser som kommer att fortsätta att stödja vårt fall av ökande fans

Goodger: Att kunna använda denna statistik för att återöppna arenor och få fans tillbaka till arenan. Och sedan bara som en garanti också, när fansen väl är tillbaka på arenan använder några av dessa mätvärden utöver maskanvändningen, även att kunna använda informationen om sektionskapacitet.

Stark: Och det här är Rachel Goodger, chef för affärsutveckling på Fancam.

Goodger: Så, uppenbarligen har fansen en plats tilldelad dem när de går tillbaka till stadion och fansen är socialt distanserade. Men vad händer om fansen börjar röra sig på arenan och en sektion blir överkapacitet. Du vet, i realtid för att vi ska kunna meddela personalen och för att de ska kunna se den informationen och säga, okej, vi måste bryta upp det här avsnittet lite. Och sedan för att lag ska kunna se tillbaka efter varje match och säga wow, vi gjorde ett bra jobb idag. Eller wow, vi måste verkligen arbeta mer med maskanvändning i det nedre målet eller det övre målet i det här avsnittet och sånt. Jag tror att det är data som kommer att vara mycket viktiga för att inte bara, som jag nämnde, öppna dessa arenor igen utan för att hålla dem öppna i framtiden.

Stark: Företaget säljer tillbaka data till sportlagen som använder den för att främja sin marknadsföring, vilket påverkar allt från vilken musik som spelas på arenor till vilka annonser folk ser under och även efter att matchen har avslutats.

Scott: Du kommer att börja se data som du är villig att dela mer allmänt tillsammans med tekniken som används för identifiering för att göra saker mer förutsägbara.

Stark: Donnie Scott är senior vice president för allmän säkerhet på IDEMIA. Den designar AI-drivna identitets- och säkerhetslösningar för alla typer av företag.

Scott : Och det skulle vara allt från ett digitalt körkort på din telefon till ett fysiskt körkort, till ett kreditkort, till en elektronisk betalningsmekanism.

Stark: De gör också biometriska tekniker som känner igen ansikten, fingeravtryck eller ögon som kan användas för att verifiera identitet på sportarenor eller andra platser som flygplatser och teatrar.

Scott: Så vi skulle i princip bädda in tekniken i deras lojalitetsprogram men vi skulle lägga till det, möjligheten att länka antingen deras biometri - ansikte, fingeravtryck, iris i vissa länder som föredrar det på grund av ansiktsbeläggningar och andra saker, eller deras mobil enhet där du auktoritativt kan dela din biometriska information, eller det faktum att du är säsongskortsinnehavare, med en utrustning på plats. Och därför, du vet, när du dyker upp vet de, okej, Jennifer har biljetter till den här matchen. De är giltiga vid detta datum. Hon kan passera genom porten.

Stark: Deras mål? Är att vara osynlig. Identitetsdata fångas av kameror dolda som verkar vara en vanlig vändkors. Allt handlar om att skapa vad som är känt som en friktionsfri upplevelse.

Scott : Så speciellt kring nöjesparker, um, men samma sak med arenor och andra konsertlokaler, tekniken utvecklas från att vara en enhet som på något sätt sticker ut till att vara en del av det normala flödet och cue av själva lokalen.

Stark: Vi låser redan upp smartphones med våra ögon, fingrar och ansikte och det vände oss vid denna idé om biometri i våra dagliga liv. Scott tror att det kan vara anledningen till att responsen på dessa tjänster till största delen har varit positiv.

Scott : Du vet, jag har sett mina barn växa upp med att först öppna en Apple-enhet med sitt tumavtryck och sedan gå vidare med att de kände att de blev väldigt misshandlade eftersom de inte kunde låsa upp den med ansiktet. Och vi har alla blivit, du vet, de senaste 15 åren, 10 åren, okänsliga för det konstiga i det. Jag tror att det mesta av samhället är fokuserat på hur det gör mitt liv enklare.

Stark: Och i en värld där det är lika enkelt att bekräfta din identitet som att låsa upp en telefon, kan din biometriska data bli viktigare än ett pass, bilnycklar eller något annat fysiskt föremål som vi bär med oss.

Scott : Jag tror att folk kommer att bli riktigt vana vid att tekniken finns där, hur man använder den, hur man interagerar med den och vad man kan förvänta sig av den eftersom jag tror att vi kommer att se den i alla samhällsskikt. Vi ska se det när vi reser. Vi kommer att se det när vi gör affärer med vår regering. Vi kommer att se det när vi gör affärer i livsmedelsbutiker i ni vet sport- och konsertlokaler och musikparker också. Så det kommer att bli en sådan standard livsstil att accessdelen kommer att bli en de facto normal. Och sedan är det vad som händer härnäst.

Stark: Och vad som händer sedan kan innebära mer personliga upplevelser.

Scott : Jag tror att nästa sak som kommer är att möjliggöra fanupplevelsen. Men efter det blir det, hur passar fanupplevelsen in i ditt liv? Och, du vet, det är ett koncept som är ganska stort och brett, men ett som när de två första delarna väl har aktiverats genom teknik och aktiverats genom en acceptans av användaren själva bara är naturliga saker som kommer med en förbättrad, mogen användning av en teknik. Du kan tänka dig en nöjespark, ett huvud eller en karaktär där barn kan gå fram till sin favoritkaraktär och bli igenkända för vem de är och få en anpassad upplevelse som är specifik för dem.

Stark: Vilket sannolikt kommer att hända i stor skala.

Scott : Du kan se en framtid när du anländer till flygplatsen eller när du anländer till sportevenemanget, och den leder dig till din parkering baserat på att känna igen din bil eller på att dela vem du är från din telefon med flygplatsoperatören eller flygbolaget eller TSA själva. Du skulle ha en, du vet, en känd tid att gate, eller hur. Vilket är det idealiska tillståndet där det står att jag har ett flyg klockan fem idag baserat på de väntetider som förutspås och var vi är. Jag vet att det kommer att ta mig 12 minuter att ta mig från framsidan av flygplatsen genom checkpointen till gaten. Och du kommer att få vägbeskrivningar längs vägen, samma upplevelse kommer att hända för idrottsplatser och för konsertlokaler, där från parkering kommer du att dirigeras genom den kortaste linjen, du vet, den linjen kommer att flytta snabbt eftersom det är biometriskt aktiverat, och sedan kommer det att kunna guida dig till var kan jag få mina eftergifter som jag vill, hur länge måste jag, innan jag måste börja gå, så att jag kan vara i min plats innan det drar igång, jag tror att den typen av sekundära fördelar kommer att komma ganska snabbt eftersom ställena blir instrumenterade för att kunna känna igen och identifiera människor.

D'Auria: Jag tror att det finns en enorm möjlighet att göra den typen av sportfansupplevelse mer engagerande, mer potent. Och jag tänker bara var vi är i början av det. Jag heter Mike D’Auria och jag är vice vd för affärsutveckling på Second Spectrum.

Stark: Företaget tillhandahåller spårningsdata och analysmjukvara för professionella sportligor som NBA och Major League Soccer. En serie kameror som inte är större än din vanliga säkerhetskamera, ger oöverträffad maskinförståelse för varje spel.

D'Auria: Den typ av kärna i denna teknik är datorseende som körs ovanpå dessa kameraflöden. Och vad detta är avsett att göra är att spåra varje spelares och bollens rörelse 25 gånger i sekunden. Så du kan typ tänka under loppet av en typisk NBA-basketmatch, du kan fånga miljontals datapunkter som inte fanns tidigare och använda dem för att typ bygga en serie produkter eller upplevelser ovanpå som verkligen kan förändra vårt sätt att se och interagera med sport.

Stark: Dessa datapunkter analyseras snabbt med AI, vilket kan spotta ut förutsägelser som sannolikheten för att en spelare kommer att sänka en trepoängare – medan spelet fortfarande pågår. Den använder också denna data för att leverera en mer personlig, interaktiv tittarupplevelse för fans som tittar på distans.

D'Auria: I den senaste NBA-finalen körde vi vad vi kallar videoförstärkning i princip i realtid ovanpå spelet. Och så vad du kan göra där är till exempel att ta den där skottsannolikhetsmodellen. Och medan spelet spelas kan du integrera i 3D-utrymmet i videon, en skottbubbla över varje offensiv spelares huvud som uppdateras i realtid. Vi kan diagramma pjäsen som körs när den utspelar sig. Så om du försöker lära dig om spelet lite, kan du typ, du vet, ha lite tutorial eller hur skulle det kännas att ha en tränare bredvid dig. Du vet, eller om du bara vill ha kul eller typ av spel, förfina det här lite, du vet, varje gång någon dunkar bollen kan du se en blixtnedslag på baksidan. Och så var och en av dessa upplevelser kanske inte är rätt för alla, men jag tror att vi kommer att flytta till en värld där livesport verkligen kan anpassas efter hur du vill se den.

Stark: Och tillgång till mängder av data har förändrat hur tränare tränar sina spelare.

D'Auria: Så om du tar ett litet steg tillbaka och tänker på hur data traditionellt har fångats inom sport, skulle du få folk att antingen sitta på läktaren eller titta på matchen på TV och typ koda manuellt. Det var ett skott. Det var ett pass. Det var en pick and roll-åtgärd. Och så från den här typen av underliggande spårningsdataset kan du tillämpa maskininlärning för att typ automatisera hela processen.

Stark: Den automatiseringen gör att all denna data kan matchas till spelfilm. Coacher, chefer och analytiker kan sedan sålla igenom det med ett mjukvaruverktyg som fungerar som en sökmotor.

D'Auria: Och så för folk som arbetar i ett NBA-lag kan du ställa mycket komplicerade frågor eller göra mycket detaljerade frågor om spelet. Och med några knapptryckningar, några klick med musen, kan du få ett mycket exakt svar i datavisualisering och en automatiskt genererad spellista med, du vet, till exempel, om jag ville titta på, Anthony Davis, LeBron James, plocka och rulla från högerkanten där försvaret isar och Anthony Davis rullar och någon taggar honom från den svaga sidan. Och så tar LeBron James ett hoppskott och klarar det. Du vet, du kan få den mycket exakta uppsättningen av varje gång den kombinationen har hänt under loppet av dessa killars NBA-karriärer på några sekunder, och sedan använda det för dina tränarsyften. Och nu kan någon på lagnivå ägna sin tid åt att säga, ja, jag har den här videon eller den här informationen, hur kan jag hjälpa en tränare att implementera det i sin spelplan? Eller hur kan jag hjälpa mina spelare att lära sig något nytt på banan? Och så skiftar det deras arbetsflöde till undervisning och implementering kontra typ av, du vet, datainsamling och manuellt arbete.

Stark: Och han säger att under de kommande åren kan rollerna för dessa maskiner i spelet förändras från assisterande tränare till assisterande domare – vilket ger sammanhang och nyans till svåra samtal.

D'Auria: Jag menar, vi har redan sett det här på några andra ställen där vi jobbar. Så vi kommer att ge ett exempel på fotboll på att du nu har teknologi som hjälper dig med målet, inget mål, eller hur? Du ser detta i tennis med datorsystem som används för att typ döma, om en boll är över linjen eller, du vet, inbound eller out of bounds och kunna göra detta med precision som är uppriktigt sagt bättre än vad en linjedomare kunde do eller en domare som kanske har en riktigt svår vinkel för att se om typ bokstavligen varje millimeter av bollen gick över. Du börjar se det här med offsidelinjen i fotboll också. Och så jag tror generellt att det första stället detta händer är att i princip, um, du vet, utöka eller assistera en domares förmåga. Så du kan typ tänka på att tillhandahålla en domare och ytterligare datakälla eller, du vet, en ytterligare validering av ett av deras beslut.

Stark: Eftersom systemet redan kan identifiera spelare från deras tröjor, behöver Second Spectrum inte använda ansiktskartläggning eller igenkänning. Men det är användbart för analyser. Och det är inte bara specifikt för att fånga ansikten. Just nu visas spelare i systemet som prickar på en karta. Och när deras kamerasystem förbättras kan dessa prickar förvandlas till fullständiga skelett. Extra detaljer som armbågsvinkel i realtid kan hjälpa till med ännu mer exakta skottförutsägelser. Men alla är inte ombord.

Gay: Du vet, en sport som jag följer och tycker är fascinerande är cykelracing och cykelracing är en sport som faktiskt är i ett långt samtal om. Ta bort teknik.

Stark: Jason Gay är sportkrönikör för The Wall Street Journal.

Gay: Tekniken nu inom cykling kan säga, okej, om du vill vinna det här loppet eller komma ikapp den här personen måste du anstränga dig X i X antal minuter. Och du har faktiskt dessa data direkt på en omborddator, på en cykel framför dig som talar om för dig exakt vad du ska göra. Nu. Det är som en fantastisk sak. Men det är inte heller särskilt mänskligt, eller hur? Det verkar vara något kliniskt och det har skapat vad många människor tycker är lite av en torr stil av racing där människor är datadrivna och de använder huvudet för mycket, i motsats till deras hjärtan. Fransmännen har ett uttryck av panache. De älskar att se lopp vunna med elegans, vilket i princip betyder vår maginstinkt. Och så har det varit konversationer om, ja, tänk om vi tar bort dessa datorer från ryttare och får dem, du vet, att använda huvudet i sina hjärtan för att cykla. Nu finns det ett säkerhetsövervägande här som är samtidigt med detta, eller hur? Du vill faktiskt ha den informationen skapar en säkrare upplevelse för en ryttare ofta, men det är fascinerande att tekniken har blivit så bra i vissa fall, när det gäller att maximera ansträngningen eller tala om för en idrottare, vilken ansträngning som krävs, att de är börjar dra sig tillbaka från det.

Stark: Och för sporter som omfamnar den här tekniken förändrar det hur spelet spelas.

Gay: Här är ett exempel från baseboll och vi ser ganska ofta att en manager kommer till en kulle och tar bort en pitcher från ett spel, även om pitchern pitcher väldigt, väldigt bra den dagen, anledningen till att de tar bort dem är att data visar att detta kanna tenderar att gå sönder vid en viss punkt. Det är nästan som ett bildäck eller något. Och de säger bara att den här pitchern vid denna tidpunkt av spelet historiskt sett kommer att sluta prestera på den höga nivå vi behöver honom till. Så vi kommer att ta det steget. Vi tar bort typ av magkänslan av att säga, ja, han rullar i dag, låt oss bara släppa dem. De förlitar sig på siffrorna.

Stark: Datadrivna spelstrategier förändrar också hur team rekryterar. Som i basket, där spelare som kan utföra ett trepoängsskott (som en gång ansågs vara en gimmick av NBA) nu anses vara extremt värdefulla.

Gay: Anledningen är att basketlag genom att titta på deras siffror upptäckte att ett trepoängsskott är ett mer effektivt skott. Du tar hellre det där trepoängsskottet än ett längre hoppskott med två poäng. Och så prioriterar du trepekaren i ett brott. Det mest extrema exemplet på detta - Houston Rockets, där du har en flerårig MVP-kandidat i James Harden som ofta tar tre pekare efter tre pekare i ett spel, eftersom det är ett effektivt sätt för dem att spela.

[ Sound of Houston Rockets på Los Angeles Clippers (Announcers): Harden, ingen i hans närhet, sätter hela tiden och spikar trepoängaren! Steg tillbaka, öppna tre, förstår! James Harden tar ett steg tillbaka lägger en trea, Den går, studsar och släpper igenom!]

Stark: Tekniken spelar också assisterande tränare på platser som Dallas Mavericks omklädningsrum.

[Ljud från video av Marc Cuban på Dallas Mavericks (kubansk): Det som kommer att hända är när en spelare kommer in, eller någon kommer in, kommer vi att ha ansiktsigenkänning. Den tar en bild på dig och den kommer att säga 'ok här kommer Marc eller här kommer Dirk']

Stark: Marc Cuban är deras ägare.

[Ljud från video av Marc Cuban på Dallas Mavericks (kubansk ): Och för någon av spelarna eller någon av personalen kommer det att sätta tränaranteckningar: här är vad du förväntas göra och berätta vad som händer. För alla som vi inte känner kommer det att bli ehh-ehh-ehh get the hell out.]

Stark: Och det är inte bara basket. Att använda AI för att hitta det mest effektiva spelmönstret växer inom alla sporter. Och det finns en roll för ansikts-ID också. Samma ansiktskartläggning som ser när du tittar direkt på din telefon för att låsa upp den kan också hjälpa tränare att se vad spelarna fokuserar på under spelet.

Gay: Jag menar, det är en oerhört integrerad sak för att säga en fotbollsquarterback. Om du på något sätt skulle kunna återge vad en fotbollsquarterback tittar på eller ännu viktigare inte tittar på, inte ser downfield. Tja, du kan se, du vet, omedelbar nytta för vilken quarterback som helst, vilket fotbollslag som helst. Men det gäller också en point guard eller, du vet, någon som spelar vänstertackling eller någon som tar på ett basebolllag. Det finns många pjäser som om du kan se på vad en idrottare ser på banan eller inte ser igen, vilket förmodligen är det viktigaste, skulle det få enorma konsekvenser.

Stark: Nästa avsnitt avslutar vi vår miniserie med en titt på hur ansiktskartläggning förändrar shoppingupplevelsen. Och spoileralarm – det går långt utöver att bara identifiera vem som är i butiken

Guive Balooch: För att verkligen virtuellt kunna prova på med augmented reality-smink måste du upptäcka var ögat är och var ögonbrynet är. Och, um, det måste vara på en nivå av noggrannhet att när produkten finns där, ser det inte ut som att den inte är precis på din läpp och människors läppar är, kan variera i form, färgen mellan din hudton och din läpp, kan också vara väldigt olika. Och så måste du ha en algoritm som kan upptäcka det och se till att det fungerar.

Stark: Det här avsnittet rapporterades och producerades av mig, Anthony Green, Tate Ryan-Mosley, Emma Cillekens och Karen Hao. Vi är redigerade av Michael Reilly och Gideon Lichfield. Tack för att du lyssnade, jag heter Jennifer Strong.

[TR ID]

Dölj