Djup inlärning hjälper till att förhindra att video täpper till internet

Video fyller internet. Cirka 75 % av all trafik är videoinnehåll, och denna volym förväntas växa tre gånger så mycket fram till 2021.

Om vi ​​inte vill att den omättliga efterfrågan på kattvideor och streamingtjänster ska täppa till pipelines för alltid, då måste vi förlita oss på videokomprimering. Detta är processen att koda om en videofil så att den är mindre än originalet. Men nuvarande kompressionstekniker är uråldriga enligt modern tekniks standarder. Grunderna för befintliga videokomprimeringsalgoritmer har inte förändrats nämnvärt under de senaste 20 åren, säger Oren Rippel och co på WaveOne, ett djupinlärningsföretag som försöker dra videokomprimering in i 2000-talet.

Dessa killar har använt djupinlärning för att utveckla en ny komprimeringsalgoritm som avsevärt överträffar befintliga videokodekar. Såvitt vi vet är detta den första maskininlärningsbaserade metoden att göra det, säger de.

Grundidén bakom videokomprimering är att ta bort redundant data från en kod och ersätta den med en kortare beskrivning som ändå gör att videon kan reproduceras senare. Den mesta videokomprimeringen sker i två steg.

Den första, rörelsekompression, letar efter rörliga objekt och försöker förutsäga var de kommer att vara i nästa bildruta. Sedan, istället för att registrera pixlarna som är associerade med detta rörliga objekt i varje bildruta, kodar algoritmen endast objektformen tillsammans med färdriktningen. Vissa algoritmer tittar faktiskt på framtida bildrutor för att bestämma rörelse ännu mer exakt, även om detta uppenbarligen inte kan fungera för livesändningar. Resultatet är att komprimerad video helt enkelt översätter objektet över skärmen.

Det andra komprimeringssteget tar bort andra redundanser mellan en ram och nästa. Så istället för att registrera färgen på varje pixel på en blå himmel, kan en komprimeringsalgoritm identifiera området för denna färg och specificera att den inte ändras under de kommande bildrutorna. Så dessa pixlar förblir samma färg tills de uppmanas att ändras. Detta kallas restkompression.

Det nya tillvägagångssättet som Rippel och co har varit banbrytande för använder maskininlärning för att förbättra båda dessa komprimeringstekniker. Ta rörelsekompression, där teamets maskininlärningstekniker har hittat nya rörelsebaserade redundanser som konventionella codecs aldrig har kunnat utnyttja.

Till exempel ger en persons huvud som vänder sig från en frontal vy till en sidovy alltid ett liknande resultat. Traditionella codecs kommer inte att kunna förutsäga ett profilansikte från en frontvy, säger Rippel och co. Däremot lär den nya codec sig dessa typer av rums-temporala mönster och använder dem för att förutsäga framtida ramar.

Ett annat problem är att fördela den tillgängliga bandbredden mellan rörelse och kvarvarande komprimering. I vissa scener är rörelsekompression viktigare; i andra ger restkompression de största vinsterna. Den optimala avvägningen mellan dem skiljer sig från bildruta till bildruta.

Traditionella komprimeringsalgoritmer tycker att detta är svårt eftersom de komprimerar båda processerna separat. Det betyder att det inte finns något enkelt sätt att byta bort dem.

Rippel och co kommer runt detta genom att komprimera båda signalerna samtidigt och använda ramkomplexiteten för att bestämma hur bandbredden ska fördelas mellan dem på det mest effektiva sättet.

Dessa och andra förbättringar har gjort det möjligt för forskarna att skapa en komprimeringsalgoritm som avsevärt överträffar traditionella codecs. Vid komprimering av högupplöst (1080p) video producerar vanliga komprimeringsalgoritmer, såsom H.265 och VP9, ​​filer som är 20 % större än de som produceras av den nya algoritmen.

Och vinsterna är ännu större för videor med standardupplösning, som HEVC/H.265 och AVC/H.264. Dessa producerar vanligtvis filer som är upp till 60 % större än teamets nya tillvägagångssätt.

Det är en imponerande vinst som avsevärt kan minska storleken och nedladdningstiden för onlinevideo.

Det nya tillvägagångssättet är dock inte utan några brister. Den kanske viktigaste är dess beräkningseffektivitet – tiden det tar att koda och avkoda videorna. På en Nvidia Tesla V100-rigg, och på videor i VGA-storlek, kör den nya avkodaren med en genomsnittlig hastighet på cirka 10 bilder per sekund med omkodaren i drift med cirka 2 bilder per sekund. Det har begränsad tillämpning för en livesändning.

Naturligtvis förväntar sig forskarna att göra betydande förbättringar när de går bortom proof-of-principle-stadiet. Den nuvarande hastigheten är inte tillräcklig för realtidsutbyggnad, men ska förbättras avsevärt i framtida arbete, säger de.

Vilket innebär att tack vare den här typen av maskininlärning borde framtida cybersurfare kunna ladda ner sina Game of Thrones eller kattvideor på rekordtid och streama sina fotbollsspel i högupplöst upplösning mer effektivt än någonsin.

Ref: arxiv.org/abs/1811.06981 : Lärt videokomprimering

Dölj