211service.com
När AI ger ljudet i videoklipp kan människor inte se skillnaden
Maskininlärning förändrar hur vi tänker om bilder och hur de skapas. Forskare har tränat maskiner för att skapa ansikten, rita tecknade serier och till och med överföra stilen på målningar till bilder. Det är bara ett kort steg från dessa tekniker till att skapa videor på det här sättet, och detta görs faktiskt redan.
Allt detta pekar på ett sätt att skapa virtuella miljöer helt maskinellt. Det öppnar alla typer av möjligheter för framtiden för mänsklig erfarenhet.
Men det är ett problem. Video är inte bara en visuell upplevelse; att generera realistiskt ljud är lika viktigt. Så en intressant fråga är om maskiner på ett övertygande sätt kan generera ljudkomponenten i en video.
Idag får vi ett svar tack vare Yipin Zhous och kompisars arbete vid University of North Carolina vid Chapel Hill och några kompisar på Adobe Research. Dessa killar har tränat en maskininlärningsalgoritm för att generera realistiska ljudspår för korta videoklipp.
Faktum är att ljuden är så realistiska att de lurar de flesta människor att tro att de är verkliga. Du kan ta ett test själv här för att se om du kan se skillnad.
Teamet använder standardmetoden för maskininlärning. Algoritmer är alltid lika bra som den data som används för att träna dem, så det första steget är att skapa en stor, högkvalitativ kommenterad datamängd med videoexempel.
Teamet skapar denna datamängd genom att välja en undergrupp av klipp från en Google-samling som heter Audioset, som består av över två miljoner 10-sekunders klipp från YouTube som alla inkluderar ljudhändelser. Dessa videor är indelade i kategorier som är märkta med människor med fokus på saker som hundar, motorsågar, helikoptrar och så vidare
För att träna en maskin måste laget ha klipp där ljudkällan syns tydligt. Så all video som innehåller ljud från händelser utanför skärmen är olämpliga. Teamet filtrerar bort dessa med hjälp av arbetare från Amazons Mechanical Turk-tjänst för att hitta klipp där ljudkällan är tydligt synlig och dominerar ljudspåret.
Det gav en ny datamängd med över 28 000 videor, var och en cirka sju sekunder lång, som täcker 10 olika kategorier.
Därefter använde teamet dessa videor för att träna en maskin att känna igen vågformerna som är associerade med varje kategori och att återskapa dem från grunden med hjälp av ett neuralt nätverk som heter SampleRNN.
Slutligen testade de resultaten genom att be mänskliga utvärderare att betygsätta kvaliteten på ljudet som åtföljer en video och att avgöra om det är verkligt eller artificiellt genererat.
Resultaten tyder på att maskiner kan bli ganska bra på denna uppgift. Våra experiment visar att de genererade ljuden är ganska realistiska och har god tidssynkronisering med de visuella ingångarna, säger Zhou och co.
Och mänskliga utvärderare verkar hålla med. Utvärderingar visar att över 70 % av det genererade ljudet från våra modeller kan lura människor att tro att de är verkliga, säger Zhou och co.
Det är intressant arbete som banar väg för automatiserad ljudredigering. Ett vanligt problem i videor är att främmande brus från en källa utanför skärmen kan förstöra ett klipp. Så att ha ett sätt att automatiskt ersätta ljudet med ett realistiskt maskingenererat alternativ kommer att vara användbart.
Och med Adobes engagemang i denna forskning kan det inte dröja länge innan vi ser den här typen av kapacitet i kommersiell videoredigeringsprogramvara.
Ref: arxiv.org/abs/1712.01393 : Visual to Sound: Generera naturligt ljud för videor i det vilda