Hlavní navigace

Jaroslav Beck: Rád bych dosáhl na Grammy. A AI usnadní zvukařům práci

Jan Sedlák

Český skladatel tvoří hudbu pro Blizzard, EA nebo Disney. Připojil se k týmu Beat Saber a tvoří audio AI software.

Doba čtení: 13 minut

Jaroslav Beck (web a kanál na YouTube) je hudební skladatel ze Strakonic, který nyní žije převážně v Los Angeles. Najímají si ho velké herní společnosti jako Blizzard Entertainment (trailery pro StarCraft 2, World of WarCraft, Overwatch) nebo Electronic Arts (Battlefield 4) a také filmová studia. Jeho práci lze slyšet u spotu na Star Wars: Síla se probouzí (Disney a Lucas Film) či Terminator Genisys (Paramount Pictures).

Beck v L.A. rozjel společnost Epic Music Productions, která se soustředí právě na filmovou a herní hudbu. Vedle toho se rovněž přidal k Jánu Illavskému a Vladimírovi Hrinčárovi, kteří v minulosti uspěli s mobilní hrou Chameleon Run (získala ocenění Apple Design Awards 2016). Letos společně rozjeli firmu Beat Games, pod kterou nedávno vydali titul pro virtuální realitu Beat Saber.

Beat Saber za první týden prodal 53 tisíc kopií a vydělal přes milion dolarů, což je v oblasti VR solidní úspěch. Beck pracuje na audiostránce hry a v rozhovoru pro Lupu mluví i o tom, že by si rád sáhl na prestižní ocenění Grammy. Vedle toho všeho rovněž se svým českým týmem dokončuje AI software, který má výrazně zrychlit a zjednodušit takzvaný panning.

Na přednášce na Czech VR Festu jste řekl, že byste díky Beat Saberu chtěl získat Grammy. To je myšlené s nadsázkou, nebo vážně?

Chtěl bych se k tomu přiblížit. Když tři kluci vytvoří hudební hru, která už teď je velmi úspěšná, a ještě by dostala takové ocenění, může to pomoci inspirovat celou generaci nových herních vývojářů, zlepšit veřejné povědomí o tom, jak jsme vlastně ve vyvíjení her dobří, a hlavně to může dát lidem něco víc, na co by mohli být za naši zemi pyšní. Cítím proto povinnost motivovat se do maximální možné míry, protože mám pocit, že to můžeme jednou dát.  

Co vím, žádná VR hra, ani hudební hra obecně, ještě za soundtrack Grammy nevyhrála. Pro nás je důležité, abychom hudební obsah pro hru tvořili na takové úrovni, že bychom mohli pomýšlet na to, že se k tomu pomyslnému svatému grálu hudby jednou dostaneme. 

Kolem Beat Saberu se ještě před vydáním early access verze po celém světě vytvořilo obrovské „haló“. Bylo to dáno právě hudbou a ozvučením?

Povedlo se nám něco unikátního v tom, že jsme dokonale spojili obraz a zvuk a každá tato část fungovala dobře. Stejně jako když Steve Jobs mluvil o propojení hardwaru a softwaru, tak my jsme dokázali propojit vizuál s audiem v takovém stylu, že to do sebe zapadlo. Nějaký čas jsme byli na Steamu nejlépe hráči hodnocená hra vůbec. Ze všech her, co kdy byly vydané. Nejen ve VR. To potvrdilo, že se nám tato symbióza podařila najít.

Je virtuální realita přesně to prostředí, které vám toto propojení umožňuje udělat? Nebo to šlo udělat i s 2D obrazem?

Z mé osobní zkušenosti musím říci, že tyto rytmické hry fungují ve VR výborně. Je také pravda, že máme dobré reakce na to, když se lidi pouze dívají na záznam z hraní na klasických monitorech. Z nějakého důvodu jim sledování gameplaye přijde zajímavé a mě to také baví. Ale když si to vyzkoušíte ve VR, je zážitek výrazně větší a hra vylítne na úplně novou úroveň. Takže když lidé říkají, že se jim Beat Saber líbí jenom při pohledu na záznam, tak víme, že když ho zkusí ve VR, budou z toho nadšení. A budou překvapení, jak to celé jde posunout dále. Když jsme Beat Saber prezentovali ještě před vydáním na akcích typu GDC (nejvýznamnější světová konferenci pro herní vývojáře – poznámka redakce), lidé se nám několikrát vraceli hru vyzkoušet a byli opravdu překvapení.

Celé si to nějak sedlo. Honza Illavský je výborný designér a hru dokázal navrhnout tak, aby nebyla příliš komplikovaná a zároveň byla funkční. S Vladem Hrinčárem tvoří perfektní tým. Dokonale umí hru vyladit a já se starám o celou audiostránku. Díky tomu, že mám zkušenosti s děláním hudby do trailerů a obecně skládáním hudby na obraz, umím si najít cestu. Když jsem skládal tracky pro Beat Saber, měl jsem ve smyčce puštěné záběry ze hry, pořád jsem se na ně díval a songy jsem skládal přímo na to, skoro jako když skládáte soundtrack k filmu. To pomohlo, aby jsme našli tu důležitou symbiózu obrazu se zvukem.

Mohl by Beat Saber být onou takzvanou „killer“ aplikací, která VR dostane k širšímu publiku?

Věřím tomu, že by to tak být mohlo. Dokonce jsem o tom přesvědčený. Píší nám lidé, že si VR headset koupili vyloženě kvůli naší hře. Posílají nám fotky a takové zpětné vazby máme řadu. Asi si to pravděpodobně myslí i platformy, kde hru vydáváme, protože podpora, kterou od nich získáváme, je aspoň podle mého názoru nadstandardní. 

Beat Saber bude taková ta hra, ve které se budou dobře cítit lidé, kteří VR nikdy nezkusili. A zároveň bude bavit i hardcore hráče, protože budou mít kompetitivní žebříčky, kde bude velmi těžké dosáhnout na vrchol. Hra je vyladěná tak, aby seděla každému. To je velice důležité. Podle mě se z toho může stát kultovní hra pro VR, která by neměla chybět na žádné stanici. Nebude to jen exemplář toho, jak je VR „cool“, ale něco, co budou lidi opravdu pravidelně hrát a používat i třeba pro fitness.

Nemůže to být pomíjivá věc? V éře Xbox 360 a PlayStation 3 hodně „frčely“ série her Guitar Hero a Rock Band, kde se podobně hrálo na hudební nástroje připojené ke konzolím. Dnes už o nich není slyšet.

Vše se samozřejmě jednou omrzí. Na druhou stranu, když dáte lidem možnost vytváření vlastních levelů na vlastní písničky, můžete stále zkoušet něco nového. Když budou mít hráči takovou možnost a zároveň dobrou hru s dobrými mechanikami, neomrzí je jen tak. Rád bych také, aby se například z Beat Saberu jednou mohl stát plnohodnotný e-sport.

Na čem jiném kromě Beat Saberu teď děláte?

S týmem děláme na jednom projektu, který už je v pre-finální fázi. To nemá s Beat Saberem nic společného. Vyvíjíme software, který by měl pomoci zjednodušit a velmi zrychlit systém polohování audia do prostoru. To využívají mix inženýři, kteří tvoří mix zvuku do kin u filmů a podobně. Podařilo se nám v tomto ohledu něco unikátního. Dokázali jsme vytvořit systém, který takzvaný panning zrychlí asi skoro o 50 procent. To je pro velká studia obrovská úspora času. Projekt v tuto chvíli dokončujeme a máme první studia, která se o to zajímají, chtějí pomoci a nástroj používat. Tohle je teď na spadnutí.

Na tom pracujete s týmem v Los Angeles?

Tým sídlí v Čechách. Jsem patriot a rád spolupracuji s lidmi, kteří jsou z Česka, není mezi námi jazyková bariéra a vše si můžeme říct, jak nám zobák narostl.

A šlo by více rozvést, co ten software bude umět?

Teď si ho patentujeme. Strašně rád bych to řekl, protože mi to přijde skvělé (smích), ale zatím to nemohu konkretizovat. Panning jako takový dnes funguje tak, že se díváte na obraz a máte před sebou joystick nebo dotykovou obrazovku a pokoušíte se simulovat to, jak se objekt na videu hýbe v prostoru. Když tedy v kinosále letí letadlo, vezmete joystick a pokusíte se trajektorii zvuku udělat joystickem. My jsme vymysleli systém, jak tohle všechno udělat automaticky. Je to poháněné počítačovým viděním a podobně.

Považujete se za hudebníka, nebo spíše technika?

Mám za sebou „background“ ze strojařiny, takže sám nevím. Myslím si, že jsem něco mezi. Baví mě technické myšlení, inovace a myslet dopředu, a zároveň mě baví kreativita, tvořit věci, které mohou fungovat esteticky, vizuálně a zvukově dohromady. Jsem mix toho všeho. Hudba, kterou tvořím, je vesměs dost technická. Nedělám zpravidla vyloženě silně melodické věci, ale tvořím spíše věci, kterou jsou více „nabušené“ a zvukově zajímavé. 

Hraje dnes toto prolnutí důležitou roli? A budeme ho v budoucnu v kreativních procesech vídat častěji?

To je těžká otázka. Umělci z historie, jako byl třeba Leonardo da Vinci, kteří se věnovali více oblastem najednou, vždy docílili něčeho víc, protože dokázali propojit různé světy a tím vytvořili něco nového anebo přinejmenším zajímavého. Díky tomu, že mám strojařské znalosti a mozek mi myslí hodně analyticky, tvořím hudbu vlastně tak, jak by se úplně tvořit asi neměla. Mám ovšem štěstí, že se lidem takto tvořená hudba z nějakého důvodu líbí. 

Věřím například, že lidi, které baví například přírodopis a budou profesně fungovat jako designéři, vytvoří zajímavý a funkční design. Protože se inspirují přírodou a chápou ji. Když budou vědět, jak to funguje v přírodě, přenesou to i do designu. Stejně tak to mám já se zvukem a technologií.

Jak důležitou roli ve vaší tvorbě hraje technologie?

Nejdůležitější na tom všem je mít správné lidi. Na to, co děláme my, nástroje ještě úplně neexistují a musíme si je vytvořit převážně sami. Chce to mít tým lidí, kteří jsou zvyklí řešit problémy jednoduše a kreativně. Proto mám rád Čechy, protože jsme takoví lidé „udělej si sám“ a na všechno si vytvoříme řešení. Jsme takoví MacGyveři, kteří i z květináče a vody dokáží udělat bombu. Tento typ lidí mám rád, protože pak v AI a dalších oblastech dokáží nacházet řešení, která jsou jednoduchá, levná na výrobu a časově úsporná. Software a nástroje, které k tomu používají, to už není hlavní věc.

A je něco, co i tak hraje zásadní roli?

Samozřejmě je skvělé, že můžeme pokračovat ve vývoji technologie, kterou už vytvořili jiní lidé před námi a my na ní můžeme stavět. Když dříve tvořili nahrávky The Queen, měli celý kamion a mohli nahrát jen pár stop (kytary, bicí, zpěv, basu). Teď můžete nahrávat jednotlivých stop v podstatě nekonečně, dokud vám stačí výpočetní síla. Náš úkol je to, že se vše snažíme zrychlit. Osobně si myslím, že by AI mělo fungovat tak, že to bude takový „traktor“ pro lidi. Udělá těžkou práci, která je jednotvárná. Když začínáte projekt, musíte si načrtnout kolonky a udělat takovou tu práci, kterou v podstatě může udělat kdokoliv jiný za vás. Na nějakou specifickou úlohu je už ale zapotřebí konkrétně váš mozek s vaším vkusem a cítěním. AI tedy může udělat všechny ty základní věci za vás a vy budete takový supervizor a doladíte ty konečné nuance, které AI v tuto chvíli nedokáže.

To, co AI jen tak nezvládne, je jakýsi lidský „feel“, lidský pocit. To třeba řešíme u onoho panningu. Stroj může udělat všechno správně, ale film je umělecká záležitost, takže se ne vždy řídí podle fyziky. Když vám třeba přelítne vrtulník přes celé kino, zvuk by se měl ztratit. Ale v dalším záběru pořád vrtulník slyšíte, i když už v záběru není. To jsou ty věci, které AI nezná a v nejbližší budoucnosti znát nebude.

Takže se nadále bude pokračovat v tom, že stroj bude odstraňovat rutinu.

Přesně tak. Člověk udělá poslední úpravy na celé práci. Přesně takto postupujeme s panningem a se vším, co v budoucnu kolem AI budeme dělat. AI udělá těžkou práci a na člověku nechá finální kroky, které tomu přinesou duši.

Když vidíme takové ty pokusy, kdy AI napsala báseň, složila hudbu, uvařila jídlo a podobně, tak od toho nemáme čekat nic zásadního?

Samozřejmě se to vyvíjí. AI složila báseň na bázi toho, že vybraná slova fungovala v ostatních případech, takže to může zkopírovat. Myslím si, že AI už dnes může složit songy, které budou líbivé a které budou fungovat. Ale nemyslím si, že bude schopná udělat umělecké dílo ve smyslu, že v tom bude kreativně znázorněná lidskost. AI může napodobit umělecká díla, která tu jsou, takže může ohromit laiky. Ale ne profesionály v dané oblasti, přes ně takový ten Turingův test ještě neprojde.

Uvidíme, co se stane v budoucnosti. Může se stát, že se AI přepne na model, kdy začne přinášet svůj vlastní pohled na věc. To pro lidstvo může být ohromující. Uvidíme stoprocentně analytický styl umění, a to pro nás může být inspirující, nebo naopak nuda. Nevím, kam se to vyvine. 

Každopádně se tady bavíme čistě o pomoci lidem. Druhou stránkou je používání AI ve zbraních a zbraňových systémech, co já osobně vidím jako velkou hrozbu. Nemyslím si, že software, který vyvíjíme my na polohování audia, někdy může někomu ublížit, a proto bych se chtěl vyhnout nějaké generalizaci AI jako takového. Za tvrdou regulaci využití AI ve zbraních hodně oroduje Elon Musk, ale myslím si, že teď už je pozdě. Musk nedávno zaplatil za veřejnou projekci dokumentu (jmenuje Do you trust this computer? – poznámka redakce). Tam je například k vidění a slyšení to, že jakmile se AI dostane do fáze, kdy nás nebude potřebovat k rozvoji, ona bude jako člověk a my pro něj jako mraveniště. Když my na chodníku zašlápneme mravence, nemusí to být z toho důvodu, že by nás štval, ale prostě se nám vyskytl v cestě. AI se může stát soběstačnou, a to může být pro nás velký problém.

Může váš AI software, na kterém pracujete, ve vaší branži v budoucnu vytvořit nové profese, případně některé zničit?

O tomto přemýšlím celkem dost. V tuto chvíli nechceme nahradit ani jednoho člověka. Chci, aby lidé dělali pořád to, co dělají, protože to dělají nejlépe. A budou to nadále dělat stejně dobře, nebo lépe než náš program, jen jim to bude trvat x-krát tak dlouho. Nemyslím si, že to bude brát práci. Jediné, co to zapříčiní, je to, že lidé si budou moci vzít více práce a vydělávat více peněz, protože budou mít více času na další projekty.

Jaroslav Beck
Autor: Jaroslav Beck

Jaroslav Beck

A rozšíří to jejich potenciál…

Ano, rozšíří to jejich potenciál. Každá inovace otevře spousty nových dveří pro nové nápady, firmy a tak dále.

To, co děláme teď, otevře nové dveře v tom, že budeme mít novou technologii, jak plug-iny na hudbu můžou využít tuto technologii i v jiných oblastech zvuku. Takže to nebude pouze na ovládání zvuku v prostoru, ale budou tam další možnosti, kde bychom náš nástroj uplatnili. A další lidi pak určitě napadne, jak tuto mechaniku a systém uplatnit v dalších věcech.

Chcete na tomto vytvořit i nějakou platformu?

Já bych byl úplně nejraději, kdybychom dokázali trochu posunout nástroje pro práci se zvukem do roku 2018. V tuto chvíli fungují dobře, ale vypadají jako ovládací deska z raketoplánu, zbytečně překomplikovaná. Díky tomu, že se dnes počítače dokáži učit samy a existují zástupy vydaných songů, není nutné si pokaždé nastavit kompresor na „kopák“, když už počítač ví, jak chci, aby takový „kopák“ zněl. To si vynásobte každou další operací a najednou se vše enormně zrychlí. Samozřejmě zde budou lidé, kteří s tímto nebudou souhlasit, protože budou mít pocit, že technologie věci zrychlí, ale kvalita půjde dolů. Pokud ale budou dohlížet na každý krok a budou dělat změny, bude-li to nutné, budou se sami divit, co v týmové práci s AI vytvoří. 

Podobné věci, které vy se snažíte udělat se zvukem, se dějí také v počítačové grafice, CAD aplikacích a podobně. I například Češi spolupracují s Adobe na co největší automatizaci výtvarného stylu a odstranění rutiny. Je to tedy směr, kudy se obecně jde?

Testujeme možnost, jak tohle zvládat u hudby – ve smyslu skládání melodie. Už existují programy, které vám pomáhají dodělávat harmonické linky. Může to fungovat jako výpomoc pro skladatele, kteří potřebují kreativně nakopnout. Počítač se naučí, jak melodie děláte, a najde v tom nějaký „pattern“ a nabídne vám, jak byste to sami udělali ve většině možností. A vy si třeba řeknete, že tohle je dobré, a napadne vás nějaká změna, doděláte to podle svého a přidáte ten lidský element. Případně vás napadne úplně nová myšlenka a postup kvůli návrhu, co jste dostal.

Content 2018 tip Kajnar

Zní to celé jako taková pěkná symbióza člověka a stroje.

Jistě, takto to s AI je a celou dobu to k tomu spělo. Celou dobu chtěl člověk vyvinout stroj, který by byl dostatečně schopný a nápomocný.

Našli jste v článku chybu?