Hlavní navigace

Stehlík, Shewki, Donal (LIV): V Praze se dělá virtuální realita na nejvyšší světové úrovni

Autor: Jan Sedlák
Jan Sedlák

Do pražských LIV investovali HTC nebo zakladatel Oculusu Palmer Luckey. Firma v rozhovoru popisuje, jak jejich VR technologie funguje a kam míří.

Doba čtení: 14 minut

Sdílet

V Praze kromě brýlí od VRgineers, úspěšné hry Beat Saber nebo atrakcí Golem VR a spol. od DIVR Labs funguje také další společnost zaměřená na virtuální realitu, která má světový dopad. Je jí LIV, která nedávno, jak jsme už psali, získala investici od zakladatele Oculusu Palmera Luckeyho nebo HTC.

Tři hlavní postavy LIV – AJ Shewki, Steffan Donal a Jaroslav Stehlík – v rozhovoru pro Lupu popisují, jak LIV funguje, o co se snaží či jak se vůbec tato sestava dala dohromady a zakotvila zrovna v Česku.

Jak běžnému člověku vysvětlujete to, co děláte?

AJ Shewki (AJ): Pomáháme umisťovat reálné lidi do videoher. Je to evoluce. Nejdříve jsme umisťovali tradiční lidi a postupně je možné je nahrazovat avatary a dělat kolem toho různou kinematografii. Zachytíme lidi v jejich fyzickém prostředí a přeneseme do virtuálního. Pokud bych to trochu mohl k něčemu přirovnat, tak je to Xbox Live. Můžete být avatar a tím pak být v různých hrách. Můžete být, kým chcete, a můžete tím být ve všech hrách, které podporujeme. Je to takový metaverse, ale bereme ho pozpátku. Nezačínáme se světem, ale identitou a nahráváním a přímo s tvůrci světů pracujeme na tom, abychom do nich dostali tyto identity. Jinými slovy, umožňujeme vás snímat v reálném prostředí, když máte nasazený VR headset, a zobrazovat vás právě v tom prostředí, ve kterém se v headsetu pohybujete. Diváci pak vidí ve hře přímo vás a vaše pohyby a interakci s prostředím. Říká se tomu Mixed Reality.

Jak to funguje technicky?

Steffan Donal (SD): Mixed Reality obsah LIV má tři vrstvy – pozadí, kameru, popředí. Je to takový sendvič daný k sobě. Trik je v tom, že pozadí a popředí vypadají tak, že jsou součástí jednoho prostoru, jako je kamera.

K tomu je třeba kalibrovat kameru. Nakreslí se velký trojúhelník z objektivu kamery do dvou vzdálených rohů vaší místnosti. Pak na 2D obraze víme, kde tyto vzdálené rohy jsou, a můžeme pracovat s perspektivou kamery, orientací a tak dále. Když toto známe a máme, můžeme umístit virtuální kameru se stejnou charakteristikou. Kreslíme pozadí, které rozdělíme na dvě části, kde je VR headset. Můžeme tedy poznat věci, kterou jsou za vámi a které před vámi. Popředí čítá pouze objekty, kterou jsou před vámi – tedy objekty mezi hlavou a čočkami kamery. To je jádro toho, jak Mixed Reality funguje.

Jak vypadá integrace s herními enginy?

SD: Naše SDK chceme udržovat minimalistické, jak jen to je možné. Nechceme, aby vývojáři museli updatovat jejich hru pokaždé, když přidáme nové možnosti. Pořád bychom museli řešit věci, jako je kompatibilita a tak dále. Vše je tedy navržené tak, že potřebujeme jenom minimum informací. A to je zmiňované pozadí a popředí. Detaily kamery posíláme do hry a rendering děláme přímo v enginech, které daná hra využívá, tedy v Unity nebo Unrealu. Výstup posíláme k nám, což je zcela oddělený proces. Je to v podstatě drag-and-drop a není ani třeba do hry dávat řádek kódu.

Jaroslav Stehlík (JS): Důležité je to, že tento minimalistický přístup zaručuje to, že je zde v podstatě nulová šance, že vám naše SDK shodí hru. Když vývojáři vydávají hru, to poslední, co chtějí řešit, je nějaký kód třetí strany.

AJ: Když něco spadne, měl by to být náš klient, a nikoliv hra samotná. Ale ani toto padání už se dnes v podstatě neděje. Když vyšel Beat Saber, který nás používal, bylo to mnohem horší.

SD: Jinak back-end, což je v našem případě compositor, je napsán v C++ a OpenGL. Nepoužíváme žádné frameworky a chceme mít nad vším jasnou kontrolu. Snažíme se vše mít naprosto minimalistické. Dalším způsobem, jak naši věc dělat, je umístit kameru přímo do hry a dělat compositing přímo v enginu. To má řadu výhod. Když například hráč drží ve hře pochodeň, je možné efekty ohně promítat také na hráče a podobně. Je to ale intruzivní metoda a zvyšuje se počet věcí, které se mohou rozbít, a stejně tak to bere více výpočetních prostředků.

JS: Také to není příliš bezpečné, protože se v podstatě v replikaci vytváří backdoor, díky čemuž je možné jednodušeji hru nabourat a rozbít. Tak, jak máme SDK nastavené nyní, jsme velice bezpeční a přímo ve hře nemůžeme nic kontrolovat. Také je dobré říci, že si zároveň píšeme vlastní engine pro vkládání 3D modelů do compositing vrstvy. Díky tomu získáváme znalosti a jsme schopní komunikovat s tvůrci dalších enginů a umožnit do nich integraci.

Tým LIV. Zleva: Steffan Donal, AJ Shewki, Jaroslav Stehlík
Autor: Jan Sedlák

Tým LIV. Zleva: Steffan Donal, AJ Shewki, Jaroslav Stehlík

Jak jste se dali dohromady?

SD: K LIV jsem se připojil někdy v polovině roku 2017. K VR jsem se začal dostávat v době, kdy se na trh dostal HTC Vive, který jsem si předobjednal. Strašně se mi to líbilo a hrál jsem na tom různé hry. Kamarád mi pak řekl, ať to hraní zkusím streamovat. Šel jsem tedy do toho a začal jsem získávat publikum. Postupně jsem začal přemýšlet nad tím, jak zážitek pro diváky zatraktivnit. Zaujala mě věc jménem Mixed Reality, kdy je možné umístit tělo člověka do hry a vše vypadá, že k sobě patří. V té době se mnoho lidí nepokoušelo tuto technologii aplikovat do živého streamování, takže jsem napsal takový malý software, který mi to v reálném čase umožnil. Začal jsem tedy streamovat Mixed Reality na Twitchi. No a po pár měsících jsem narazil na Mysteryho (Jaroslav Stehlík) technologii, pomocí které bylo možné kalibrovat kamery. A také jsem zjistil, že můj software začaly používat firmy jako HTC nebo Valve.

V té době LIV pracoval na hardwarové stránce věci. Dělali kostky se zeleného plátna s kamerami a světly a začali se porozhlížet po softwaru, který by šel s těmito kostkami prodávat. Našli si mě a já se přesunul do Los Angeles, kde jsme působili v akcelerátoru TechStars. Poté jsme se přesunuli do Velké Británie a kontaktovali Mysteryho, aby se k nám připojil. To se stalo počátkem roku 2018.

JS: Před LIV jsem pracoval ve firmě DIVR Labs, a ještě předtím jsem dělal na mobilních hrách, čímž už jsem se ale do budoucna zabývat nechtěl. Na jedné akci v Bostonu jsem měl možnost vyzkoušet VR, a když jsem si vyzkoušel první tituly, cítil jsem se jako v pěti letech, když jsem si hrál s hračkami a byl do toho absolutně ponořen. Byl to úplně stejný pocit a zcela nová zkušenost.

Rozhodl jsem se, že chci dělat VR a uvěřil jsem, že je to budoucnost. Skončil jsem tedy ve firmě Silicon Jelly. Její šéf se rozhodl, že firmu prodá, a udělal novou firmu, kterou bylo právě DIVR Labs. Udělali jsme první českou hru pro HTC Vive, kterou byl Blue Effect. Na svou dobu to byl úspěch, ale dnes už jde na VR obsahu vydělat více peněz. Ovšem problémem byla prezentace a to, jak hru prodat. Viděl jsem to jako velkou překážku. Pro Blue Effect jsem dělal Mixed Reality, ale bylo to offline a šlo o velice komplikovaný proces, který zabral hromadu času. Na natáčení se musel vyčlenit celý den a další den pak na přípravu před natáčením. A také bylo třeba napsat vlastní software. Důvodem pro to, že jsem napsal kalibrační aplikaci pro Mixed Reality, byly právě tyto problémy. Inspirací mi byla VR verze hry Serious Sam, který měl kalibrační proces, ten ale nebyl dostupný pro další hry, a i tak byl stále komplikovaný. Stvořil jsem tedy nástroj, který byl dostupný na Steamu a který vytvářel kalibrační proces. Pak se odnikud zjevili tady kluci z LIV a řekli mi, že jsou ze Spojených států a že chtějí koupit můj software. Myslel jsem si, že jsou nějací podvodníci (smích).

SD: Koupě tohoto softwaru byla velice přirozenou věcí. Měli jsme software, který dokázal poskládat obrat z kamer a dělat to v reálném čase, ale neměli jsme vyřešené to, jak udělat kalibraci. Mystery to udělal velice jednoduše, dnes je to tříkrokový proces. Dnes máme všechny moduly pohromadě a mezi uživateli se to začíná zvedat.

Jak jste skončili v Praze?

SD: Přijali jsme Mysteryho v době, když jsme byli v UK a působili v bytě, kde jsem žil. Neměli jsme žádné závazky a dávalo nám tedy smysl dorazit za Mysterym se porozhlídnout po Praze. Velice se nám zalíbila, takže jsme se někdy loni v červnu přestěhovali. Praha je teď naše sídlo i vývoj a ještě máme jednoho vývojáře, kterým je David Goodman, ve Spojených státech, který dělá hodně experimentálních věcí kolem Oculusu nebo filmových technik.

JS: David se nám hodí také v tom, že když je potřeba někde být, jako třeba na GDC, je připraven se tam dostat.

AJ: Dodal bych, že jsme firmu založili v roce 2016 a do poloviny roku 2017 jsme ji financovali z vlastních zdrojů. Prodávali jsme kostky ze zeleného plátna společně s kamerami a světly. Výroba stála tři tisíce dolarů a prodávali jsme je za deset tisíc dolarů. Tržby činily 150 tisíc dolarů. Nebyl to udržitelný byznys, ale byla to možnost, jak věci rozjet. Pak jsme se dostali do TechStars, kde za 120 tisíc dolarů odevzdáte šest procent ve firmě. Po skončení TechStars jsme koncem roku 2017 získali asi 270 tisíc dolarů. Z toho jsme žili do ledna letošního roku.

A nyní jsme získali 700 tisíc dolarů. Zapojili se Credo Ventures, HTC skrze Vive X, Oculus skrze vývojářský grant, zakladatel Oculusu Palmer Luckey, Rikard Steiber, což je viceprezident Viveportu a Split Verse. Díky tomu můžeme dále investovat do vývoje a hledáme další vývojáře.

Jak na vaší technologii chcete vydělávat?

SD: Zatím nehledáme cesty, jak od uživatelů vybírat peníze. Máme velkou komunitu na Discordu, což jsou jak tvůrci, tak streameři. Aktuálně je to asi deset tisíc aktivních lidí.

JS: Deset tisíc lidí na Discordu znamená, že si stáhli a nainstalovali aplikaci a chtěli také odstranit vodoznak. Jde o aktivní uživatele.

SD: Naše technologie je například pro tvůrce her velice užitečná, protože díky ní mohou své VR výtvory prezentovat. Vývojářům nabízíme SDK, pomocí kterého mohou Mixed Reality vytvářet. Takto si budujeme komunitu a postupně řešíme to, jak bude vypadat monetizace. Máme několik představ a nápadů. Hodně z nich se točí kolem zapojení publika (audience engagement). Děláme třeba experiment, kterému říkáme game changer. Je možné zasahovat do hry, což se pak promítá přímo streamerovi do VR headsetu. Je to podobné jako dnešní 2D vrstvy známé u běžného streamování, ovšem v případě VR jde o mnohem více pohlcující věc. Myslíme si, že budeme schopní monetizovat interakci mezi diváky a VR streamery. Což by také mělo znamenat, že naše SDK zůstane navždy zdarma.

Jaká je do budoucna vaše pozice mezi Twitchem, YouTube a podobně?

SD: Budeme existovat v rámci samotných streamovacích služeb. Nechce si sami stavět službu na streamování, to udělali jiní lidé lépe a mají na to infrastrukturu. Pro nás dává smysl žít jako middleware mezi streamovací službou, streamerem a publikem.

JS: Jsme také streamer agnostic, což znamená, že je jedno, jakou službu streamer používá. Stačí přivést uživatele a propojit ho na službu. Přesně takovou věc streameři požadují. Uživatelé pak mohou kontrolovat to, co se děje ve hře. To zvyšuje engagement a finanční příspěvky (donations) od diváků. K tomu už máme dost dat, protože děláme testy. Prozatím to vychází tak, že se díky nám donations zvyšují třikrát až pětkrát.

SD: Dává to smysl. Když někdo sleduje streamera, nechce ani tak vidět nějakou specifickou hru, ale daného streamera, který hraje nějakou hru. Zajímají se o danou osobu. Když vylepšíme tento vztah, je to pro diváky velké vylepšení, protože jsou streamerovi blíže.

AJ: Na rok 2019 máme v plánu velký projekt. V zásadě to bude náhrada za Twitch, ale namísto dívání se budete součástí akce. Představit si to lze jako Hunger Games, ale pro všechny hry, které podporujeme. V podstatě chceme, aby diváci měli v reálném čase přímý dopad na dění ve hře.

Předpokládám, že streameři nejsou vaše jediná cílovka? Například úspěch Beat Saberu je z části i vašim úspěchem, protože byl prezentován za využití vaší technologie, což veřejnosti dalo větší představu o tom, co to taková VR hra může být.

SD: Mixed Reality je jako médium možná nejnázornější cesta, jak někomu vysvětlit, co to VR je.

JS: Video, které jsme spolu s Beat Saberem udělali, bylo pro Beat Saber velkou propagací a stejně tak to platí pro nás. V rámci VR neexistuje jiné video, které by bylo tak populární a virální. Skrze platformy má stovky milionů přehrání. Vývojáři díky tomu pochopili, že musí využívat Mixed Reality, a obrací se na nás a dávají naše SDK do jejich her. Díky tomu máme velice dobré vztahy skoro s každým VR vývojářem a VR streamerem. Máme nejlepší VR vývojáře a streamery a propojujeme je. Streameři dělají hry více viditelné, ale bez her by streameři neměli co vysílat.

AJ: Beat Saber pro nás znamenal jednu zásadní věc, a sice to, že ukázal, jaký potenciál LIV má. V případě Beat Saberu jsou to stovky milionů přehrání a virální šíření. Po Beat Saberu se naše SDK stalo mnohem více vyhledávané. Pro firmy se nyní Mixed Reality stává součástí marketingového rozpočtu na propagaci jejich VR her. Máme už také spolupráce s HTC na integraci LIV do Viveportu a v následujících letech bude vidět integrace LIV do dalších hlavních platforem.

Jaké máte vize ohledně toho, kam LIV posunout? A co bude obecně ve VR možné?

AJ: V případě LIV věříme tomu, že je zde velký prostor pro zapojení publika. V posledních letech jsme viděli několik věcí. Velice výrazně vyrostlo živé streamování, což nadále pokračuje. Stejně tak výrazně roste Twitch a v této oblasti i YouTube. Ještě ale dokonale není vyřešené to, jak monetizovat pozornost, kterou lidé k živým streamům upírají. Například streamer Ninja streamuje sedm dní v týdnu, osm hodin denně. Na to se dívá řada lidí, ale neexistuje žádný jiný způsob monetizace než donations a sponzoring. My chceme integrovat vrstvu, která toto mění.

JS: Co se týče VR obecně, Facebook už ukázal technologii, kdy umí digitalizovat lidi a vytvářet jejich avatary. Myslím si, že tohle je budoucnost. Bude možné vidět lidi na dálku a komunikovat s nimi stejně, jako kdyby stáli vedle vás. Na to se nyní zaměřuje hodně lidí a je to věc, která může přinést revoluci do komunikace.

SD: V následujících pěti letech ve VR uvidíme věci, jako je eye tracking mouth tracking (sledování pohybu očí a rtů) a také přesné sledování pohybů rukou, tedy hand tracking.

AJ: Hodně jsme o budoucnosti debatovali. Všimli jsme si, že když jsme ve VR, jsme více společenští, protože víme, že nás ostatní lidé mohou vidět. Takové věci pak mohou dávat smysl například při online randění, protože se ve VR bude moci dát promítnout sociální prvek. Lidé mohou být sami sebou, než se skutečně poznají. Když se objevují přesné sledování rtů, očí či rukou, ve virtuálním prostředí už skutečně budete připomínat sami sebe a budete tam více lidé. Budeme více sami sebou a méně anonymní. Bude to dobrovolné, ale tato možnost zde bude.

Jaké jsou podle vás největší překážky dnešního VR?

SD: Je to kombinace mnoha faktorů. Oculus Quest sice odstranil kabel, ale zase některé věci ztratil, třeba přesnost. Jsou to kompromisy. Každý se snaží miniaturizovat GPU, stále nemáme přirozené retina rozlišení. Je před námi ještě dlouhá cesta a ještě nějakou dobu zde bude značný rozdíl mezi desktopovým VR a tím mobilním. Ale pro většinu lidí bude mobilní VR zcela přijatelné.

AJ: Jsou zde debaty o tom, že Moorův zákon v případě GPU naráží na své limity. Je tedy možné, že nebudeme vylepšovat stávající technologie, ale budeme muset nasadit některé zcela nové. Ale to nevíme.

Jsou investoři stále otevření investicím do VR? Určitou vlnu spustil Facebook, když koupil Oculus, ale investice do VR jsou evidentně dlouhodobá hra, která prozatím nenese jasné výsledky.

AJ: VR byla velice žhavým oborem v roce 2016, zejména v USA. Pak ale řada zainvestovaných společností vyhořela. Byly zde například firmy, které posbíraly desítky milionů dolarů s tím, že udělají takový Netflix pro 360stupňová videa ve VR. Jenže tato videa tak úplně nefungují. Lidé se nyní trochu obávají. Investoři mají do určité míry takové ovčí chování, což není myšleno zle. Vidí například, že jejich oblíbený investor něco dělá, tak to dělají také, a naopak. Peníze do VR v poslední době sice proudily, ale spíše do projektů, jako je Magic Leap, který získal miliardu dolarů.

Zjistili jsme, že je pro nás jednodušší získávat peníze v Evropě. V USA byla řada lidí, která do VR investovala a měla s tím špatné zkušenosti. Navíc řada velice zajímavých VR technologií přichází z Evropy, a nikoliv Silicon Valley. Beat Saber, VRgineers, Golem VR, to jsou projekty z Prahy. To jsou věci, které se v USA zase tolik nedějí. A pak je zde řada menších projektů, které ještě nevydělávají peníze a dělají věci potichu, ale postupně získávají uživatele a oblibu. To je i náš příklad.

TipConten_tamata

Jak zajímavá je pro vás oblast e-sportů?

AJ: Velice. Existuje hra Onward, což je multiplayerová akce pro VR, pro kterou ještě nemáme integraci, ale brzy bude. Z Onwardu se stává e-sportová záležitost a zápasy už živě sledují desítky tisíc lidí a čísla rostou. Obecně věřím v to, že během pár let budou e-sporty větší než sporty tradiční. Vstupní bariéra pro hraní her je v podstatě nulová. Hry po celém světě ročně sleduje 700 milionů lidí.