Hlavní navigace

Kapesní Fata Morgana. Čeští vývojáři umí proměnit reálný svět ve virtuální realitu

Autor: Jan Sedlák
Jan Sedlák

Spoluzakladatel Bohemia Interactive rozjel nový projekt. Jde o jeden z nejslibnějších českých pokusů v oblasti rozšířené a virtuální reality (AR a VR).

Moderní budova Českého institutu informatiky, robotiky a kybernetiky (CIIRC) v pražských Dejvicích při průchodu stále ještě působí spíše jako objekt duchů než živý prostor plný inovací. Kanceláře se ale postupně plní a do jedněch z nich se nastěhovala i zhruba rok fungující společnosti Pocket Virtuality. Dost možná jde o vůbec z jeden nejslibnějších českých projektů v oblasti rozšířené a virtuální reality (AR a VR).

Pocket Virtuality založil Jan Hovora, který před řadou let stál také u založení úspěšného herního studia Bohemia Interactive (BI). Od roku 1996 pracoval na titulu Operace Flashpoint a v „bohemce“ měl na starost zejména technickou část grafiky. Bohemia Interactive se pod jeho dohledem v Česku stala pionýrem v nasazování věcí jako 3D skenování nebo motion capture.

Hovora také pracoval na systému Linda, který se stará o generování stromů ve virtuálním prostředí tak, aby šlo krajinu ve hře automaticky osázet stromy a zároveň všechny nevypadaly stejně. Linda se v Bohemia Interactive využívá dodnes, vedle titulu ArmA funguje i v populárním DayZ. Hovora se dále angažoval v Bohemia Interactive Solutions, což je část podniku, která dělá vojenské simulace například pro americkou armádu.

Technický grafik, jak sám sebe Hovora označuje, se nicméně po čase unavil, a to i velikostí a procesy ve firmě, a v roce 2009 svůj podíl v BI prodal. Do roku 2011 ještě s firmou více spolupracoval, poté se ale po nějakou dobu začal věnovat mobilním technologiím. Tak před rokem s dalšími kolegy z BI (například Jiřím Martínkem) poskládal nový tým a rozjeli Pocket Virtuality.

Jan Hovora, Pocket Virtuality
Autor: Jan Sedlák

Jan Hovora, Pocket Virtuality

Do společnosti v první fázi šly nějaké peníze zakladatelů (seed) a nedávno s řádově desítkami miliony korun přišel český investiční fond Touzimsky Kapital, přes který do technologií investuje také bývalý šéf ČEZu Martin Roman. Technologii, kterou Pocket Virtuality v Praze vyvíjí, na světě v této formě prozatím nejspíše nikdo nedělá.

Česká Fata Morgana

Nejdříve základní nástin. Technologie nazvaná Fata Morgana využívá dva světy – rozšířenou realitu (AR) a virtuální realitu (VR). V případě AR konkrétně pracuje s brýlemi HoloLens od Microsoftu. Ty umí přes průhledný displej přes reálný svět promítat virtuální objekty. Zároveň díky kamerám a senzorům umí reálný svět zaznamenávat.

Pocket Virtuality za využití HoloLens umí nasnímat fyzické prostředí a zdigitalizovat ho. Stačí se dívat na místnost, nábytek či jakékoliv další objekty a HoloLens toto všechno zaznamenají. Díky zabudované paměti a výpočetní kapacitě pak informace přenesou na server či cloud, stačí se s brýlemi připojit k Wi-Fi.

Tam se odehraje trocha „kouzel“ a zdigitalizovaný reálný svět může proudit k příjemci, který má nasazeny VR brýle. Tyto dva světy se mohou vzájemně ovlivňovat a kooperovat. S tím, jak se AR a VR rychle rozvíjí a zdokonalují, se využití něčeho takového nejspíše rychle rozšíří. Fungování Fata Morgany přibližuje také přiložené video.

Jan Hovora se sice dvě desetiletí věnoval technologiím kolem her, na rozdíl od některých jiných fanoušků AR a VR si ovšem nemyslí, že by právě videohry měly celou oblast více rozšířit, zpřístupnit a zlevnit. Věří tomu, že tyto efekty obstará zejména průmysl a B2B sektor. Tedy oblasti, které pro tyto nové technologie nachází využití už nyní a nemají problém investovat vyšší částky do potřebného hardwarového vybavení.

Projekty pro Škodu či Aero Vodochody

První projekty, na kterých v Pocket Virtuality pracují, se rekrutují právě z průmyslu. Společnost například spolupracuje se Škodou Auto a Škodou JS. S nimi se dělá na několika projektech. Škoda JS se zabývá jadernou energetikou a AR/VR ji tak mimo jiné zajímá z pohledu stavebnictví. Ideálním výstupem spolupráce by mělo být to, že si lidé ze Škody JS budou moci přes HoloLens a AR promítnout stavbu či její části na místě, kde se bude teprve budovat (využití nivelačních značek a podobně).

HoloLens a Pocket Virtuality
Autor: Jan Sedlák

HoloLens a Pocket Virtuality

Další projekty se dělají třeba v Aero Vodochody nebo ve zdravotnictví. Mladí medici se cvičí na umělých figurínách. Ty jsou ale poněkud zkoprnělé a neumí například zmodrat. Nabízí se tedy promítání virtuálního stavu na tyto figuríny.

Technologie zapadá do konceptu tzv. průmyslu 4.0, o kterém se v posledních měsících hodně mluví. „AR například z nekvalifikované pracovní síly dělá sílu kvalifikovanou. S AR brýlemi před sebou vidí, co přesně má třeba na motoru dělat. To je veliký přínos,“ popisuje Hovora.

Pocket Virtuality aktuálně řeší řadu projektů, do budoucna ale zakázky jako takové úplně dělat nechtějí. Zakázky nyní mimo jiné slouží k učení, získávání informací, referencím, proof-of-concept a tak dále. To, co v Dejvicích chtějí rozvíjet prioritně, je samotná platforma, která propojování a nasazování AR/VR umožňuje.

Spojování dat na pozadí

Hlavní know-how totiž spočívá na již zmiňované straně serveru či cloudu. Tým si vše píše od nuly v jazyce C a nevyužívá hotové technologie. Když brýle HoloLens začnou sbírat data z reálného prostoru, je třeba je někde naskladnit, zpracovat a vytvořit z nich digitální model. Tam to ale nekončí.

Když si například přes HoloLens nasnímáte nějaký prostor, jde v podstatě o statickou věc. A vy možná také chcete vidět, co by se s takovým prostorem dělo v dalších situacích. Dejme tomu, kdyby v něm proudil teplý vzduch. Pocket Virtuality proto připravují aplikační rozhraní (API), přes které bude možné další zdroje dat přidat. Celý systém je pak musí umět poskládat dohromady.

„Píšeme takové chytré úložiště pro držení různých formátů dat. Musí se vytvořit mash-up. Když se pomocí virtuální reality dívám nějakým směrem, systém musí vědět, co je v tom směru za informace a jak je zobrazit,“ přibližuje Hovora.

Český software zná topologii prostoru. To znamená, že nasnímaný a zdigitalizovaný prostor musí být ve virtuální realitě skutečně prostorem. Když si do takto nasnímané místnosti vložím třeba objekt motoru, musí to působit reálně. To znamená, že když se začnete pohybovat a zajdete za roh, motor nesmí být vidět – stejně jako je to v reálném světě.

Nahradit Unity

„Rádi bychom také nahradili engine Unity (v AR/VR se často používá – poznámka redakce) něčím vlastním,“ navazuje Hovora. Půjde o vlastní renderovací technologii, která bude rychlá, bezpečná, plně pod kontrolou a nebude nikam bez vědomí posílat data. Docílit toho u běžných enginů typu Unity a Unreal Engine je v podstatě nemožné.

Jan Hovora, Pocket Virtuality
Autor: Jan Sedlák

Jan Hovora, Pocket Virtuality

Zpracování informací, které na serverovou část posílají HoloLens, je rovněž velice zajímavá část celé platformy. HoloLens odešlu polygonovou síť. Když se těmito AR brýlemi díváte po prostoru, síť sami vidíte a brýle zároveň automaticky začínají snímat. Zároveň s tím se také pořizují obrázky prostoru, které se rovněž odesílají.

Server či cloud (podle toho, co si zákazník přeje) pak z těchto informací poskládá virtuální prostor. Nejde však úplně o čisté obalování kostry pomocí nasnímaných obrázků/textur. Pracuje se s podobným principem, jako je fotogrammetrie. Uloží se pořízený obrázek s tím, že systém ví, kde je v prostoru umístěný.

V rámci polygonové sítě se sbírají dva tisíce vrcholů na metr krychlový, největší objem pak tvoří pořízené obrázky. Systém umí dobře komprimovat, takže ani tak nejsou takové mash-up příliš veliké, u jedné místnosti může jít o megabajty.

Světlé zítřky pro AR přístroje

Současná verze HoloLens je povedený produkt, který na trhu prozatím moc nemá konkurenci (ODG ani Daqri tak daleko zatím nejsou). Přesto jde o první generaci, která rozhodně má řadu omezení. Například omezené zorné pole, možnost reálně zpracovávat 300 až 400 tisíc polygonů a podobně. Druhá verze by mohla přinést zásadní průlom.

Microsoft totiž ve svém cloudu Azure postupně buduje armádu nástrojů určených pro umělou inteligenci a spol. Jedním z nich jsou i Cognitive Services (náš text). Tyto služby nyní běží v cloudu na FPGA čipech (o jejich nasazování v našem článku). A právě tyto čipy mají být společně s Cognitive Services součástí HoloLens 2. Kognitivní schopnosti tak budou přímo v brýlích.

V budoucnu bude zajímavé sledovat i AR snažení Applu. Ten prozatím do svých mobilních zařízení vypustil ARKit. Podle Hovory může jít zejména o test toho, co budou umět AR brýle Applu. První uniklé informace ukazují, že v Cupertinu něco takového skutečně chystají, včetně operačního systému.

Našli jste v článku chybu?