Hlavní navigace

Y Soft v Brně vyvinul robota pro testování softwaru. Umí „číst“ a ovládat obrazovku

Jan Sedlák

Robotic Arm usnadňuje vývojářům testování a do budoucna by mohlo jít o další byznys Y Softu.

Doba čtení: 4 minuty

Brněnský Y Soft už řadu let vytváří technologie pro správu tisku, k čemuž si díky odkupu pražské firmy Bee3D přidal ještě výrobu vlastních 3D tiskáren. Tento typ byznysu mimo jiné vyžaduje tvorbu uživatelských rozhraní, díky kterým mohou lidé tiskárny a procesy kolem nich ovládat. Typicky jde o malé dotykové displeje připevněné na zařízeních.

Tyto technologie logicky vyžadují testování. Něco lze zvládat v emulovaném virtuálním prostředí, nakonec ale stejně dojde i na testy ve fyzickém prostoru. Inženýři, kteří v Y Softu pracují, proto často musí ručně své výtvory testovat a postávat u tiskáren, což jim bere čas. Určitou část svého času tak věnují činnosti, která sice není úplně neodborná, je ale dosti repetetivní a zároveň nejde o žádnou velkou zábavu.

Přesně tohle jsou oblasti a situace, kam odjakživa postupně proniká automatizace a robotizace. Opakující se a neodbornou činnost přeberou stroje, které navíc mohou pracovat neustále, nemají hlad, nestávkují a nechodí na záchod. Proč by měl člověk stále dokola mačkat ikonku na displeji, když raději může vyvíjet nové funkce a dělat něco, kde má skutečnou přidanou hodnotu?

Odstranění „prudy“

„V podstatě tím zvyšujeme efektivitu aktivit, které jsou rutinní a opakující se a zároveň jsou tak trochu otrava,“ pokyvuje v kancelářích Y Softu poblíž Jihomoravského inovačního centra Jakub Pavlák. Ukazuje přitom na robotickou ruku, kterou firma asi před třemi lety začala vyvíjet. Tým tří lidí v rámci Y Soft Labs se rozrostl na současných osm včetně univerzitních studentů, kteří v rámci projektu takzvané Robotic Arm (RQA) mohou pracovat na svých bakalářských a inženýrských pracích.

Robotická ruka je připevněná na tradičním stojánku od fotoaparátu, má tři pohyblivé klouby (celkem čtyři motorky, každý za zhruba deset tisíc korun), na konci gumový „hrot“ a součástí instalace je také kamera (průmyslová Basler zvládající Full HD při 40 FPS). Tato soustava stojí před tiskárnou a sleduje, co se děje na jejím ovládacím displeji a ruka pomocí gumového konce pořád dokola vykonává požadovanou činnost. Dokáže nejenom klepat na dotykový displej, ale zvládá i posuvná gesta a klikání na fyzické klávesy.

Inženýři Y Softu mohou ruce říci, kterou funkci nebo činnost v rámci uživatelského rozhraní potřebují testovat, udělat „commitnutí“ změn, klidně odejít domů a nechat proces běžet. Na continuous integration se aktuálně používá Bamboo, software dále pracuje s Robot Frameworkem postaveným na Pythonu.

Trik je v tom, že ruka díky kameře dokáže rozpoznávat prvky na displeji a v případě, že dojde k něčemu neočekávanému (vyskočí třeba chybová hláška), dokáže zareagovat a proces spustit znovu a „proklikat“ se, kam potřebuje.

„Původně jsme měli jenom robotickou ruku bez kamery. Když došlo k chybě, robot byl nahraný,“ navazuje Pavlák. Aktuálně systém využívá počítačové vidění společně s deskriptory a neuronovými sítěmi. Další popisek si lze přečíst na blogu.

Počítačové vidění

Software je třeba naučit, co dané obrazce na displeji znamenají, a on už je pak díky namířené kameře začne rozpoznávat. Nejde tedy pouze o tupé klepání robotické ruky „někam“, systém se řídí kontextem.

Systém v současné době pracuje připojený do lokální počítačové sítě a pořízený obraz posílá v RAW formátu, což je datově výrazně náročné. Ruka se připojuje do IoT platformy Y Soft SafeQube 2. Jde o „krabičku“, která disponuje 2 GB RAM, gigabitovým ethernetem, 4GB interní pamětí, displejem nebo procesorem ARM Cortex A7 na 800 MHz.

Y Soft by do budoucna chtěl dojít do stavu, kdy dodá „natrénovanou“ krabičku, která bude schopná pracovat offline. Vizí je i to, že tato technologie automaticky pozná systém, a už nyní je v pokročilé fázi automatická kalibrace.

Projekt robotické ruky prozatím vzniká jako interní nástroj pro usnadnění testování. Do budoucna by z něj ovšem mohl vzniknout nový plnohodnotný byznys Y Softu. Mohlo by to vypadat jako robot určený pro testování embedovaných zařízení. Nemusí jít pouze o tiskárny, ale v podstatě o vše, co má displeje – ledničky nebo třeba automobily. Robot už dnes zvládá testovat rozhraní na chytrých telefonech.

Y Soft k robotovi vyvíjí ovládací dashboard systém běžící ve webovém rozhraní. Software by měl udržet dlouhodobé analýzy a ambicí je také toto všechno napojit do business intelligence.

Nahrazení lidí?

Y Soft v souladu se svými robotickými ambicemi a probíhající automatizací vydal vlastní průzkum toho, jak tyto změny vnímají lidé. Téměř 84 procent lidí si nemyslí, že jejich pracovní místa budou nahrazena roboty. Existují ale určité obavy. Téměř polovina (45,5 procenta) respondentů se obává, že stroje budou činit rozhodnutí, která postrádají prvek lidského myšlení.

Silným faktorem je věk. Téměř 23 procent pracovníků mladších 30 let se obává, že budou nahrazeni roboty, ve srovnání s téměř devíti procenty ve věku 45 až 60 let. U dělníků nad 60 let jsou to čtyři procenta. Většina z nich se domnívá, že se to stane během desetiletí.

Asi polovina respondentů (51 procent) uvedla, že se cítí dobře při práci s robotem, protože jim umožní zaměřit se na zajímavější části své práce. Mezi tři nejdůležitější oblasti, kde lidé spatřují roboty jako užitečné, patří výroba a testování výrobků (34 procent), administrativní úkoly jako běžné zpracování papíru (12 procent), práce recepčních nebo interního helpdesku firem (osm procent pracovníků).

Většina lidí (59 procent) si zároveň nedokáže představit, že by vznikla pracoviště, kde budou fungovat pouze roboti. Nicméně 24 procent z nich uvedlo, že si mohou představit celé pracovní prostředí plné robotů někdy v horizontu příštích 10 let.

Našli jste v článku chybu?