Svět superpočítačů, tedy velmi výkonných serverových clusterů určených pro náročné úkoly včetně počítání umělé inteligence, čeká výrazná změna. Tedy minimálně v Evropě. Tým sdružený kolem EuroHPC, sítě evropských superpočítačů, vytvořil software EuroHPC Federation Platform (EFP), pomocí něhož je možné skrze jednotné uživatelské rozhraní ovládat více superpočítačů nebo kvantových počítačů. Důležitou součást tohoto projektu dodali Češi z národního superpočítačového centra IT4Innovations při VŠB-TUO v Ostravě.
Přístup k superpočítačům (HPC) byl dlouhodobě omezen ovládáním přes příkazový řádek (SSH). EFP poskytne vědcům, startupům, studentům nebo průmyslu ovládání přes webové rozhraní. To by mělo superstroje zpřístupnit širšímu počtů uživatelů a zároveň se sjednotí evropská HPC a kvantová infrastruktura, do níž se dlouhodobě investuje. V budoucnu jí rozšíří i AI továrny a AI gigatovárny.
V Ostravě už nějakou dobu vyvíjejí nástroj LEXIS Platform, jehož komponenty tvoří páteř pro výpočetní workflow a distribuovanou správu dat EFP. “Uživatelé tak díky EFP získají sjednocený přístup k rozmanitému ekosystému různých systémů – od klasických superpočítačů až po nastupující kvantové technologie a AI Factories,” popsal pro Lupu Jan Martinovič, vedoucí Laboratoře pro náročné datové analýzy a simulace IT4Innovations.
“Stačí nahrát data, definovat výpočetní úlohu buď jako vlastní skript, nebo jako kontejner, a platforma se postará o zbytek – od přenosu dat a spuštění úloh napříč více výpočetními klastry až po monitorování v reálném čase a doručení výsledků. Kromě obecného webového rozhraní platforma nabízí také několik grafických rozhraní specifických pro danou doménu, například rozhraní orientované na umělou inteligenci přizpůsobené efektivní správě životního cyklu AI/ML modelů, včetně služeb pro trénování a inferenci,” shrnul tým z Ostravy.
Funkce platformy jsou postaveny na těchto technologiích vyvinutých na IT4Innovations:
- HEAppE (High End Application Execution Middleware) – Tento software tvoří most mezi moderními webovými službami a tradičním prostředím superpočítačů založeném převážně na SSH, příkazové řádce a operačním systému Linux. HEAppE poskytuje aplikační rozhraní (REST API), které implementuje standard OAuth2 pro ověřování uživatelů a umožňuje spouštění a monitorování dávkových úloh, podporuje různé strategie pro mapování identit a tvorbu parametrizovaných šablon skriptů pro spouštění úloh. Díky tomu HEAppE slouží jako jednotné řešení pro spouštění náročných úloh napříč různými superpočítači.
- Distributed Data Interface – Toto softwarové řešení poskytuje platformě klíčové funkce pro správu a přenos dat. Využívá systém iRODS nasazený na lokálním úložišti, dále nabízí moderní rozhraní pro přenos dat přímo na superpočítače pomocí protokolu HTTP/2, centralizovaný index metadat založený na OpenSearch a asynchronní přenosy dat mezi vzdálenými datovými repozitáři a superpočítači.
- Orchestrátor workflow založený na Apache Airflow – LEXIS Platform používá pro řízení výpočetních workflow Apache Airflow rozšířený o speciální knihovny pro integraci s ostatními komponentami platformy. Knihovna obsahuje operátory, které slouží jako základní stavební bloky komplexních výpočetních workflow, kde je potřeba precizně koordinovat přenosy dat, spouštění a monitorování úloh a přenos výsledků zpět k uživateli. Další důležité rozšíření je možnost deklarativní specifikace vlastních uživatelských workflow pomocí popisu založeného na YAML (LEXIS Workflow Definition). K dispozici je také webové rozhraní pro snadnou tvorbu workflow umožňující jejich definici metodou drag-and-drop.
LEXIS Platform je zároveň základem několika evropských projektů:
- V rámci projektu LIGATE byla LEXIS Platform použita pro spouštění rozsáhlého workflow zahrnujícího superpočítačové simulace pro objevování nových léčiv. Italská farmaceutická společnost Dompé využívala proprietární software LiGen, jenž byl vyvinut ve spolupráci s Politecnico di Milano a italským superpočítačovým centrem CINECA. Vzhledem k omezením vyplývajícím z ochrany duševního vlastnictví nebylo možné sdílet binární soubory ani zdrojový kód LiGen. V tomto projektu LEXIS Platform poskytla bezpečný způsob, jak zpřístupnit spouštění proprietárního software, jakým je například LiGen externím uživatelům, aniž by měli přímý přístup k binárním souborům daného softwaru.
- LEXIS Platform slouží jako základní kámen pro výzkum v projektu Horizontu Evropa EXA4MIND v oblasti zpracování rozsáhlých dat pomocí pokročilých indexů a databázových systémů na superpočítačích nebo cloudové infrastruktuře. Projekt se věnuje těmto tématům aplikovaným v několika oblastech, které zahrnují systematické zlepšování přesnosti molekulárních simulací, rozsáhlé automatizované anotace a vyhodnocování záznamů z automobilových kamer v oblasti autonomního řízení a zpracování rozsáhlých geografických dat v oblasti chytrého zemědělství a vinařství, které kombinují data ze senzorů se satelitními snímky.
- Iniciativa OpenWebSearch.eu vybudovala otevřenou a transparentní evropskou infrastrukturu pro indexování webového obsahu a sdílení vytvořených datových sad s uživateli. Projekt využívá evropská superpočítačová centra pro rozsáhlý crawling, generování a postprocessing indexů, správu výsledných datasetů a jejich další zpracování prostřednictvím LEXIS Platform.
- Projekt BioDT, který podporoval vývoj digitálních dvojčat pro výzkum biodiverzity, rovněž těžil z LEXIS Platform. Ta umožňovala spouštění výpočetních workflow zahrnujících simulace z oblasti biodiverzity prováděné na superpočítačích.
ČLÁNKY DO MAILU