„Je to dobré, teď jsme vidět na mapě,“ pochvaluje si ve své kanceláři ředitel národního superpočítačového centra IT4Innovations Vít Vondrák. Česko se totiž už před nějakou dobou začalo aktivně zapojovat do celoevropského projektu EuroHPC, v rámci kterého má Evropská unie investovat stovky milionů eur do sítě superpočítačů, dostat se až na takzvanou exascale úroveň a dohnat tak Spojené státy a Čínu. A právě zde je Česko prozatím úspěšným hráčem.
Týmu kolem IT4Innovations se v posledních týdnech v rámci EuroHPC podařilo „urvat“ dva silné projekty. Prvním z nich je zapojení se do pre-exascale systému, na kterém bude spolupracovat několik zemí, a druhým pak získání petascale superpočítače, jenž poběží přímo na území České republiky. V obou případech se Česko ve výběrových řízeních umístilo první.
„Česká republika byla v rámci EuroHPC pionýrem a nepřekvapuje mne, že se nyní v těchto oblastech stala lídrem,“ pochválil před pár dny Česko během své návštěvy Prahy Khalil Rouhana, který v rámci Evropské komise sedí ve vedení DG CONNECT.
Tři superpočítače
Pre-exascale stroje jsou předvojem před tím, než se nasadí skutečné exascale (alespoň jeden exaFLOPS) systémy. Na ty u EuroHPC čekají Německo a Francie, kteří v podstatě jako jediní mohou díky své velikosti takové projekty hostovat. Tyto země také vyčkávají, zda už v době nasazování exascale nebudou k dispozici čistě evropské technologie. Řeč je zejména o superpočítačových procesorech vyvíjených v rámci European Processor Initiative (EPI). Podle informací Lupy nyní probíhají snahy o zapojení brněnské firmy Codasip, která vyvíjí vlastní RISC-V procesory.
Na pre-exascale se skládá více států. Nakonec budou postaveny tři tyto superpočítače – jeden poběží v superpočítačovém centru v Barceloně, další v italské Boloni a třetí pak ve Finsku. K němu bude mít přístup i Česko.
Tyto superpočítače by se měly stát nejvýkonnějšími v Evropě a budou tvořit i naprostou světovou špičku. Minimálně na nějakou dobu. „Prozatím přesně nevíme, s čím přijdou USA, Čína a Japonsko,“ uvádí Vondrák. Tři evropské pre-exascale počítače mají být uvedeny do provozu už během příštího roku.
Finský stroj poběží ve městě Kajaani v objektu bývalé továrny na zpracování dřeva, kde už superpočítačová infrastruktura funguje. V této lokalitě je nízká cena elektrické energie a Finové hodlají odpadní teplo využívat také pro vytápění v okolí.
Součást LUMI
Centrum (konsorcium) dostává název LUMI (Large Unified Modern Infrastructure) a vedle Finska a Česka na něm budou spolupracovat také Švédsko, Dánsko, Norsko, Belgie, Nizozemsko, Švýcarsko, Estonsko, Polsko a v budoucnu možná i Island.
Reálný výkon pre-exascale by se měl dostat na více než 140 petaFLOPS. Jde o hodnotu měřitelnou ve standardizovaných testech LINPACK, a nikoliv o teoretickou hodnotu, která se udává běžně. Projekt vyjde na 207 milionů eur včetně pořízení technologií a zajištění provozu a fungovat má do roku 2026. Polovinu rozpočtu hradí Evropská komise, druhou polovinu pak zapojené země.
Česko přispěje pouze menší částkou, konkrétně pěti miliony eur. Peníze poskytne ministerstvo školství, a to v rámci Operačního programu Výzkum, vývoj a vzdělávání (OP VVV). Pro srovnání, menší Finsko vloží 50 milionů eur a Belgie pak 15 milionů. Polsko vkládá stejnou sumu jako Češi.
Česká republika díky tomu získá přístup k výpočetním kapacitám LUMI. Češi dále budou přítomni ve výběrových komisích a výzkumných a provozních týmech. Naši odborníci budou také v takzvané skupině HLST, tedy High Level Support Team. Ten má disponovat odbornými kapacitami v oblasti architektury systému a podobně.
Vlastní petascale v Ostravě
Další stroj pak Česko získá pro sebe a poběží vedle současných superpočítačů v Ostravě v rámci Vysoké školy báňské. IT4Innovations v rámci EuroHPC soutěžilo o získání petascale zařízení, ke kterému nyní chystá výběrové řízení (je možné, že proběhne formou takzvaného soutěžního dialogu). V rámci soutěže bylo vybráno pět petascale HPC – vedle Česka je budou provozovat také v Lucembursku, Portugalsku, Slovinsku a Bulharsku.
Jak vypadá nástupce ostravského superpočítače Anselm:
V Ostravě se pořízení takového zařízení časově potkalo s chystaným upgradem současného superpočítač Salomon, který je vlajkovou lodí IT4Innovations a nejrychlejším HPC u nás. Česko mělo na pořízení jeho nástupce skrze ministerstvo školství připraveno zhruba 10 milionů eur a díky vítězství v EuroHPC získá dalších pět milionů eur od Evropské komise. „Můžeme tak pořídit výrazně lepší systém,“ uvádí Vondrák.
Pořizovacích 15 milionů eur ale ještě není finální cena, asi pětiletý provoz stroje se vším všudy vyjde na dalších 14 milionů eur. Náklady si bude hradit plně Česko. To si také i přes zapojení Evropské komise (skrze EuroHPC) bude samo vypisovat výběrové řízení podle českých zákonů. Hlavním kritériem přitom nemá být pouze cena, ale také kvalita a další aspekty. Salomona dodalo SGI (součást Hewlett Packard Enterprise, které také nedávno oznámilo záměr o převzetí HPC firmy Cray), novým dodavatelem se ale může stát jiný hráč.
Zcela detailní technické zadání „nového Salomona“ ještě není jasné. V Ostravě ale předběžně počítají se 600 výpočetními uzly (dual socket x86 servery) a dalšími 70 uzly pro operace spojené s prvky umělé inteligence. Zde budou vedle x86 k dispozici také grafické karty Nvidia, konkrétně jich bude na každý uzel osm (LUMI jich bude mít na uzel čtyři). Jasné je, že už se do budoucna nepočítá s technologií Xeon Phi, kterou využívá Salomon a kterou Intel postupně „rozpouští“ v rámci dalších svých produktů.
Sílící zájem o akcelerované výpočty
IT4Innovations i díky tomu chce vytvořit rozsáhlou infrastrukturu, která kromě klasických superpočítačových výpočtů zvládne také AI a simulace kvantových počítačů. Půjde tak o podklad pro naplňování plánů vlády a akademického sektoru kolem umělé inteligence. AI cluster už pořídil také tým kolem Michala Pěchoučka na ČVUT a v Ostravě již běží menší stroj DGX-2 od Nvidie.
Obecně je vidět sílící tlak na akcelerované výpočty pracující s GPU, a i proto se pro AI plánuje pořízení 1PB storage zvládající 1 TB/s (klasická storage má mít sedm až osm PB). Stejně tak se zprovozní kolem 30 uzlů pro klasický cloud, protože uživatelé začínají i v rámci HPC operací více vyžadovat kontejnery a spol.
V plánu je také vedle vědců a akademiků výpočetní kapacity více zpřístupnit průmyslu. „Evropská komise chce do reálné praxe posunout to, co se umí ve vědě,“ říká Vondrák. Česko vedle vlastních kapacit získává i přístup k finskému LUMI, kam bude možné nasměrovat aplikace nejnáročnějších uživatelů.
Zprovoznění nového nejvýkonnější HPC v zemi by mělo proběhnout ve třetím kvartálu roku 2020. Případná forma soutěžního dialogu by měla umožnit posunutí zadání technických specifikací, díky čemuž by šlo vybrat nejmodernější hardwarové architektury.
Nový Anselm už běží
Třetí novinka už se v Ostravě rozebíhá nyní. Po menších odkladech spojených se zpožděnou dodávkou od subdodavatele se v následujících dnech až týdnech od dodavatele převezme upgrade dosavadního superpočítače Anselm, který je slabší ze dvou nainstalovaných. Anselm už přesluhuje (běží šest let) a nyní by měl do Česka přinést nejmodernější technologie postavené na Atos BullSequana X.
Nový Anselm, který během slavnostního ceremoniálu naplánovaného na konec srpna dostane nové jméno, mimo jiné zaujme hustotou (tři servery na jedno šasi), vodním chlazením, spoji InfiniBand či NVMe vrstvou. Technické parametry najdete pod textem.
To, co se stane se starým Anselmem, který před šesti lety dodal Bull (Atos) a který už nevyhovuje po stránce spotřeby a výkonu, ještě není úplně jasné. Možná je určitá forma recyklace, ale také alespoň částečné zachování pro studenty.
A zde ještě ambice IT4Innovations nekončí. Češi by do Ostravy rádi dostali také mezinárodní týmy, které by infrastruktury mohly využívat a tuzemské prostředí oživit. „Součástí EuroHPC jsou také takzvaná Competence Centra a rádi bychom, kdyby jedno takové fungovalo i u nás,“ uzavírá Vondrák.
Technické parametry nově upgradovaného Anselmu:
- 189 standardních výpočetních uzlů; každý uzel je vybaven dvěma 18jádrovými procesory Intel a operační pamětí o velikosti 192 GB RAM
- 8 výpočetních uzlů s GPU akcelerátory; každý uzel je vybaven dvěma 12jádrovými procesory Intel, čtyřmi GPU akcelerátory NVIDIA V100 s grafickou pamětí o velikosti 16 GB a operační pamětí o velikosti 192 GB RAM
- Tlustý uzel je vybaven čtyřmi 12jádrovými procesory Intel a operační pamětí o velikosti 6 TB RAM
- Superpočítač je postaven na HPC architektuře BullSequana X
- Chlazení standardních výpočetních uzlů používá technologii přímého chlazení komponent kapalným médiem, je použito nejefektivnější chlazení tzv. teplou vodou
- Výpočetní síť je postavena na technologii InfiniBand HDR
- Datové úložiště pro výpočty SCRATCH o kapacitě 200 TB a propustnosti 28 GB/s využívající akceleraci technologií Burst Buffer
- Datové úložiště pro výpočty NVMe over Fabric o celkové kapacitě 22,4 TB dynamicky alokované výpočetním uzlům
- Softwarové řešení provozu a správy clusteru Bull Super Computer Suite, plánovač a manažer zdrojů PBS Pro