Vědci z národního superpočítačového centra IT4Innovations v Ostravě vyvinuli nástroj HyperQueue (GitHub) na efektivní organizování superpočítačových výpočtů pro vědecké úlohy. Umožňuje efektivně spouštět velké množství výpočetních úloh na superpočítačích s různou architekturou.
HyperQueue byl nasazen a testován na několika superpočítačích s různým hardwarem. Jde mimo jiné o ostravská Karolina, což je nejrychlejší stroj v Česku, a jeden z nejvýkonnějších HPC v Evropě v podobě LUMI. Česko je členem konsorcia, takže k němu má přístup.
Nástroj vzešel z projektu LIGATE, který využívá evropské superpočítače k návrhu léků (Computer-Aided Drug Design, CADD). Řeší se screening obrovského množství molekul, což je typ úloh, pro které je problematické využít potenciál celého výpočetního uzlu.
IT4Innovations vyvinutý nástroj popisuje takto:
Moderní superpočítače obsahují velké množství heterogenních zdrojů, které poskytují obrovský výpočetní výkon. Je náročné navrhovat monolitické aplikace, které mohou tento výkonnostní potenciál efektivně využít (např. škálováním na stovky jader); uživatelé HPC často navrhují svá výpočetní workflow jako soubor menších, vzájemně závislých úloh, které využívají pouze zlomek prostředků jednoho uzlu klastru. Přesto může být provádění těchto workflow na HPC klastrech za přítomnosti správce úloh, jako je Torque/PBS nebo Slurm, náročné. Ty mohou stanovit omezení pro souběžné provádění více úloh na jednom uzlu, což brání využití uzlu, a jejich konstrukce obecně není stavěná na obrovské množství menších, na zdroje méně náročných úloh, což může vést k přetížení správce.
HyperQueue představuje framework pro provádění výpočetně náročných úloh, který nabízí řešení tohoto problému. Umožňuje uživatelům zadávat úlohy jednoduchým způsobem mimo výpočetní úlohu. HyperQueue se pak postará o vyžádání výpočetních prostředků od správce úloh a o spuštění úloh na všech dostupných výpočetních uzlech. K vyvážení zátěže úloh používá sofistikovaný plánovač s přihlédnutím ke specifikaci jednotlivých zdrojů a aktuálnímu vytížení uzlů. Případovou studií může být např. triviální definice výpočtu s mnoha úlohami, které využívají malý počet jader, a jeho spuštění na superpočítači s velmi výkonnými uzly (například se 128 jádry) a dosažení velmi vysokého využití uzlů hned po spuštění.
ČLÁNKY DO MAILU