Hlavní navigace

Fyzikální ústav AV ČR zvýšil svoji efektivitu při provozování HPC aplikací

Cluster IBM System x iDataPlex pomohl Fyzikálnímu ústavu AV ČR zdvojnásobit výpočetní výkon, a to i přes prostorová a energetická omezení.

Fyzikální ústav Akademie věd České republiky, v. v. i. (FZÚ) je veřejná výzkumná instituce, která vznikla v roce 1954 sloučením dvou laboratoří. FZÚ hraje v současné době důležitou roli v několika globálních výzkumných projektech, jako je například mezinárodní spolupráce v oblasti experimentů na urychlovačích CERN u Ženevy. Na tomto výzkumu se podílí konkrétně sekce fyziky elementárních částic, která spolupracuje celkově na čtyřech velkých experimentech: DZERO v institutu Fermilab, ATLAS a ALICE v CERNu a na experimentu Auger v Argentině. Na vývoji detektoru ATLAS pro urychlovač Large Hadron Collider (LHC) v CERNu se ústav podílí vývojem softwaru a výpočty. Ty probíhají v rámci mezinárodní výpočetní sítě Worldwide LHC Computing Grid (WLCG) a projektu European Grid Initiative (EGI).

V době, kdy začal ústav shromažďovat data z experimentu LHC v CERNu, vyvstala potřeba rozšířit jeho superpočítačovou kapacitu. Ústav se však potýkal s významnými omezeními datového centra, které se týkaly podlahové plochy, elektrické energie a chlazení. Toto datacentrum, postavené v roce 2003, disponovalo elektrickým příkonem okolo 160 kW, chladícím výkonem 100 kW (nyní navýšeným o dalších 180 kW vodního chlazení) a 70 m2 podlahové plochy.

Miloš Lokajíček, vedoucí Oddělení vývoje detektorů a zpracování dat, vysvětluje: Potřebujeme stále větší výpočetní kapacitu – naše výpočetní clustery nepřetržitě běží téměř na 100 procent, přičemž sdílíme kapacitu s dalšími českými i mezinárodními institucemi.

Ve výzkumech fyziky vysokých energií jde především o vzájemnou spolupráci. Experimenty trvají roky a generují obrovské objemy dat, které je třeba zpracovat. To by žádné centrum samo o sobě nezvládlo. Hledali jsme proto řešení, které by nabídlo nejvyšší výpočetní kapacitu na watt při nejmenších fyzických rozměrech, dodává Miloš Lokajíček.

Nejkompaktnější a nejefektivnější řešení

Z tohoto důvodu vypsal FZÚ, který je financovaný státem, výběrové řízení na nákup nového clusteru, do něhož se svými nabídkami vstoupily společnosti IBM, Sun, HP, SGI a někteří další menší dodavatelé. Pro nový ústavní cluster „Iberis“ pak bylo vybráno řešení IBM System x iDataPlex, které splnilo požadavky ústavu nejlépe z hlediska výkonu i účinnosti.

Ve spolupráci s obchodním partnerem IBM, společností Storyflex, a konzultanty z oddělení IBM Deep Computing implementoval ústav iDataPlex rack obsahující 84 uzlů IBM System x iDataPlex dx340 s operačním systémem Scientific Linux 5. Každý z 84 uzlů je osazen dvěma čtyřjádrovými procesory Intel Xeon E5440 taktovanými na 2,83 GHz, 16 GB paměti RAM a SAS diskem o kapacitě 300 GB. iDataPlex rack byl doplněn IBM Rear Door Heat eXchanger – vodním chlazením racku jako doplnění chladící kapacity stávající vzduchové klimatizace. Datové centrum již totiž dosahovalo svých limitů. Před instalací jednotky IBM Rear Door Heat eXchanger tak mohl ústav využívat pouze třetinu nových uzlů.

Spotřeba energie výpočetních clusterů se podílí významnou částí na účtu za elektřinu – proto bylo skutečně důležité vzít v úvahu energetickou účinnost, říká Miloš Lokajíček. IBM iDataPlex splnilo požadavky na minimalizaci tepelného vyzařování a potřeby na chlazení serverů. V kombinaci s jednotkou IBM Rear Door Heat eXchanger nám toto řešení umožnilo zdvojnásobit stávající výpočetní kapacitu při dodržení energetické a chladicí kapacity našeho datového centra.

Instalace clusteru iDataPlex byla velmi snadná, protože se jednalo o řešení na klíč, říká Jiří Horký, administrátor clusteru. Konstrukce řešení iDataPlex s veškerými komponentami pro správu a kabeláž přístupnými zpředu serveru pomáhá udržet velmi nízké náklady na provoz i údržbu.

Zdvojnásobení výkonu, zmenšení energetických nároků

Před nasazením řešení iDataPlex měl ústav 170 výpočetních uzlů s celkem 450 procesorovými jádry. IBM iDataPlex více než zdvojnásobil výpočetní výkon ústavu, když přidal dalších 672 jader v pouhých 84 kompaktních uzlech.

Řešení iDataPlex je nejen nejvýkonnějším výpočetním prostředkem v datovém centru ústavu, ale také nejúčinnějším – je o 10 procent účinnější než druhý nejlepší používaný cluster a 10krát účinnější než nejstarší uzly.

Rozhodně můžeme tuto technologii doporučit – je to nejlepší aktuálně dostupné výpočetní řešení na trhu především z pohledu jeho snadné instalace a správy, říká Miloš Lokajíček. Před pěti lety jsme si mysleli, že naše datové centrum bude v tento moment již kapacitně i prostorově naplněno a budeme muset postavit nové. Nové servery však mají výrazně vyšší výpočetní hustotu a prostor už není hlavní problém – vše je nyní především o spotřebě elektrické energie a o chlazení. A v této oblasti iDataPlex vyniká.

Ústav od té doby vybral v dalším výběrovém řízení také druhý iDataPlex se 65 výpočetními uzly IBM System x iDataPlex dx360 M2. Každý uzel clusteru je osazen dvěma čtyřjádrovými procesory Intel Xeon E5520 taktovanými na 2,26 GHz, 32 GB RAM a 450 GB SAS diskem. Řešení IBM bylo vybráno, protože nabídlo optimální kombinaci integrace a energetické účinnosti.

Nové uzly zajistí zásadní zlepšení výkonu, neboť nám umožňují spustit dvě vlákna na jednom procesorovém jádře pro zpracování více paralelních výpočtů, řekl Tomáš Kouba, administrátor clusteru. V praxi to znamená, že můžeme ve stejném časovém rámci zvládnout více úloh.

Fyzikální ústav využívá open source plánovací software pro sdílení výpočetního výkonu mezi místními uživateli a několika mezinárodními projekty. Ten efektivně rozděluje výpočetní úlohy mezi jednotlivé IBM iDataPlex uzly. Pokud místní uživatelé nepotřebují svůj výpočetních výkon, jsou tyto volné kapacity jednoduše převedeny na úlohy globální komunity vědců zabývajících se výzkumem fyziky částic.

Řešení IBM iDataPlex nám umožňuje dodat uživatelům z celého světa rychleji výsledky a pomáhat vědeckým institucím hledat odpovědi na některé z nejdůležitějších otázek o podstatě hmoty věcí, říká Miloš Lokajíček. V praxi nám pomohlo udržet naše provozní náklady na nízké úrovni a v dohledné době také budeme moci zůstat ve stávajících prostorech datového centra.

Rychlý přehled

Výzva
Fyzikální ústav Akademie věd ČR potřeboval rozšířit své superpočítačové kapacity, ale čelil značným omezením co do podlahové plochy, elektrické energie a chlazení svého datového centra.

Řešení
Ve spolupráci s obchodním partnerem IBM, společností Storyflex, a konzultanty služby IBM Deep Computing implementoval ústav dva racky IBM iDataPlex obsahující 84 uzlů IBM System x iDataPlex dx340 a 65 uzlů IBM System x iDataPlex dx360 M2 se systémem Linux a jednotkami IBM Rear Door Heat eXchanger.

Přínosy
Zdvojnásobení procesorové kapacity datového centra bez překročení přísných limitů pro plochu a spotřebu energie, získání kompaktního, snadno spravovatelného clusterového řešení.

Hardware

  • IBM System x® iDataPlex™ dx340
  • IBM System x® iDataPlex™ dx360 M2

Obchodní partner

  • Storyflex

Více informací zde.

Podnikatel.cz: Změny v cestovních náhradách 2017

Změny v cestovních náhradách 2017

120na80.cz: 5 nejčastějších mýtů o kondomech

5 nejčastějších mýtů o kondomech

DigiZone.cz: Placené VoD a obsah zdarma

Placené VoD a obsah zdarma

Vitalia.cz: 9 největších mýtů o mase

9 největších mýtů o mase

Podnikatel.cz: Chtějte údaje k dani z nemovitostí do mailu

Chtějte údaje k dani z nemovitostí do mailu

120na80.cz: Pánové, pečujte o svoje přirození a prostatu

Pánové, pečujte o svoje přirození a prostatu

Měšec.cz: Za palivo zaplatíte mobilem (TEST)

Za palivo zaplatíte mobilem (TEST)

DigiZone.cz: NG natáčí v Praze seriál o Einsteinovi

NG natáčí v Praze seriál o Einsteinovi

Vitalia.cz: Spor o mortadelu: podle Lidlu falšovaná nebyla

Spor o mortadelu: podle Lidlu falšovaná nebyla

Vitalia.cz: Mondelez stahuje rizikovou čokoládu Milka

Mondelez stahuje rizikovou čokoládu Milka

Root.cz: Nová třída SD karet A1 s vysokým výkonem

Nová třída SD karet A1 s vysokým výkonem

Podnikatel.cz: K EET. Štamgast už peníze na stole nenechá

K EET. Štamgast už peníze na stole nenechá

DigiZone.cz: ČT má dalšího zástupce v EBU

ČT má dalšího zástupce v EBU

Podnikatel.cz: 3, 2, 1..EET startuje. Na co nezapomenout?

3, 2, 1..EET startuje. Na co nezapomenout?

Podnikatel.cz: Udávání kvůli EET začalo

Udávání kvůli EET začalo

Měšec.cz: U levneELEKTRO.cz už reklamaci nevyřídíte

U levneELEKTRO.cz už reklamaci nevyřídíte

120na80.cz: Co všechno ovlivňuje ženskou plodnost?

Co všechno ovlivňuje ženskou plodnost?

Root.cz: 250 Mbit/s po telefonní lince, když máte štěstí

250 Mbit/s po telefonní lince, když máte štěstí

Vitalia.cz: Pravda o přibírání na zimu

Pravda o přibírání na zimu

Root.cz: Mirai má nový cíl 5 milionů routerů

Mirai má nový cíl 5 milionů routerů