Fyzikální ústav Akademie věd České republiky, v. v. i. (FZÚ) je veřejná výzkumná instituce, která vznikla v roce 1954 sloučením dvou laboratoří. FZÚ hraje v současné době důležitou roli v několika globálních výzkumných projektech, jako je například mezinárodní spolupráce v oblasti experimentů na urychlovačích CERN u Ženevy. Na tomto výzkumu se podílí konkrétně sekce fyziky elementárních částic, která spolupracuje celkově na čtyřech velkých experimentech: DZERO v institutu Fermilab, ATLAS a ALICE v CERNu a na experimentu Auger v Argentině. Na vývoji detektoru ATLAS pro urychlovač Large Hadron Collider (LHC) v CERNu se ústav podílí vývojem softwaru a výpočty. Ty probíhají v rámci mezinárodní výpočetní sítě Worldwide LHC Computing Grid (WLCG) a projektu European Grid Initiative (EGI).
V době, kdy začal ústav shromažďovat data z experimentu LHC v CERNu, vyvstala potřeba rozšířit jeho superpočítačovou kapacitu. Ústav se však potýkal s významnými omezeními datového centra, které se týkaly podlahové plochy, elektrické energie a chlazení. Toto datacentrum, postavené v roce 2003, disponovalo elektrickým příkonem okolo 160 kW, chladícím výkonem 100 kW (nyní navýšeným o dalších 180 kW vodního chlazení) a 70 m2 podlahové plochy.
Miloš Lokajíček, vedoucí Oddělení vývoje detektorů a zpracování dat, vysvětluje: Potřebujeme stále větší výpočetní kapacitu – naše výpočetní clustery nepřetržitě běží téměř na 100 procent, přičemž sdílíme kapacitu s dalšími českými i mezinárodními institucemi.
Ve výzkumech fyziky vysokých energií jde především o vzájemnou spolupráci. Experimenty trvají roky a generují obrovské objemy dat, které je třeba zpracovat. To by žádné centrum samo o sobě nezvládlo. Hledali jsme proto řešení, které by nabídlo nejvyšší výpočetní kapacitu na watt při nejmenších fyzických rozměrech,
dodává Miloš Lokajíček.
Nejkompaktnější a nejefektivnější řešení
Z tohoto důvodu vypsal FZÚ, který je financovaný státem, výběrové řízení na nákup nového clusteru, do něhož se svými nabídkami vstoupily společnosti IBM, Sun, HP, SGI a někteří další menší dodavatelé. Pro nový ústavní cluster „Iberis“ pak bylo vybráno řešení IBM System x iDataPlex, které splnilo požadavky ústavu nejlépe z hlediska výkonu i účinnosti.
Ve spolupráci s obchodním partnerem IBM, společností Storyflex, a konzultanty z oddělení IBM Deep Computing implementoval ústav iDataPlex rack obsahující 84 uzlů IBM System x iDataPlex dx340 s operačním systémem Scientific Linux 5. Každý z 84 uzlů je osazen dvěma čtyřjádrovými procesory Intel Xeon E5440 taktovanými na 2,83 GHz, 16 GB paměti RAM a SAS diskem o kapacitě 300 GB. iDataPlex rack byl doplněn IBM Rear Door Heat eXchanger – vodním chlazením racku jako doplnění chladící kapacity stávající vzduchové klimatizace. Datové centrum již totiž dosahovalo svých limitů. Před instalací jednotky IBM Rear Door Heat eXchanger tak mohl ústav využívat pouze třetinu nových uzlů.
Spotřeba energie výpočetních clusterů se podílí významnou částí na účtu za elektřinu – proto bylo skutečně důležité vzít v úvahu energetickou účinnost,
říká Miloš Lokajíček. IBM iDataPlex splnilo požadavky na minimalizaci tepelného vyzařování a potřeby na chlazení serverů. V kombinaci s jednotkou IBM Rear Door Heat eXchanger nám toto řešení umožnilo zdvojnásobit stávající výpočetní kapacitu při dodržení energetické a chladicí kapacity našeho datového centra.
Instalace clusteru iDataPlex byla velmi snadná, protože se jednalo o řešení na klíč,
říká Jiří Horký, administrátor clusteru. Konstrukce řešení iDataPlex s veškerými komponentami pro správu a kabeláž přístupnými zpředu serveru pomáhá udržet velmi nízké náklady na provoz i údržbu.
Zdvojnásobení výkonu, zmenšení energetických nároků
Před nasazením řešení iDataPlex měl ústav 170 výpočetních uzlů s celkem 450 procesorovými jádry. IBM iDataPlex více než zdvojnásobil výpočetní výkon ústavu, když přidal dalších 672 jader v pouhých 84 kompaktních uzlech.
Řešení iDataPlex je nejen nejvýkonnějším výpočetním prostředkem v datovém centru ústavu, ale také nejúčinnějším – je o 10 procent účinnější než druhý nejlepší používaný cluster a 10krát účinnější než nejstarší uzly.
Rozhodně můžeme tuto technologii doporučit – je to nejlepší aktuálně dostupné výpočetní řešení na trhu především z pohledu jeho snadné instalace a správy,
říká Miloš Lokajíček. Před pěti lety jsme si mysleli, že naše datové centrum bude v tento moment již kapacitně i prostorově naplněno a budeme muset postavit nové. Nové servery však mají výrazně vyšší výpočetní hustotu a prostor už není hlavní problém – vše je nyní především o spotřebě elektrické energie a o chlazení. A v této oblasti iDataPlex vyniká.
Ústav od té doby vybral v dalším výběrovém řízení také druhý iDataPlex se 65 výpočetními uzly IBM System x iDataPlex dx360 M2. Každý uzel clusteru je osazen dvěma čtyřjádrovými procesory Intel Xeon E5520 taktovanými na 2,26 GHz, 32 GB RAM a 450 GB SAS diskem. Řešení IBM bylo vybráno, protože nabídlo optimální kombinaci integrace a energetické účinnosti.
Nové uzly zajistí zásadní zlepšení výkonu, neboť nám umožňují spustit dvě vlákna na jednom procesorovém jádře pro zpracování více paralelních výpočtů,
řekl Tomáš Kouba, administrátor clusteru. V praxi to znamená, že můžeme ve stejném časovém rámci zvládnout více úloh.
Fyzikální ústav využívá open source plánovací software pro sdílení výpočetního výkonu mezi místními uživateli a několika mezinárodními projekty. Ten efektivně rozděluje výpočetní úlohy mezi jednotlivé IBM iDataPlex uzly. Pokud místní uživatelé nepotřebují svůj výpočetních výkon, jsou tyto volné kapacity jednoduše převedeny na úlohy globální komunity vědců zabývajících se výzkumem fyziky částic.
Řešení IBM iDataPlex nám umožňuje dodat uživatelům z celého světa rychleji výsledky a pomáhat vědeckým institucím hledat odpovědi na některé z nejdůležitějších otázek o podstatě hmoty věcí,
říká Miloš Lokajíček. V praxi nám pomohlo udržet naše provozní náklady na nízké úrovni a v dohledné době také budeme moci zůstat ve stávajících prostorech datového centra.
Rychlý přehled
Výzva
Fyzikální ústav Akademie věd ČR potřeboval rozšířit své superpočítačové kapacity, ale čelil značným omezením co do podlahové plochy, elektrické energie a chlazení svého datového centra.
Řešení
Ve spolupráci s obchodním partnerem IBM, společností Storyflex, a konzultanty služby IBM Deep Computing implementoval ústav dva racky IBM iDataPlex obsahující 84 uzlů IBM System x iDataPlex dx340 a 65 uzlů IBM System x iDataPlex dx360 M2 se systémem Linux a jednotkami IBM Rear Door Heat eXchanger.
Přínosy
Zdvojnásobení procesorové kapacity datového centra bez překročení přísných limitů pro plochu a spotřebu energie, získání kompaktního, snadno spravovatelného clusterového řešení.
Hardware
- IBM System x® iDataPlex™ dx340
- IBM System x® iDataPlex™ dx360 M2
Obchodní partner
- Storyflex
