Hlavní navigace

Jak vypadá první privátní datový sál CZ.NIC v DC TOWER Českých Radiokomunikací

Karel Wolf

CZ.NIC dokončil výstavbu svého prvního vlastního privátního datového sálu. O tom, jak vypadá a co k tomu sdružení vedlo, jsme mluvili se Zdeňkem Brůnou a Václavem Steinerem.

Doba čtení: 5 minut

Sdílet

Sdružení CZ.NIC čerstvě dokončilo výstavbu svého prvního vlastního privátního datového sálu, který se nalézá nedaleko jeho žižkovského sídla v datovém centru DC TOWER Českých Radiokomunikací. O tom, co vedlo k jeho výstavbě a co definovalo jeho současnou podobu, si povídáme se CTO CZ.NIC Zdeňkem Brůnou a vedoucím systémových administrátorů Václavem Steinerem.

Co vás vedlo k tomu postavit si poprvé v historii CZ.NIC vlastní datový sál?

ZB: Ta idea se rodila již delší dobu. Ve starém sdíleném sále ve stejné lokalitě jsme již nějaký čas naráželi na kapacitní limity, a to jak prostorově, tak co se týče napájení. Dalším důvodem ale byla i bezpečnost. Již delší dobu jsme diskutovali o tom, jak lépe zabezpečit přístup k našim technologiím. Velký problém sdíleného sálu spočíval v tom, že jej mohou navštěvovat subjekty, o nichž máme prakticky nulový přehled. Na stole se ocitl i návrh postavit si vlastní datové centrum, ten jsme ale nakonec z ekonomických důvodů zavrhli a šli cestou rozumného kompromisu v podobě vlastního datového sálu.

Když se řekne privátní datový sál, co si pod tím přesně představit? Jde o zděnou místnost někde uprostřed sdílených prostor kolokačního DC?

ZB: Přesně tak, jedná se o prostory v rámci datového centra, které jsou plnohodnotně (tedy ne například pouze klecí) fyzicky odizolované od okolních prostor zdí a bezpečnostními dveřmi s požární a bezpečnostní odolností třídy BT3. Oproti původnímu sálu disponuje také zhruba o 50 % vyšší prostorovou kapacitou a 1,5× vyšší napájecí a chladicí kapacitou (kapacita sálu je 50 kW).

V privátním sále využíváme principu uzavřené studené uličky, do které vháníme studený vzduch pomocí nadrackových ventilátorů s externími klimatizačními jednotkami (v redundanci 1+1). Vlastní oddělený prostor nám umožňuje také regulovat teplotu ve studené uličce, snižovat tak PUE (zatím se pohybujeme mezi 1,2 až 1,3, ale chceme jít níže) a spolu s ním i provozní náklady. Ve sdíleném DC jste limitováni možnostmi dalších osazených IT technologií.

FOTOREPORTÁŽ: Jak privátní datový sál CZ.NIC vypadá?

Jak je sál přesně veliký a kolik ICT technologií pojme?

VS: Přesná rozloha nového datového sálu vychází na 28 m2. Počet rackových skříní je 9, což by někomu nemuselo připadat až jako tak moc veliké číslo, ale tady bych rád zdůraznil, že se jedná o nadstandardně vysoké skříně. Běžně se v datových sálech používají 42U racky, kdežto u nás naleznete samé 52U racky, což celkovou kapacitu docela výrazně zvyšuje. 

ZB: Všechny racky ale nejsou stejné, používáme dvě šířky – 60 cm a 80 cm, přičemž převažují 80, kterých je celkem šest. Teoreticky by bylo možné osadit celý sál šedesátkami, ale z praxe máme ověřeno, že se pak mnohem nepohodlněji provádí údržba a vyvazování kabelů, proto převažují osmdesátky. Samotný poměr mezi množstvím jednotlivých šířek racků byl daný optimálním využitím prostoru. 

Jakým způsobem je řešeno zabezpečení vstupu?

ZB: Zabezpečení je několikafaktorové. Zažíná vlastně již vstupem do budovy DC, které je na kartu a biometrický prvek (obličej), přístup do samotného sálu je opět zabezpečený kartou a dalším biometrickým prvkem, což je v našem případě otisk prstu. 

Vstup do sálu má vedle lidí z CZ.NIC ještě několik definovaných pracovníků Českých Radiokomunikací, kteří se starají o správný chod non-ICT technologií. Tento úkrok byl nezbytný, aby mohli být i nadále schopni garantovat SLA například u klimatizace, napájení nebo kamerového systému. 

Tady by teoreticky bylo možné některé prvky (typicky napájení) ještě více oddělit a řešit si je po vlastní ose, ale náklady (trafostanice, záložní agregát, obsluha) by stouply neúměrně získané větší bezpečnosti, takže jsme se rozhodli touto cestou nejít.

Podle jakého klíče jste vybírali osazené ICT technologie, jak probíhal přesun a co v datacentru přesně můžeme nalézt?

Osazené sítové prvky

  • ASBR router Juniper MX240
  • páteřní switche Juniper QFX5200
  • access switche: Juniper řady EX (3400, 4300, 4600), Cisco Nexus řady 9000 – 93180YC-FX

VS: Rozhodně nešlo o to, že bychom celý sál vybavili znovu. Spíše jsme využili toho, že nám u některých prvků zrovna končila doba garantované podpory, nebo se k tomuto termínu blížili, a tak došlo k jejich celkem přirozené obměně. Celé to probíhalo ve dvou etapách, kdy jsme si rozmysleli, které prvky vyměnit a co můžeme přesunout hned, protože to nebude ohrožovat náš běžný provoz (například testovací infrastrukturu).

Svoji roli sehrála i logistika, protože některé prvky se již před tím nacházely v DC Tower, ale část z nich byla rozeseta po úplně jiných datacentrech, která CZ.NIC využívá. U kritické infrastruktury pak přesun probíhal v pozdních nočních a brzkých ranních hodinách, aby z pohledu uživatelů znamenal případný výpadek jen minimální škody.

Co se zařízení týče, máme filosofii, že nechceme být závislí na jediném dodavateli, takže zde podobně jako jinde využíváme heterogenní infrastrukturu od různých dodavatelů (HP, Intel a Dell, pokud jde o servery, a Cisco a Juniper, pokud se bavíme o síťové části). Pokud se budeme bavit obecně, tak jen část našich serverů také využívá Intel procesory, jinde máme například lokalitu, která běží čistě na AMD.    

Nepřináší vám to komplikace z pohledu bezpečnosti (limitovaná interoperabilita a s tím související útoky, náročnější obsluha)?

Instalované servery

  •  Dell R4×x (430, 440)
     Dell R5×x (530, 540)
     Dell R630
     HPE Proliant DL360
     Intel S2600, R1208, R1304, R2312

VS: Ano a nejen z pohledu bezpečnosti. Naši specialisté musí mít převážně v síťové infrastruktuře širší znalosti konfigurace a správy zařízení různých dodavatelů, mnohdy se to liší i na úrovni běžícího systému stejného dodavatele. Současně spravují i linuxové routery, což společně se správou Cisco a Juniper zařízení nebývá standardní znalostní rozsah většiny síťových specialistů na pracovním trhu. Pokud jde o bezpečnost, někdy to navíc zároveň může být i výhoda, protože některé typy útoků se zase naopak zaměřují na slabiny ve firmwaru konkrétního výrobce a podobně.

Kolik datových center vlastně dnes CZ.NIC využívá?

ZB: Dnes CZ.NIC využívá základní tři datová centra, kde běží zejména systémy doménového registru a další základní služby. Všechny se nalézají v České republice. Pak ale využíváme ještě množství menších prostor našich partnerů pro provoz DNS serverů, ty dnes běží celkem v 17 lokalitách po světě.

tip Docker

Jaké služby běží v privátním sále? 

VS: Běží zde registr a DNS anycast, to jsou služby, které běží ve všech našich datových centrech, kromě toho zde ale můžete nalézt také největší koncentraci našich testovacích prostředí, servery našich laboratoří, servery pro Turris tým a servery, které hostujeme našim partnerům.