Hlavní navigace

Jak začínáme stavět první stejnosměrně napájené datacentrum v Česku

Autor: Jan Sedlák
Damir Špoljarič

VSHosting chystá stavbu svého druhého datacentra, prvního stejnosměrného v Česku. První článek ze seriálu popisuje byznysové zadání projektu.

Doba čtení: 7 minut

V několika článcích se na Lupě budu věnovat tématu stavby vlastního datového centra na zelené louce. Hodlám se zabývat podrobnějším postupem, technickými souvislostmi, legislativním postupem a zajímavostmi, se kterými se lze při stavbě této technické nemovitosti setkat. My tímto procesem znovu procházíme a jsme na jeho začátku. Tentokrát jsme zvolili na české poměry unikátní koncept.

Když jsme začali ve VSHostingu před šesti lety vymýšlet datacentrum ServerPark DC1, neměli jsme zkušenosti se stavbou ničeho, ani rodinného domku. Zvolili jsme tehdy nejvíce konzervativní technologický postup, abychom se vyvarovali neúspěchu čistě z důvodu, že projekt nezvládneme technicky zkoordinovat.

Nyní nastal čas, kdy potřebujeme druhé datacentrum, a to jak z kapacitních, tak strategických důvodů. U nového projektu DC2 jdeme cestou opačnou než v případě datacentra prvního. Volíme postup, který nám zajistí provoz datacentra bez všech rizikových prvků, jež stojí za drtivou většinou výpadků datacenter v Česku, a také s obrovským snížením nákladů jak na straně investice, tak na straně následného provozu a údržby. V dnešním článku tedy popíšu podrobnější byznysové zadání celého projektu.

Jednoúčelová stavba

Většina nových datových center vzniká jako architektonicky „hezká“ budova. Rozumím tomu, že i technická budova může být krásná na pohled. Datové centrum však není stanice metra v centru města a neschází se v něm větší množství lidí. A pokud ano, jde o technické pracovníky.

Železebetonová konstrukce ServerPark DC1. Druhé datacentrum bude mít podobnou (ilustrační foto)

Nové datové centrum jsme tak pojali technicky racionálně a půjde ze všech aspektů primárně o účel maximální spolehlivosti bez zbytečného vynaložení nákladů na estetickou část. Zohledňujeme i to, že půjde o plně automatizované datacentrum pouze pro interní servery (nikoliv tedy pro umístění serverů zákazníků) s minimálním počtem technických pracovníků na místě.

V praxi si lze nové datové centrum představit z vnějšku jako železobetonovou kostku, případně porostlou zelení, bude-li to nutné z legislativních důvodů pro splnění kvót poměru zastavitelnosti a zeleně. Využít lze prefabrikované díly (pravděpodobně preferovaná varianta z důvodu kvality betonu a ceny), nebo použít litý beton pro větší „monolitičnost“ se vstupem s pancéřovými dveřmi sloužícími současně jako nákladní vstup.

Díky účelu budovy odpadají další nákladné prvky jako většina oken, toalet a podobně. Absence většiny oken navíc přispívá k větší bezpečnosti před atmosférickou elektřinou a budovu lze pojmout jako „Faradayovu klec“. Další nespornou výhodou je jednoduchost celé konstrukce. Budova bude navíc vybavena několikanásobnou izolací střechy a přítomností vody jen v jednom bodě budovy bez ohrožení jakékoliv technologie při havárii.

Pro kompaktnost budovy a bezpečnostní hledisko (ale i cenu) jsme kalkulací došli k výpočtu, že je rovněž vhodnější umístit diesel generátory do budovy (odpadá vyhřívání generátorů v zimě a nutnost pořizovat kapotáž nebo kontejner) a stejně je efektivnější umístit trafostanice do budovy.

První stejnosměrné datacentrum v Česku

Jako první v Česku jsme se rozhodli pro plné stejnosměrné napájení. Nejde však o žádný převratný vynález, mnoho let tento koncept úspěšně provozují Google, Facebook a další. V konečném důsledku jsou servery napájeny stejnosměrně. Historicky byly v minulosti telekomunikační ústředny v datacentrech napájeny napětím 48 V DC. Toto napětí bývá v některých datacentrech k dispozici dodnes.

Schéma jedné z větví
Autor: VSHosting

Schéma jedné z větví

Pokud se podíváme na aspekt spolehlivosti, je většina výpadků datacenter po světě způsobena manipulací v rozvodně (většinou lidský faktor, není ale výjimkou ani technologický faktor selhání automatiky řízení) nebo na UPS.

Střídavé napájení je z tohoto pohledu náročnější na přepínání zdrojů, aby se tyto zdroje nepotkaly „proti sobě“, případně na fázování napájení dieselů. V UPS dochází ke konverzi ze střídavého na stejnosměrné (baterie jsou stejnosměrné) a následně opět ke konverzi na střídavé napětí. Nespornou výhodou je tak spolehlivost, jelikož stejnosměrné napájení umožňuje paralelní řazení napájecích zdrojů včetně záložních baterií bez zbytečných složitostí a rizik. 

V datovém centru DC2 tak bude za trafostanicemi a diesel generátory (ty budou mít klasický střídavý výstup 400 V třífázově) usměrňovač na 326 V DC do společného výstupu jedné napájecí větve do napájecího zdroje pro 250 serverů. Každý server bude napájen ze dvou takových větví. Z tohoto zdroje je již vedeno klasické ATX napájecí napětí (+3,3 V DC, +5 V DC, +5 V SB, –5 V DC, +12 V DC, –12 V DC).

Vyšší stejnosměrné napětí sníží příliš vysoké proudy, které by tekly při „tradičnějších“ 48 V DC, což by znamenalo větší investici do kabeláže a přípojnic (více mědi znamená více peněz). Souvisí s tím značná prostorová úspora vzhledem k menším nárokům na prostory rozvoden. Společnými zdroji se dosáhne rovněž nižší energetické ztráty a snížení investičních nákladů (doufáme, v řádu nižších desítek milionů korun).

Práce na vlastních serverech

Značnou nevýhodou stejnosměrného napájení je zejména absence běžných serverů a dalších zařízení, které by bylo možné tímto způsobem snadno přímo napájet. Neplánujeme používat servery tradičních značek od běžných výrobců. Souvisí s tím jednak zbytečný náklad a také prostorová neefektivita v případě, že potřebujete zajistit maximální penetraci reálného výkonu (nikoliv jen počtu serverů) v rámci prostoru.

Schéma stojanu

V této souvislosti jsme se rozhodli pustit se do přípravy vlastního konceptu serverů za použití běžných technologií (CPU, disky, RAM, základní desky). K novému datovému centru přistupujeme jako ke snaze vyrobit „kapacitu výkonu“ pro naše cloudové služby, tedy pro virtualizaci a kontejnerizaci, a pro managed služby.

Náš tým musí vyrobit vlastní řešení projektu rozvaděče (nepůjde tedy o klasické 19“ ani 21“ racky) pro 250 serverů, respektive osazených základních desek, které budou napájeny ze společných zdrojů. Půjde o velký „blade server“ s osmi tisíci jádry a téměř 13 TB RAM. Do datového sálu se těchto „bladů“ vejde 80 a budou osazovány postupně. Na bližší konstrukci a snad i první fotky „proof of concept“ vzorku se zaměřím v některém z dalších článků.

Chlazení a vyšší teploty

Chlazení se podílí nejvyšší měrou na efektivitě datacentra a je spolu s energetikou jedním ze dvou základních faktorů určující spolehlivost datacentra. Většina datacenter jde cestou chlazení přímým výparem. Známe to všichni – máme to v autech, v lednici, v domácí klimatizaci.

Větší datová centra volí složitější cestu chlazení pomocí směsi vody a ethylenglykolu, která má ale řadu rizik a nepatří mezi nejefektivnější varianty. Chlazení olejem jsme zavrhli jako z našeho pohledu příliš experimentální a logisticky omezující variantu, byť z pohledu efektivity půjde o jedno z nejefektivnějších řešení, o čemž nás přesvědčovali už kolegové ve Spojených státech i ve Vídni, kde jsme si systém chlazení olejem před pár lety prohlíželi.

DC2 se snažíme koncipovat jako efektivní. I díky vlastní konstrukci serverů předpokládáme možnost použití vyšších teplot (idea je 35+ °C). To nám umožní při použití freecoolingu minimalizovat počet hodin v nejteplejších letních dnech, ve kterých bude potřeba „přichlazování“ pomocí přímého výparu. Ideálně se tomu chceme vyhnout.

Na stole jsou varianty přímého a nepřímého vzduchového freecoolingu. Přímým freecoolingem dosáhneme výrazně lepší účinnosti (PUE), ovšem použití přímého freecoolingu v průmyslových oblastech, ve kterých bychom rádi DC2 postavili (výběrem lokality se budu zabývat v dalším článku), komplikuje použití přímého freecoolingu kvalita ovzduší (zanášení filtrů a podobně).

Varianta nepřímého freecoolingu je z tohoto pohledu lepší, ovšem za cenu horší účinnosti. Oproti přímému výparu bude ale stále účinnost takového chlazení výrazně zajímavá (nepřímým freecoolingem a přímým výparem bude v koeficientu efektivity PUE rozdíl cca 0,3). Účinnost nepřímého freecoolingu se vylepšuje adiabatickým předchlazením, ideálně za použití nashromážděné dešťové vody, která nevyžaduje úpravu tvrdosti.

Hašení pro nepravděpodobné situace

Byť považuji požár v datacentru za silně nepravděpodobný (minimum hořlavých materiálů), požár v datacentru České pošty ukazuje, že není nereálný. Naše DC2 bude disponovat hašením FM-200 (pro datový sál). Případně obdobným, dle legislativních možností, FM-200 pro nové instalace a technologické prostory rozvoden, generátorů a trafostanic. Ty budou zabezpečeny „hrubějším“ a efektivnějším hašením CO2.

Má smysl TIER?

Z pohledu byznysu jsme zhodnotili, že TIER certifikace je zbytečná. Stejně jako u DC1 se budeme řídit jeho pravidly pro level TIER IV. To znamená dvakrát N z pohledu všech klíčových prvků a zajištění oddělitelnosti jednotlivých prvků z pohledu vnějších vlivů (požár a podobně).

MIF18 tip v článku ROSA

Jinak aktuálně procházíme verifikací našich myšlenek. A to jak s projektanty jednotlivých profesí, tak s provozovateli koncepčně podobných datacenter mimo Českou republiku. Chceme získat informace o provozních zkušenostech a pracujeme na „proof of concept“ vlastního hardwaru.

Paralelně s tím jednáme o vhodném pozemku, čemuž se budu věnovat v dalším článku. Následně nás čeká příprava projektové dokumentace pro první legislativní stupeň – tedy dokumentace pro vydání územního rozhodnutí.

Našli jste v článku chybu?