Proč zhavarovalo datacentrum O2 v Naganu

Uživatelé freemailu, provozovaného společností Centrum Holdings se v úterý večer nemohli několik hodin dostat do svých e-mailových schránek. Nedostupný byl i portál Centrum.cz. Příliv nových informací se zastavil také na zpravodajském webu Aktuálně.cz.  Ten se sice čtenářům načetl, ale nezobrazoval aktuální zprávy, nefungoval totiž redakční systém. Aktuálně.cz po dobu výpadku zveřejňovalo články na blogu. Problémy měly ale i další weby a služby. Například redakční systém zpravodajského webu Deník.cz. Situace se stabilizovala až po několika hodinách. 

Důvodem nedostupnosti webů byl výpadek serverů v datacentru Nagano, který se nachází v blízkosti pražského Nákladového nádraží Žižkov. K němu zase došlo v souvislosti se zkratem na rozvodně 220 kV Čechy Střed, který omezil spotřebu na rozvodně v pražských Malešicích. Následný výpadek dodávek proudu postihl v podstatě všechny části metropole na východ od Karlína.

Rozvodna Praha-Malešice. Autor: Eltodo

Dial Telecom a GTS Novera výpadek zvládly

Je ovšem potřeba upřesnit, že několikahodinový výpadek se týkal pouze serverů, které se nachází v té části datacentra Nagano, kterou provozuje společnost Telefónica O2. Skutečnost, že nedostupnost webů a služeb souvisela právě s problémy datacentra Telefóniky O2, potvrzuje i oficiální vyjádření Centrum Holdings.

Výpadek byl způsoben problémy (výpadek elektrického proudu) na straně našeho externího dodavatele – hostingového centra našich serveru Nagano O2.

Ostatní firmy, které v Naganu datacentra také provozují, Dial Telecom a GTS Czech, zvládly výpadek dodávky proudu bez větších problémů.

GTS Czech dokonce k výpadku vydala tiskovou zprávu, protože zřejmě cítila potřebu zákazníkům sdělit, že informace o výpadku v Naganu, zveřejněná v médiích, se jí netýkají. Zdůraznila přitom, že po celou dobu výpadku bylo datacentrum napájeno ze záložních zdrojů.

V úterý 3. května došlo na území Prahy k rozsáhlému výpadku elektřiny. Ten ale nijak neomezil provoz žádného datového centra společnosti GTS Czech. Naše datové centrum Nagano bylo v době výpadku plně napájeno ze záložních zdrojů, a to až do doby, než došlo k opětovnému zprovoznění dodávek elektrické energie z distribuční sítě. Veškeré záložní zdroje byly po celou dobu plně funkční. Všechna datová centra skupiny GTS mají vysoké standardy a jsou na podobné výpadky dodávek elektrické energie z veřejné distribuční soustavy připravena, uvedla GTS Czech v tiskové zprávě.

Výpadek proudu jen 10 minut

Technikům firmy ČEPS, která rozvodnu Čechy Střed provozuje, se podařilo obnovit dodávky elektrického proudu po necelých deseti minutách. Z tiskového prohlášení firmy vyplývá, že ke zkratu v rozvodně došlo v 17:17. V 17:26 bylo napájení rozvodny obnoveno. To, že proud začal být vzápětí opět dodáván, potvrdila serveru iDNES.cz Ilona Vysoudilová, mluvčí Dopravního podniku hl. m.  Prahy. Nám se podařilo tramvaje znovu rozhýbat v půl šesté, uvedla Vysoudilová pro iDNES.cz.

Místo činu. Zde se nachází datacentrum Nagano. Zdroj: Nagano Park

Telefónica O2 na svém webu píše, že hostingové centrum Nagano disponuje dvěma nezávislými okruhy napájení, tedy dvěma nezávislými přívody elektřiny. Z článku zveřejněného na serveru Mobil.cz také vyplývá, že pro případ výpadku dodávek elektrického proudu je centrum vybaveno čtyřmi výkonnými UPS, které fungují na principu akumulátorů a slouží jako zdroj elektřiny k překlenutí krátkodobých výpadků. UPS v Naganu by měly být schopny pokrýt požadavky na příkon elektrické energie po dobu přibližně 20 minut. Pro dlouhodobější výpadky je datacentrum vybaveno záložními dieselagregáty se spotřebou 290 litrů paliva na hodinu provozu.

O2: na vině je asi přepětí

Jak je tedy možné, že servery Centra byly nedostupné několik hodin? A proč výpadek nepostihl všechny provozovatele datacenter v Naganu?

Telefónica O2 tvrdí, že výpadek přímo nesouvisí s přerušením dodávek proudu. Problémy prý nastaly až v okamžiku znovuobnovení dodávek, kdy podle Telefóniky došlo k přepětí v přenosové síti, které mělo za následek kolaps datacentra.

V 17:20 došlo k výpadku na přívodu napájení z obou větví distributora elektrické energie. Podle vyjádření dodavatele šlo o masivní výpadek, který zasáhl větší část Prahy. Provoz ze strany distributora byl podle interních měření hostingového centra obnoven v 17:36. S výpadkem napájení souviselo výrazné přepětí v přenosové síti, které podle prvních analýz ovlivnilo jak síťovou infrastrukturu, tak i automatické systémy řízení non-IT technologií hostingového centra.  Po několika pokusech o oživení systému byly spuštěny alternativní scénáře obnovy provozu.  V jejich průběhu bylo napájení z distribuční sítě obnoveno, prohlásil Martin Žabka tiskový mluvčí společnosti Telefónica O2.

K případům přepětí v síti čas od času opravdu dochází, proto by veškerá citlivá elektrická zařízení měla používat přepěťovou ochranu, která omezuje napěťové a proudové vlny.  Na náš dotaz zdali se ochrana proti přepětí v datacentru používá, nám přišla z Telefóniky O2 tato odpověď: Serverovna je chráněna. Skutečné příčiny výpadku budeme znát až po vyhodnocení šetření a analýz. Jakékoliv závěry jsou nyní předčasné.

Je přitom zajímavé, že informace o začátku výpadku a obnovení dodávek proudu se rozcházejí. Telefónica O2 tvrdí, že k výpadku proudu došlo v 17:20. ČEPS, kterému patří rozvodna, uvádí, že ke zkratu došlo v 17:17 a dá se předpokládat, že rozvodna byla záhy odpojena od sítě. K obnovení napájení rozvodny došlo podle ČEPSu v 17:26, Telefónica O2 ale podle svých měření zaznamenala obnovení dodávek proudu až o deset minut později.

Zajímalo nás také, zdali v úterý opravdu došlo v rozvodné síti k přepětí, které jako příčinu několikahodinového výpadku datacentra uvádí Telefónica O2. Firma ČEPS se ale konkrétní odpovědi vyhnula s tím, že podobné události obecně nemají na napětí v síti vliv.

Přenosová soustava před zkratem provozovala v tolerancích a výpadek nebo odepnutí je běžná událost, která nemá vliv na napětí v distribučních soustavách, uvedla Zuzana Dvořáková, ředitelka komunikace ČEPS.

Ve skutečnosti ale ke krátkodobému přepětí v síti opravdu došlo. Tuto informaci nám potvrdil Petr Holubec, tiskový mluvčí společnosti Pražská energetika (PRE). Upozornil však, že pokud přepětí v síti mělo vliv na provoz datacentra, tak k tomu s největší pravděpodobností mohlo dojít z důvodů nedostatečné ochrany proti přepětí.

Podle našeho zjištění při obnovování provozu po výpadku rozvodny Čechy střed, která patří ČEPS, a. s., skutečně došlo k velice krátkodobému přepětí (v řádu vteřin), které mohlo ovlivnit provoz i Vámi uváděných serverů. To v případě že má Telefónica O2 jen částečnou ochranu proti přepětí a následné výpadky jejich sítí pak museli dávat dohromady několik hodin. Žádné stížnosti ani od Telefóniky ani od jiných odběratelů jsme však nezaznamenali, uvedl Petr Holubec.

Telefónica O2 tak buď opravdu nemá ve svém datacentru dostatečnou ochranu proti přepětí, nebo tato ochrana v úterý nefungovala správně. Je ovšem též možné, že za několikahodinovým výpadkem se skrývá úplně jiná příčina, kterou Telefónica O2 nemá zájem oficiálně zveřejnit.

Úterní výpadek v datacentru Nagano ale nebyl zdaleka první. Před pěti lety vyřadila z provozu část datacentra, kterou provozuje GTS Czech (dříve GTS Novera), vypnutá klimatizace o rok později zase několik výpadků elektřiny.