Hlavní navigace

Proč zhavarovalo datacentrum O2 v Naganu

 Autor: 29
Martin Vyleťal

V úterý byl několik hodin nedostupný portál Centrum.cz a další weby. Na vině byl výpadek datacentra společnosti O2, způsobený desetiminutovým přerušením dodávky elektřiny.

Uživatelé freemailu, provozovaného společností Centrum Holdings se v úterý večer nemohli několik hodin dostat do svých e-mailových schránek. Nedostupný byl i portál Centrum.cz. Příliv nových informací se zastavil také na zpravodajském webu Aktuálně.cz.  Ten se sice čtenářům načetl, ale nezobrazoval aktuální zprávy, nefungoval totiž redakční systém. Aktuálně.cz po dobu výpadku zveřejňovalo články na blogu. Problémy měly ale i další weby a služby. Například redakční systém zpravodajského webu Deník.cz. Situace se stabilizovala až po několika hodinách. 

Důvodem nedostupnosti webů byl výpadek serverů v datacentru Nagano, který se nachází v blízkosti pražského Nákladového nádraží Žižkov. K němu zase došlo v souvislosti se zkratem na rozvodně 220 kV Čechy Střed, který omezil spotřebu na rozvodně v pražských Malešicích. Následný výpadek dodávek proudu postihl v podstatě všechny části metropole na východ od Karlína.

Rozvodna Praha-Malešice. Autor: Eltodo

Dial Telecom a GTS Novera výpadek zvládly

Je ovšem potřeba upřesnit, že několikahodinový výpadek se týkal pouze serverů, které se nachází v té části datacentra Nagano, kterou provozuje společnost Telefónica O2. Skutečnost, že nedostupnost webů a služeb souvisela právě s problémy datacentra Telefóniky O2, potvrzuje i oficiální vyjádření Centrum Holdings.

Výpadek byl způsoben problémy (výpadek elektrického proudu) na straně našeho externího dodavatele – hostingového centra našich serveru Nagano O2.

Ostatní firmy, které v Naganu datacentra také provozují, Dial Telecom a GTS Czech, zvládly výpadek dodávky proudu bez větších problémů.

GTS Czech dokonce k výpadku vydala tiskovou zprávu, protože zřejmě cítila potřebu zákazníkům sdělit, že informace o výpadku v Naganu, zveřejněná v médiích, se jí netýkají. Zdůraznila přitom, že po celou dobu výpadku bylo datacentrum napájeno ze záložních zdrojů.

V úterý 3. května došlo na území Prahy k rozsáhlému výpadku elektřiny. Ten ale nijak neomezil provoz žádného datového centra společnosti GTS Czech. Naše datové centrum Nagano bylo v době výpadku plně napájeno ze záložních zdrojů, a to až do doby, než došlo k opětovnému zprovoznění dodávek elektrické energie z distribuční sítě. Veškeré záložní zdroje byly po celou dobu plně funkční. Všechna datová centra skupiny GTS mají vysoké standardy a jsou na podobné výpadky dodávek elektrické energie z veřejné distribuční soustavy připravena, uvedla GTS Czech v tiskové zprávě.

Výpadek proudu jen 10 minut

Technikům firmy ČEPS, která rozvodnu Čechy Střed provozuje, se podařilo obnovit dodávky elektrického proudu po necelých deseti minutách. Z tiskového prohlášení firmy vyplývá, že ke zkratu v rozvodně došlo v 17:17. V 17:26 bylo napájení rozvodny obnoveno. To, že proud začal být vzápětí opět dodáván, potvrdila serveru iDNES.cz Ilona Vysoudilová, mluvčí Dopravního podniku hl. m.  Prahy. Nám se podařilo tramvaje znovu rozhýbat v půl šesté, uvedla Vysoudilová pro iDNES.cz.

Místo činu. Zde se nachází datacentrum Nagano. Zdroj: Nagano Park

Telefónica O2 na svém webu píše, že hostingové centrum Nagano disponuje dvěma nezávislými okruhy napájení, tedy dvěma nezávislými přívody elektřiny. Z článku zveřejněného na serveru Mobil.cz také vyplývá, že pro případ výpadku dodávek elektrického proudu je centrum vybaveno čtyřmi výkonnými UPS, které fungují na principu akumulátorů a slouží jako zdroj elektřiny k překlenutí krátkodobých výpadků. UPS v Naganu by měly být schopny pokrýt požadavky na příkon elektrické energie po dobu přibližně 20 minut. Pro dlouhodobější výpadky je datacentrum vybaveno záložními dieselagregáty se spotřebou 290 litrů paliva na hodinu provozu.

O2: na vině je asi přepětí

Jak je tedy možné, že servery Centra byly nedostupné několik hodin? A proč výpadek nepostihl všechny provozovatele datacenter v Naganu?

Telefónica O2 tvrdí, že výpadek přímo nesouvisí s přerušením dodávek proudu. Problémy prý nastaly až v okamžiku znovuobnovení dodávek, kdy podle Telefóniky došlo k přepětí v přenosové síti, které mělo za následek kolaps datacentra.

Anketa

Zaznamenali jste nedostupnost některých webů či internetových služeb v souvislosti s úterním výpadkem datacentra O2?

V 17:20 došlo k výpadku na přívodu napájení z obou větví distributora elektrické energie. Podle vyjádření dodavatele šlo o masivní výpadek, který zasáhl větší část Prahy. Provoz ze strany distributora byl podle interních měření hostingového centra obnoven v 17:36. S výpadkem napájení souviselo výrazné přepětí v přenosové síti, které podle prvních analýz ovlivnilo jak síťovou infrastrukturu, tak i automatické systémy řízení non-IT technologií hostingového centra.  Po několika pokusech o oživení systému byly spuštěny alternativní scénáře obnovy provozu.  V jejich průběhu bylo napájení z distribuční sítě obnoveno, prohlásil Martin Žabka tiskový mluvčí společnosti Telefónica O2.

K případům přepětí v síti čas od času opravdu dochází, proto by veškerá citlivá elektrická zařízení měla používat přepěťovou ochranu, která omezuje napěťové a proudové vlny.  Na náš dotaz zdali se ochrana proti přepětí v datacentru používá, nám přišla z Telefóniky O2 tato odpověď: Serverovna je chráněna. Skutečné příčiny výpadku budeme znát až po vyhodnocení šetření a analýz. Jakékoliv závěry jsou nyní předčasné.

Je přitom zajímavé, že informace o začátku výpadku a obnovení dodávek proudu se rozcházejí. Telefónica O2 tvrdí, že k výpadku proudu došlo v 17:20. ČEPS, kterému patří rozvodna, uvádí, že ke zkratu došlo v 17:17 a dá se předpokládat, že rozvodna byla záhy odpojena od sítě. K obnovení napájení rozvodny došlo podle ČEPSu v 17:26, Telefónica O2 ale podle svých měření zaznamenala obnovení dodávek proudu až o deset minut později.

Zajímalo nás také, zdali v úterý opravdu došlo v rozvodné síti k přepětí, které jako příčinu několikahodinového výpadku datacentra uvádí Telefónica O2. Firma ČEPS se ale konkrétní odpovědi vyhnula s tím, že podobné události obecně nemají na napětí v síti vliv.

Přenosová soustava před zkratem provozovala v tolerancích a výpadek nebo odepnutí je běžná událost, která nemá vliv na napětí v distribučních soustavách, uvedla Zuzana Dvořáková, ředitelka komunikace ČEPS.

Ve skutečnosti ale ke krátkodobému přepětí v síti opravdu došlo. Tuto informaci nám potvrdil Petr Holubec, tiskový mluvčí společnosti Pražská energetika (PRE). Upozornil však, že pokud přepětí v síti mělo vliv na provoz datacentra, tak k tomu s největší pravděpodobností mohlo dojít z důvodů nedostatečné ochrany proti přepětí.

Podle našeho zjištění při obnovování provozu po výpadku rozvodny Čechy střed, která patří ČEPS, a. s., skutečně došlo k velice krátkodobému přepětí (v řádu vteřin), které mohlo ovlivnit provoz i Vámi uváděných serverů. To v případě že má Telefónica O2 jen částečnou ochranu proti přepětí a následné výpadky jejich sítí pak museli dávat dohromady několik hodin. Žádné stížnosti ani od Telefóniky ani od jiných odběratelů jsme však nezaznamenali, uvedl Petr Holubec.

Telefónica O2 tak buď opravdu nemá ve svém datacentru dostatečnou ochranu proti přepětí, nebo tato ochrana v úterý nefungovala správně. Je ovšem též možné, že za několikahodinovým výpadkem se skrývá úplně jiná příčina, kterou Telefónica O2 nemá zájem oficiálně zveřejnit.

Úterní výpadek v datacentru Nagano ale nebyl zdaleka první. Před pěti lety vyřadila z provozu část datacentra, kterou provozuje GTS Czech (dříve GTS Novera), vypnutá klimatizace o rok později zase několik výpadků elektřiny.

Našli jste v článku chybu?

6. 5. 2011 7:37

x (neregistrovaný)

Pokud by totiz po vypadku elektriny najely UPS, tak v okamziku toho "prepeti" by vse jelo na UPS a UPSka z principu neco takovyho odfiltruje. Navic kazdej spotrebic zvladne urcite +30% (dlouhodobe, kratkodobe mnohem vic).

Spis to vypada, ze jim UPSky nenajely, nebo jen z casti => servery to misto za proklamovanych 20 minut vysaly za 3 (to by odpovidalo tem 3 minutam po kterych zaznamenaly vypadek proti rozvodne) a pak to jednoduse zdechlo, protoze za 3 minuty se vetsina serveru korektne vypn…

8. 5. 2011 13:44

Nic takového v datacentrech není. Vypnutí serverů je nepřípustný stav. Je to maximálně tak následek havárie.
Datová centra jsou konstruovaná k bezvýpadkovému provozu. Přeruší se napájení ze sítě, drží to UPSky po dobu, než naběhne náhradní zdroj napájení = diesel.

Vypínání serverů funguje možná někde ve firmě s UPSkou pod stolem, kde se nejedná o kritické systémy, kde stačí že se zařízení korektně vypne.


DigiZone.cz: Placené VoD a obsah zdarma

Placené VoD a obsah zdarma

Vitalia.cz: 9 největších mýtů o mase

9 největších mýtů o mase

Podnikatel.cz: Změny v cestovních náhradách 2017

Změny v cestovních náhradách 2017

Podnikatel.cz: Chtějte údaje k dani z nemovitostí do mailu

Chtějte údaje k dani z nemovitostí do mailu

120na80.cz: 5 nejčastějších mýtů o kondomech

5 nejčastějších mýtů o kondomech

DigiZone.cz: Recenze Westworld: zavraždit a...

Recenze Westworld: zavraždit a...

DigiZone.cz: ČT má dalšího zástupce v EBU

ČT má dalšího zástupce v EBU

Měšec.cz: Za palivo zaplatíte mobilem (TEST)

Za palivo zaplatíte mobilem (TEST)

Měšec.cz: Kdy vám stát dá na stěhování 50 000 Kč?

Kdy vám stát dá na stěhování 50 000 Kč?

Vitalia.cz: Když přijdete o oko, přijdete na rok o řidičák

Když přijdete o oko, přijdete na rok o řidičák

DigiZone.cz: NG natáčí v Praze seriál o Einsteinovi

NG natáčí v Praze seriál o Einsteinovi

Podnikatel.cz: Vládu obejde, kvůli EET rovnou do sněmovny

Vládu obejde, kvůli EET rovnou do sněmovny

120na80.cz: Rovnátka, která nejsou vidět

Rovnátka, která nejsou vidět

Podnikatel.cz: K EET. Štamgast už peníze na stole nenechá

K EET. Štamgast už peníze na stole nenechá

Root.cz: Telegram spustil anonymní blog Telegraph

Telegram spustil anonymní blog Telegraph

Vitalia.cz: Mondelez stahuje rizikovou čokoládu Milka

Mondelez stahuje rizikovou čokoládu Milka

Měšec.cz: Air Bank zruší TOP3 garanci a zdražuje kurzy

Air Bank zruší TOP3 garanci a zdražuje kurzy

Vitalia.cz: To nejhorší při horečce u dětí: Febrilní křeče

To nejhorší při horečce u dětí: Febrilní křeče

DigiZone.cz: Česká televize mění schéma ČT :D

Česká televize mění schéma ČT :D

Podnikatel.cz: Chaos u EET pokračuje. Jsou tu další návrhy

Chaos u EET pokračuje. Jsou tu další návrhy