Názory k článku
Proč zhavarovalo datacentrum O2 v Naganu

Pokud by totiz po vypadku elektriny najely UPS, tak v okamziku toho "prepeti" by vse jelo na UPS a UPSka z principu neco takovyho odfiltruje. Navic kazdej spotrebic zvladne urcite +30% (dlouhodobe, kratkodobe mnohem vic).

Spis to vypada, ze jim UPSky nenajely, nebo jen z casti => servery to misto za proklamovanych 20 minut vysaly za 3 (to by odpovidalo tem 3 minutam po kterych zaznamenaly vypadek proti rozvodne) a pak to jednoduse zdechlo, protoze za 3 minuty se vetsina serveru korektne vypnout nestihne.

No a v dalsi etape bych to videl tak, ze jelikoz se servery nevyply korektne, tak zustaly ve stavu "zapnuto" => po nabehu napajeni jim to parkrat vyrazilo jistice => nekdo tam musel vyrazit poodpojovat cast serveru aby se to zapinalo postupne.

No a kdyz to zaclo konecne vsechno startovat, tak se vzhledem k nekorektnimu vypnuti zacly spoustet veci jako fschk a spol, coz muze klido bezet i nekolik hodin ...

Ano, tento popis vypadá dost přesně. Už jsem kdysi něco podobného viděl, ale s tím, že to nebyla vina UPS, ale způsob "přepnutí" napájení.

klasicky UPS vetsinou v datacentrech nejsou koncipovany na tak dlouhou dobu, vetsinou slouzi jenom na pokryti spotreby nez najedou diesel agregaty, nevite nekdo, jaky ma nagano Tier?

TTC?

tier různé výše má více dataceter, než si myslíte

mluvím o oficiální certifikaci datacentra Uptime institutem a tu jsem opravdu zatím neviděl... můžeme být konkrétní?

Jak se to dela, v techto velkych centrech, to poslani signalu shutdown z UPS do serveru? To jako kazdy z tech stovek serveru ma pripojeny USB kabl k UPSce? Muzete mi to lepe popsat?

Nic takového v datacentrech není. Vypnutí serverů je nepřípustný stav. Je to maximálně tak následek havárie.
Datová centra jsou konstruovaná k bezvýpadkovému provozu. Přeruší se napájení ze sítě, drží to UPSky po dobu, než naběhne náhradní zdroj napájení = diesel.

Vypínání serverů funguje možná někde ve firmě s UPSkou pod stolem, kde se nejedná o kritické systémy, kde stačí že se zařízení korektně vypne.

Uplne jste zaignoroval toto: "startuje diesel a pokud do 5 minut nenastartuje, poslou UPSky shutdown".

Po siti samozrejme, lepsejsi UPS maji sitovy modul a do serveru se nainstaluje prislusna aplikace, ktera na siti posloucha. Sit pro tuhle komunikaci muze byt oddelena. Funguje to tak, ze UPSka "vi" ktere servery jsou k ni pripojene (to se ji rekne pri konfiguraci) a pak samozrejme vi zda nektery jeste bezi ... pripadne se da nakonfigurovat pro kazdy stroj zvlast nejaky extra cas, po ktery uz neodpovida, ale UPSka ho ma jeste povazovat za bezici. Po te co jsou vsechny stroje off se muze UPSka vypnout sama (aby se nevybijely baterky).

A ted tu o Karkulce. Ne ze by to nebylo technicky mozne, ale videl jste uz nejake datacentrum kde by to tak bylo? Myslim nejake s desitkami racku a zakazniku, ne nejakou soukromou serverovnu.

Pokud mám správné informace, tak O2 HC Nagano je certifikováno na ten druhý nejvyšší. Jediné co nesplňuje je ochrana proti hurikánům. Což u nás není pravděpodobné riziko.

Tak to já teda neznám datacentrum, kde by nebyly online UPSky.

Jedna se vetsinou o bateriova pole. Ja jsem na vlastni bulvy videl takove v telefonni ustredne. Datacentra maji imho taky takova. Jinac existuji i nebateriova reseni. Ohromne setrvacniky(proste kus tociciho se betonu) ktere jsou schopny kratkodobe vykryt ohromne vykony. Pouzivaji se i u aplikaci kde ze site nelze kratkodobe ziskat takovy vykon.

beton proboha ne :) ale jinak je to super věc, pro výkony nad 2MW...

Vec je o malo jednodussi pokud napajite jenom DC 48V ;)

Obnova napájení serverů nastala ještě před nahozením rozvodné sítě. Takže:
- UPS to asi opravdu neustály (vydržely 3 minuty)
- Diesely naběhly pozdě (ono dát jim 3 minuty není moc) ale 5 minut po začátku výpadku už jely (v té době rozvodná síť ještě neběžela).
- Nahození rozvodné sítě už nic nezměnilo, vše už fungovalo

No v kazdy normalne provozovany firme se tohle deje automaticky - start probiha minutu po vypadktu (do minuty se to bere jako kratkodoby vypadek, ktery pokrejou UPS)

Bohajeho, taky je zas každej chytrej jak rádio. :-)
Fascinuje mě, jak ty scénáře možného průběhu si nejvíc vymýšlí ti, kteří o dané problematice asi četli maximálně ve vlaku v knížce.

1. Diesel startuje v řádu sekund od výpadku napájení. A přifázuje se maximálně v řádu desítek vteřin.
2. Diesel startuje automaticky. Ruční start se používá při zátěžových testech.

Ruční nahazování při výpadku je možné snad u nějaké kancelářské budovy, kde je ten diesel 20 let starý motor z tatrovky. :)

Proto představa .. "Hele Franto, už spadly i UPSky, tak já holt jdu nahodit diesel" je z říše pohádek.

Tomu bych se tak moc nesmal. V jedne nejmenovane nemocnici a v jednom nejmenovanem meste je podobne poloutomaticke nahazovani. Nikdo neresi signalizaci z UPS a dieselagregatu na dispecink. Akorat dle normy jsou kriticke medicinske pristroje pres separatni oddelenou trafostanici.

Za minutu predehrivany diesel musi naskocit a pokud jich nabiha vic tak malinko pridat nez se zfazuji. Muze se ale stat( a u jedne nejmenovane znacky se stavalo) ze se vyhrivani zapomnelo prepnout na chlazeni a mily agregat se vypnul kvuli prehrati.

Zpochybňujete revoluci. A přitom mluvíte o stažení komunistů. :-)
Být vámi, tak zpochybňuji spíše to "stažení komunistů".

Jinak délka výpadku nebývá o délce výpadku proudu. Ale o době, než servery naběhnou. A hlavně o době, kdy se postupně zapínají jednotlivá zařízení. Protože když by se nahodila celá větev napájení, všechny zdroje v té samé vteřině naběhnou s plným odběrem. Dojde k odběrové špičce a opět to vyhodí jističe.
Proto se při takovém výpadku musí manuálně shodit různé segmenty, nebo povypínat zdroje na serverech. Nahodit přívod napájení. A pak postupně zapínat jednotlivé spotřebiče (servery).

No a pak ty servery většinou bootují docela dlouho. Kor pokud se někde musí přepočítat data na discích, kde se korektně neuložila data.

Ono se o tom moc nepsalo, ale za posledního půl roku měla i část, kterou provozuje Dial Telecom minimálně tři blackouty!

ano,melo,ale v jeden den a na vině byl jistic pro rozvod pro zakazniky.Interní provoz to nepostihlo

Jednak to bylo ve dvou dnech, druhak za "umřelá" UPSka koncem loňského roku udělala taky pěknou tmu.
Ale stát se to může všude...

no,vzhladom na fakt,ze na druhy den som v naganu [o2] videl pobehovat
pomerne velke mnozstvo technikov z Altronu,tak to vidim na failnute UPS...

Což ale mohlo klidně způsobit i to přepětí. Takže mi tyhle spekulace přijdou zbytečné ..

Rozvodna Cechy Stred neni v Malesicich, ale az v Mochove, tedy o 20 km dal.

http://www.ceps.cz/doc/soubory/Internet_16_10_2008/schema_siti_1_1_2009.pdf
http://cs.wikipedia.org/wiki/Železničn%C3%AD_trať_Čelákovice_-_Mochov

Ve skutečnosti opravdu došlo ke zkratu v Mochově, ale ten vedl k výpadku rozvodny Malešice. V textu jsem to dodatečně upřesnil.

Ono jim to nespadlo najednou.
Do každého racku by měly vést dvě samostatné větve napájení a podle logu:
17:20:07 ztráta redundance napájení (vypadla jedna větev)
17:20:33 poslední zápis do logu před úplným výpadkem
17:22:42 začal nabíhat OS serveru (takže nahození elektřiny odhaduju tak na 17:22:00)

No ta druha cast neni tak uplne pravdiva. Zajimalo by me, jak si na to prisel, protoze na me osobne chtela babizna zavolat komando, kdyz jsem si vymenil pristupovou kartu s kolegou.

Co to placate za nesmysly? Kazdy, kdo jde do objektu, musi predlozit OP, nebo kartu se jmenem a fotkou (ktera se vydava rovnez na OP). Tak to jste byl asi jinde ;)

Myslim ze relaita je dost jina, nez se zakaznikum a potazmo verejnosti udava. Samozrejme vam reknou ze UPS jsou pripravene drzet proud 20 min, v praxi to jsou kvuli pretizeni minuty 3, nekdy 5, na nezatizenych UPS i 10...
Diesel nabiha hned po vypadku, ale pravda trva mu to 3-5 minut. Jeho testy se delaji, ale ne tak pravidelne jak by asi bylo vhodne, ono kdyz to 5x funguje tak si reknet ze to funguje dal a odkladate to ;) dodrozvat prisna pravidla je sice bezva vec, ale porad to tam dole ridi lidi, ne stroje...
jinak teda jsem nepotkal UPS, ktera by nebyla zapojne jak tu nekdo psal, ze se baterie neustale dobiiji a z nich se pak napaji zatez, tzn pri vypadku se jen UPS prestnae dobijet...
navic i ty UPS musi umet odfiltrovat prepeti a proudove spicky a podobne, takze souhlasim s prvnim pripsevkem, takhle to relane vypada ve vetsine datacenter...sun­dejte si ruzove bryle, za to prachy ...;)

No tak my jsme zrovna jeden z tech vetsich zakazniku Nagana O2 (bohuzel dotcenych vypadkem). Sice nevim, proc si mame sundavat ruzove bryle "za ty prachy", protoze zrovna O2 patri k ten drazsim hostingum a male penize se jim vubec neplati. Proto by clovek cekal, ze to proste fungovat bude. Jen me udivuje, ze i po setkani s obchodnikem O2, ktery o vypadku vubec nevedel, tak slibil vyjadreni a zatim nic. Aspon se jako vetsi zakaznik dozvime neco z internetu. Zarazi me ted spis ten pristup....

Tak jako vetsi zakaznik, bych to videl na zmenu poskytovatele sluzeb...

webove sluzby ne, protoze mi nesel ani samotny cmda net od o2 od pul seste, cekal, cekal, zavolal, a pred pulnoci jsem sel lehnout.
no skoda, ze ten net je zavisly na nejake ustredne.

Každý (předpokládám) zákazník, kterého to postihlo dostal dopis s informaci co se stalo. Četl jsem to letmo. UPS naběhly, diesel ne, než se to ručně nahodilo a zesynchronizovali fáze, tak bylo pozdě. Byl tam i seznam na sekundu přesně, co se kdy dělo. Oficielní dopis, hlavička, podpis nějakého ředitele. Možná že to posílali jenom na vyžádání, kolega s někým komunikoval.

=> to by jen potvrzovalo to, ze UPSky jsou poddimenzovany pripadne ze maj baterky v haji (protoze za 3 minuty se nestihnou servery vypnout ani kdyby shutdown prisel hned) => mozna by nebylo od veci po nich pozadovat nejake kompenzace, protoze naprosto jasne nedodrzuji to, co uvadeji jako parametr sluzby (UPS pry maj udrzet 20 minut).

Jo tak ten dopis jsme vcera take dostali. Koukam, ze ho poslali hromadne vsem, vicemene v nem je, ze za nic nemuzou a za nic nenesou odpovednost. No uvidime, jak se postavi k nahrade skody, kterou jsme schopni presne vycislit.

Myslite, ze je nejaka nahrada skody mozna? Samotneho by me to zajimalo. Jak znam SLA smlouvy, tak jsou staveny tak, ze pri nedodrzeni SLA je sleva na cene hostingu. Takze zadne nahrady. Opravdu, na zaklade jakeho clanku smlouvy je chcete zalovat o nahradu skody?

Ciste teoreticky bych to videl tak, ze nedodrzeli proklamovane parametry + by asi slo dokazat, ze o tom museli vedet, pripadne ze neprovadeli radnou udrzbu ... (protoze jiank by museli vedet ze UPS nevydrzi vypadek) ... a tudiz naprosto vedome a umyslne ... coz uz se da resit nejen v rovine smlouvy dvou partneru ale i v rovine trestniho prava.

Neni problem aby treba vadny zdroj serveru vygeneroval odber 600A na par microsekund a popadaly jistice az po rozvodnu 22KVA.
Na to zadne UPS s N+M motorgeneratory neplati.

Ještě jednu, než usnu, Taťko. Prosím!

Hahaha! A tu o cervene karkulce prosim!
Zdroje uz dneska i do levnych kancl keplu od tamanu jsou delany failsafe s elektronickyma pojistkama vedle klasickych uvnitr, ktere jsou schopny bezpecne vykryt kdyz zchrastne zdroji "celovodic" nebo z kondiku je delobuch.
Predpokladejme pasivni monitoring jednotlivych vetvi po segmentech kvuli izolaci a lokalizaci problemu. Minimalne vsak upsna by mela tu vetev bud shodit a servriky budou napajeny par minut z te prvni vetve nez do toho nekdo hrabne a nebo pojede dal akorat posle nakej warning.
Ale za posledni a uplne nejdulezitejsi. Kratkodobe pecky je schopno rozdejchat kdejake jisteni na trafostanici.0,5-1s v pohode.

no, tohle je o TO2 nebo o GTS?
;-).

Mno hujaja neni nijak spatna firma a rozhodne ma co nabidnout. Cinani uz prestali kopirovat a vyviji. Tady bych si poopravil nazor.
Krom toho u psiska pracuje mraky cinanu a hardware asi vyrabeji kde?

Vy patrně nebudete insider-mlžič, že ...

Plošný upgrade provedený modrožlutými (na levné HuHu kolovraty) vedl k poklesu technické kvality sítí. A není to jen o konkrétním hardware, ale i o způsobu jeho nasazení. To spolu s radikálním poklesem vnitřních nákladů operátora by mělo v konkurenčním prostředí vést ke stejně radikálnímu poklesu ceny pro zákazníka. Ten zde prostě není. (Druhou věcí je, že HuHu up(down)grade udělali mezitím i oba konkurenti, že ...).
Možná zde mají číňané co nabídnout, ale zatím to zde prostě nenabízí. To, co se dnes děje mezi žlutou kachničkou na hladině bublinkového rybníka a čínskou HuHu údržbou jejich sítí, je samo o sobě parodie.
Výše uvedené je jen kamínek v mozaice doširoka rozevřených nůžek mezi kvalitou a cenou služeb O-O. V normálním tržním prostředí by tento stav tolik nevadil, to zde však není.

taky sem spolehal v Karline v jedne kancelarske budove na diesel, bohuzel to tak nejak nedopadlo :-(.

vyjadreni spravy budovy je:
Po nastalém výpadku dieselový generátor jako náhradní zdroj elektrické energie Vaše prostory a technologie elektřinou nezásobil. Důvod, proč tomu tak bylo, správa v současné době zjišťuje. Z našeho pohledu se jedná buď o nestandardní výpadek dodávek elektřiny ze strany PRE, kdy dodávka jedné fáze el. proudu pokračovala a systém DA neumožnil souběžné dodání proudu i ze záložního zdroje. V tomto smyslu jsme učinili písemný dotaz na dodavatele PRE a jeho odpověď (bohužel ve velmi obecné podobě) je uvedena v příloze. Tomuto předpokladu odpovídá i skutečnost, že agregát byl v běhu, ale proud do sítě nedodával. Jako druhá příčina je možnost poruchy některého komponentu generátoru, respektive jeho propojení s napájecími transformátory. Pro potvrzení nebo vyvrácení této možnosti jsme požádali dodavatele Siemens o prověření ze strany jejich projektanta a servisního technika. Předpokládáme, že toto vyjádření bude mít správa budovy k dispozici v průběhu příštích dnů. Návazně na to budeme samozřejmě informovat i jednotlivé nájemce objektu.

taky sem spolehal v Karline v jedne velke kancelarske budove na diesel, bohuzel to tak nejak nedopadlo :-(.

vyjadreni spravy budovy je:
Po nastalém výpadku dieselový generátor jako náhradní zdroj elektrické energie Vaše prostory a technologie elektřinou nezásobil. Důvod, proč tomu tak bylo, správa v současné době zjišťuje. Z našeho pohledu se jedná buď o nestandardní výpadek dodávek elektřiny ze strany PRE, kdy dodávka jedné fáze el. proudu pokračovala a systém DA neumožnil souběžné dodání proudu i ze záložního zdroje. V tomto smyslu jsme učinili písemný dotaz na dodavatele PRE a jeho odpověď (bohužel ve velmi obecné podobě) je uvedena v příloze. Tomuto předpokladu odpovídá i skutečnost, že agregát byl v běhu, ale proud do sítě nedodával. Jako druhá příčina je možnost poruchy některého komponentu generátoru, respektive jeho propojení s napájecími transformátory. Pro potvrzení nebo vyvrácení této možnosti jsme požádali dodavatele Siemens o prověření ze strany jejich projektanta a servisního technika. Předpokládáme, že toto vyjádření bude mít správa budovy k dispozici v průběhu příštích dnů. Návazně na to budeme samozřejmě informovat i jednotlivé nájemce objektu.

Myslel jsem ze se uz par let jmenuji GTS Novera a.s., no asi jsem se ja spletl a stejne se plete i obchodni rejstrik :-/ Tak hlavne ze jim nerikate GTS KPNQwest Aliatel Contactel Nextra Czech :-)

Zapomel jste na dattel a inec :-)