Výpadek TTC ochromil 200 tisíc e-mailových schránek Seznamu

V předvečer svátečních dnů se 4. července chystala nemalá část obyvatelstva na realizaci dovolené. Jako by to obdobně nemalá část českého Internetu vytušila a vybrala si svůj (nedovolený) „oddych“. Problém s dodávkou elektrické energie v telehouse TTC Teleport v pražských Malešicích nadělal potíže hlavně největšímu českému portálu Seznam.cz, který si líže rány na své freemailové službě ještě v těchto dnech. Ale nepředbíhejme.

Co se stalo?

Na počátku celého příběhu stojí údajně plánovaná odstávka elektřiny, která měla umožnit opravu v rozvodně vysokého napětí. Záložní zdroj TTC Teleport se však po 20 minutách přehrál a přestal fungovat. Tím došlo k výpadku serverů Seznamu, kterých je v housingovém sále asi 450. Taková je interpretace Seznamu. Nepříliš významově odlišné, ale přece jen „učesanější“ je pak oficiální vyjádření TTC Teleport, které předkládám v původním znění:

"Vážení uživatelé služeb telehousu TTC Teleport,

bohužel Vás musíme informovat, že dne 4. července 2006 ve večerních hodinách došlo po pětiletém provozu telehousu k prvnímu závažnému porušení kvality jeho služeb.

Příčinou této události byla technická závada na motorgenerátoru, která vznikla po přerušení dodávky elektrické energie z rozvodné sítě. Tento záložní zdroj se po 20 minutách provozu automaticky odstavil pro vysokou teplotu chladicí kapaliny. Bohužel po vyčerpání kapacity záložních baterií zdrojů UPS, tj. cca po deseti minutách, se nepodařilo obnovit dodávku elektrické energie v plném rozsahu. Při obnově napájení došlo totiž následně vlivem okamžité vysoké zátěže UPS k poruše jedné z nich. Úplný výpadek napájení trval od 20:35 do 20:47 hod., tj. cca 12 minut. Chtěli bychom Vás ujistit, že byla okamžitě realizována taková opatření, aby se stejná závada již nemohla opakovat. Zároveň bychom Vás chtěli informovat, že vedení společnosti TTC Telekomunikace, s.r.o. operativně uvolnilo 18 milionů korun na zvýšení bezpečnosti provozu telehousu TTC Teleport tak, aby se svým vybavením stal jedním z nejspolehli­vějších zařízení tohoto druhu v ČR".

Totální výpadek trval 12 minut (od 20:35 do 20:47), napájení ze zdrojů UPS se podařilo obnovit za hodinu a čtvrt, ve 21:50.

Po obnovení napájení ze zdrojů UPS byla zařízení uživatelů připojována postupně tak, aby byla minimalizována případná rizika z přetížení UPS. Zařízení napájená ze stejnosměrného zdroje telehousu neměla žádný výpadek a byla po celou dobu napájena z baterií, říká Jan Winzberger, ředitel TTC Teleport.

Dalo se výpadku předejít? Celý napájecí systém telehousu byl prý v rámci pravidelné kontroly testován den předem bez jakéhokoliv zjevného náznaku možné poruchy. Výpadek se neočekával a nebylo mu možné předejít, prohlásil Jan Winzberger.

Přerušení napájení postihlo klienty, kteří byli připojeni na zdroje střídavého napájení z UPS. Výpadek se významně dotkl hlavně Seznamu, ale také například služby SuperHosting.cz, jejíž provozovatel Zdeněk Cendra patří mezi dvacítku největších webhosterů domén .cz.

Společnost TTC Telekomunikace s.r.o. v omluvném prohlášení už proklamovala přijetí nových opatření, která by měla zamezit případnému opakování závady. Nové investice v uvedeném prohlášení jsou určeny především do posílení kapacit napájecího systému a do systému chlazení zákaznických zařízení, říká Jan Winzberger.

Prázdniny a drama na Seznamu

Výpadek v TTC Teleport zastihl Seznam v nepříliš vhodné době. Řada zaměstnanců (včetně šéfa Iva Lukačoviče a tiskové mluvčí Rity Gabrielové) si už užívala dovolené a nebyla do pondělí v práci. Narychlo se prý podařilo sehnat asi deset techniků, kteří začali rozkrývat rozsáhlost škod.

Na přelomu úterý a středy se podařilo zprovoznit homepage Seznamu a další služby. Ve středu o třetí hodině ranní dostal Seznam dostatečný příkon k zapnutí e-mailové služby. Nikdy jsem neviděl tolik poškozených filesystémů a databází, všechno jsme opravovali ze záloh a replik do středy do večera, vyjádřil se technický ředitel Seznamu Pavel Zíma.

Nejdříve se zdálo, že schránky půjde opravit postupně, ale protože tento způsob – mimochodem předem testovaný v simulovaném provozu – nebyl v reálné situaci dostatečně rychlý, rozhodl se technický ředitel Seznamu pro jiné řešení, vypráví Rita Gabrielová s tím, že došlo k úpravě restore aplikace.

To prakticky umožnilo otevřít všem poškozeným uživatelům jejich schránku alespoň pro běžnou práci. Starší data do ní budou postupně „nalévána“, popisuje Rita Gabrielová pro uživatele nešťastný stav, kdy v poškozené schránce naleznete při všem štěstí poslední e-mailové zprávy a naději, že se zbylého archivu dočkáte ve dnech příštích (viz screenshot).

Přístup do své indisponované schránky získali poslední nešťastníci (poškozených schránek bylo asi 200 tisíc, což jsou asi čtyři procenta z celkového počtu) v neděli v 17:00. Sečteno a podtrženo: někteří uživatelé freemailu Seznamu tedy byli bez své schránky takřka pět dnů.

Ztráta e-mailů prý nehrozí, ale co dál?

Postižené uživatele jistě nejvíc zajímá, kdy začne schránka na Seznamu opět fungovat, jak má. Ivo Lukačovič na svém blogu včera odpoledne stanovil pátek 14. července jako termín pro definitivní ukončení procesu obnov.

Toto datum je prý ale spíše odhadem než plánem. Obnovu schránek nemůžeme naplánovat, probíhá automaticky pomocí robota, který na každém e-mailovém účtu stráví od deseti vteřin do 30 minut podle velikosti schránky, říká Rita Gabrielová. Schránka je snad kromě zmizelého archivu zpráv použitelná a neměly by prý nastat žádné další komplikace.

Jisté by mělo být (alespoň podle vyjádření představitelů Seznamu), že existence e-mailových zpráv v ohrožení není. Zachránit se ale nepodaří kontakty v adresářích a nastavené filtry. Adresáře nezálohujeme, protože už tak je provoz na e-mailu s jeho 5,5 milionem aktivních schránek ohromně provozně náročný, tvrdí Rita Gabrielová. Do budoucna prý Seznam plánuje geograficky oddělený druhý hosting. Našli jsme druhého provozovatele a zbývá už jen podepsat s ním smlouvu, říká bez bližších podrobností Rita Gabrielová.

Nedostatečná komunikace ala Email.cz?

Jistě si pamatujete na ještě samostatný freemailový server Email.cz, který loňské léto koupil právě Seznam. Při vleklých technických problémech Emailu.cz (ten z loňského ledna byl i posledním velkým „průšvihem“ na celém českém freemailovém trhu) patřila ke koloritu nedostatečná informovanost ze strany poskytovatele (byť freemailové) služby a nářky uživatelů.

Přístup Seznamu dal na bývalé prohřešky svého nového dítěte opět vzpomenout. Také vinou svátků a dramatické situace došlo k tomu, že telefonická podpora nebyla k dispozici a e-maily na helpdesk se vracely. Vlastně první informací byla až čtvrteční zpráva ČTK (uveřejněná většinou na specializovaných serverech), v níž kromě mylného odhadu nápravy stálo poněkud legrační doporučení, aby uživatelé nehledali jinde a nesnažili se schránku sami spravit.

Rita Gabrielová přístup Seznamu brání: První tiskové zprávy o potížích jsme mohli vydat až ve středu v poledne. Také jsme nevěděli zcela přesně, v jakém stavu e-mailová služba je, postupně jsme zjišťovali rozsah havárie a stanovovali způsoby řešení. To nelze okamžitě psát uživatelům a ani novinářům. Ale postupně jsme informovali jak ČTK, tak na žádost jednotlivé novináře a vysvětlovali stav jim, stejně jako uživatelům, kteří se do Seznamu nebo např. k tiskové mluvčí Seznamu dovolali. Některým z nich se schránky opravovaly dokonce na počkání. Nemohli jsme však zajistit to, aby každému, kdo se na helpdesk snažil dovolat, bylo odpovězeno. Uživatelům jsme se za to několikrát omluvili. Dále jsme o víkendu umístili viditelnou informaci o přetrvávajícím výpadku na službě a prosbu o pochopení situace.

Ztratí Seznam kredit a důvěru?

Více než ztráta příjmů hrozí při podobných výpadcích trvalé pozbytí kreditu a důvěry uživatelů a klientů. Je to i tento případ? Nemyslím si. Několikahodinový výpadek portálu v předvečer svátečního prázdninového dne, navíc nezapříčiněný vlastní chybou, může být paradoxně štěstím v neštěstí. Homepage a další služby se rozběhly relativně včas a nefunkčnost části počtu schránek (mnohé z nich už své majitele jistě ani neznají) nějaký větší exodus uživatelů ke konkurenci nevyvolá.

Přesto by měly být letošní svátky Jana Husa, Cyrila a Metoděje pro Seznam mementem. V době, kdy se pouští do PPC, video on demand, platebního systému a třeba i další nové služby, může být přece jen každá chybka zatraceně drahá.