Novoroční pohádka o nadnárodním nezvládnutí aneb není IT jako IT

Upozornění : Následující text popisuje reálnou situaci v jednom nadnárodním řetězci. Vychází z detailního popisu toho, jak lze z funkční technické infrastruktury během krátké chvíle vytvořit nefunkční. Nadnárodní řetězec nic z níže uvedeného nepotvrdí, popravdě to asi ani nebude komentovat, je velmi obtížné vůbec získat jakékoliv kontakty. A když už se je podaří získat, na maily vůbec neodpovídají. 

Na počátku stojí první řetězec v České republice, který postupně expandoval s pomocí IT (HW i SW) outsourcovaného od německé firmy. Když řetězec vše na Slovensku, CZ i Maďarsku prodal nové společnosti, došlo cca během půl roku k ukončení spolupráce s německou firmou a k vývoji vlastního systému. Postupem doby se to ukázalo jako konkurenční výhoda, která umožňovala jednak „beznákladové“ akvizice a otevírání nových poboček, ale také rozvoj funkcí, které konkurence (v té době existovaly další dva řetězce) kopírovaly – centrální reporting, platby přes internet, slevové karty atd. Samozřejmě, že to mělo i své nevýhody, ale fungovalo to dobře, což dokládalo i to, že řetězec byl po dobu cca 7 let jedničkou na trhu v zemích, kde operoval.

Systém nebyl postaven na high end technologiích – šlo se zlatou střední (a někdy i low cost) cestou, ale zase v kritických věcech se nešetřilo. Globální MPLS od GTS Novera, na kterou byl absolutní spoleh a mohli si tak dovolit online replikace dat mezi všemi zeměmi, VoIP, platby po internetu atd. Veškeré servery hostované v profi hostingu (Nagano) a spravované vlastními silami – jak webové, tak aplikační a databázové. A to včetně veřejných i vnitřních DNS, záloh atd.

S příchodem nové firmy se to ale všechno změnilo – byť si nechali udělat prezentaci existujícího informačního systému těsně před koupí a naznali, že spousta funkcionalit jejich systému chybí, zadupali během 14 dní celý systém do země a nahradili ho „jejich“ zahraničním. Nová společnost je rodinná zahraniční firma, a jak se ukázalo, dodavatel POS systému je spřátelená rodina.

Nová firma přebírá trh

Nová firma převzala řetězec a „nahradila“ existující a funkční informační systém vlastním systémem. Absolutně je netrápilo, že ze dne na den přestaly fungovat a být přijímány zákaznické karty, rozdané volné vstupenky a předplacené vouchery, které měly unikátní kódy v původním systému, že odstřihli internetové prodeje (a na čas i rezervace), že přestalo plně fungovat call centrum… „Denně chodily stovky doslova e-mailů od zákazníků, ale nová firma je prostě ignorovala – je to jejich firemní politika. Lidi stejně budou chodit, prostě to ignorujme, ono to vychladne,“ komentuje tehdejší situaci jeden z původních zaměstnanců.

Během měsíce vyhodili 60 % zaměstnanců, dalších cca 20 % odešlo samo a zbytek se to rozhodl pod novou smlouvou zkusit. Šlo to ale jenom cca půl roku…

„Když jsem začal servery "přebírat“ (dostal jsem admin login, který byl centrální, nikdy se neměnil, znalo ho cca 15 lidí i mimo firmu a dokonce i ti, co odešli), tak jsem začal upozorňovat na fatální chyby – chybějící záloha, chybějící patche, nejednotnost nastavení atd.," říká jeden ze zůstavších správců. Nutno dodat, že příliš dlouho nezůstal. Upozorňování na podobné věci zpravidla vede k tomu, že daná osoba začne být nepohodlná.

V Rumunsku a Maďarsku byli tím pádem už několikrát hacknuti, ale nikomu to nevadilo. Otevřený aplikační server do internetu s propagovanou veřejnou IP (trvá stále), na kterém je otevřené VNC, popř. RDP s heslem, které slovníkový útok rozlouskne během chvilky, jsou jen malou ukázkou.

Pomalu začalo docházet k úpravě „špatné“ původní technologie na správnou novou. Na servery s Windows 2008 byly instalovány Virtual PC s Windows XP a SQL Express, protože jejich systém není v produkční verzi kompatibilní s Win 2008. DHCP bylo nahrazeno fixními IP, protože DHCP je složitá technologie.

To stejné platí o DNS. Systém nemá absolutně žádnou zálohu. Resp. data se kopírují offline, pokud je aktivní připojení k internetu, na centrální server.

Ztráty dat nikoho netrápí

„Byl jsem svědkem havárie serveru v Brně, kdy její odstranění trvalo cca 13 hodin (dovezen záložní server) a byla kompletně ztracena data za cca předešlý den – nikoho to netrápilo,“ říká jeden ze správců. „V původní firmě jsem za celou kariéru něco takového nezažil – když jsme za těch 6 let měli jeden vyhořelý server, tak jsme provoz obnovili do 2 hodin a přišli jsme o 30 minut dat, protože shořela i páska.“

Nová firma nakupuje nejlevnější last mile do provozoven bez jakékoliv garance a staví si vlastní VPN pomocí OpenVPN. Protože nemají garantované přípojky a jejich centrální server, který ověřuje vouchery, je fyzicky v Polsku, tak se občas stane, že provozovna nemůže vouchery ověřovat.

V předchozí firmě byl systém měli postavený tak, že pokud došlo k výpadku připojení (GTS mělo zálohy, ale co kdyby), tak provozovna musela být schopné PLNĚ fungovat minimálně 24 hod (praxe byla, že data byla replikována a redundována min. na 48 hod).

V nové firmě vymysleli záložní plán – pokud dojde k výpadku připojení, které poskytovatel není schopen opravit v řádu hodin (a nebo třeba „zapomenou“ zaplatit, což se jim taky párkrát stalo), tak se vlakem do dané lokality pošle GSM router, který se v provozovně zapojí a provozovna pak funguje přes GSM (internetové rezervace, kopírování dat, obsluha voucherů, e-maily managerů…).

       

Windows XP jako servery pro nadnárodní firmu

IT vedení sedící v Polsku se rozhodlo mít centrum všeho v Polsku. Pro tyto účely ale nemá housing – v domě, který nová firma vlastní a má tam hlavní kanceláře, na okraji Varšavy, je v bývalé šatně „housing“. Je tam sice pro přístup použit snímač otisků prstů, ale to je tak jediná „hitech“ technologie – vevnitř jsou dřevěné police (možná bývalá šatní skříň) a v nich položené servery/počítače.

Ten nejhlavnější, centrální DB server pro Polsko, CZ a SK (a plánovaný je i zbytek zemí) je HP server se 72GB RAM a 3TB HDD (RAID5). Na něm je Windows 2008 64b, ale protože ten nepodporuje aplikace, které nová společnost používá, tak jsou v něm spuštěny 4 Virtual PC, na kterých, pod Windows XP Pro, běží aplikační vrstva pro jednotlivé země. Samozřejmě žádná záloha. Na otázku, proč firma  nepoužije existující rack v Naganu se servery a zálohami, které měla původní firma, bylo řečeno, že je to zbytečné.