Za věci, které se nepovedly, jsme dostali oprávněnou kritiku. U některých jsme to ale i vzhledem ke krátkým termínům neměli jak vymyslet lépe, říká o vývoji systémů tzv. chytré karantény státní zmocněnec pro digitalizaci a ředitel státního IT podniku NAKIT Vladimír Dzurilla.
V rozhovoru pro Lupu popisuje, proč došlo k nejznámějším fuckupům, jak by státní systémy měly přejít do cloudu nebo proč si myslí, že se v příštím hodnocení Evropské komise digitalizace českého státu umístí výrazně lépe než dosud.
Část rozhovoru jsme přepsali do textu, celý si jej můžete poslechnout jako podcast:
V knize Pandemie: anatomie krize novináři Michal Kubal a Vojtěch Gibiš popisují, jak stát na jaře 2020 naskočil do digitalizace a soukromé firmy, dobrovolníci i státní úřady se snažily zdigitalizovat zdravotnictví, které do té doby moc digitální nebylo. Ale po první vlně epidemie v tom ministerstvo zdravotnictví nepokračovalo a nic moc neudělalo, dokud na podzim nepřišla druhá vlna a do projektu se nevrátila armáda a znovu se na něm začalo pracovat. Funguje to tak i dnes?
Na začátku jsme všechno budovali. Měli jsme kontinuálně spoustu práce až do doby, kdy se začalo očkovat, tedy do letošního roku. Měli jsme spoustu práce se systémy na testování, s registracemi, rezervacemi a pak s očkováním. Trvalo dlouhé měsíce, než se všichni naučili, jak vznikají a zanikají očkovací místa, jak zavážet vakcíny a podobně.
Z hlediska IT se jede kontinuálně od samého začátku. Vždycky jsme něco dodělávali a přišla nová fáze covidu a dělali jsme na nových věcech. Věřím, že to někdy může působit, jako bychom nad tím předem nepřemýšleli, ale většinou jsme dodělávali předchozí fázi, kterou jsme potřebovali dokončit, a už přicházely nové požadavky – třeba že už za dva týdny se rozjíždí očkování. Tam víme, že se stal ten problém se zasíláním SMS, za který jsme sklidili oprávněnou kritiku, že systém nebyl na 100 procent připravený. To se rozhodně nemělo stát, ale začali jsme na něm dělat 22. nebo 23. prosince a spustili jsme ho 15. ledna.
U listopadového výpadku aplikací Tečka a čTečka, systému ISIN a další infrastruktury byl, pokud si pamatuju, podobný problém. Pokyn, že se mají pravidla měnit, jste dostali s krátkým předstihem a od pondělka to mělo fungovat. Děje se tohle často? A je to hlavní příčina těch špatných startů?
Neřekl bych, že je to problém u všech služeb státu. Ale když zůstaneme u chytré karantény, je to velmi často právě tak. Přijímají se opatření – a teď nehodnotím, jaká a jak se přijímají – a řekne se, že tohle musí platit. Ale ne každý požadavek, který zní jednoduše, se dá v IT jednoduše udělat.
V chytré karanténě všechno souvisí se vším. Třeba u zkrácení termínu pro podávání třetích dávek nás hodně lidí kritizovalo s tím, že neumíme číslo šest změnit na pět. No, umíme. Ale musíme řešit také všechny důsledky.
V nejlepším týdnu očkování dostali lidé asi 700 tisíc dávek. A nám někdy ten 700tisícový týden spadne na třetí dávku, ale zároveň přibývají i první a druhé dávky. A my potřebujeme připravit kapacity, potřebujeme říct očkovacím místům, jak mají fungovat, musíme říct, kdo má prioritu. Má ji ten, komu je 60 let a jde po pátém měsíci na třetí dávku, nebo ji má někdo jiný? Je tam řada dopadů do systému. IT jde už poměrně jednoduše, ale my potřebujeme odpovědi na všechny tyto dotazy. Klidně to můžeme víc rozebrat…
Určitě, to mě zajímá.
Začnu systémem pro registrace na očkování. V prosinci 2020 jsme dodělávali rezervace na antigenní testy. Řeklo se: běžte se ještě před Vánoci všichni otestovat a lidé nám dali neskutečnou ránu, jak měli o testování zájem. Očkování jsme tehdy vůbec neřešili, protože jsme nevěděli, jak to bude probíhat nebo kdy přijdou dávky. V týdnu kolem 20. prosince jsme se dozvěděli, že vakcíny přijdou a nebudou jen pro nemocnice, ale otevřou se pro věkovou skupinu 80+. Takže jsme museli okamžitě začít.
Teď mluvíme o nepovedeném spuštění rezervačního systému na očkování 15. ledna 2021.
Ano. Strategie očkování byl tehdy dokument, který vůbec neřešil operativu. Popisoval principiální fungování – něco se stane, něco nějak bude, někdo něco zaveze a podobně. Ale my jsme potřebovali vědět, kdo konkrétně bude ten řidič a kam to zaveze – kdo reálně co udělá, aby všechno klaplo. Potřebovali jsme pro očkovací místa připravit tzv. „závory“. To znamená, že když se někdo registroval, padl tzv. „před závoru“. Na začátku nebylo vakcín dost a prioritizaci si dělala sama očkovací místa, každé si mohlo řídit svoji frontu, jak chtělo. Funguje to tak dodnes.
Měli jsme na to šíleně málo času. Náš tým odpracoval operační řízení, domyslelo se to, připravilo, schválilo a nasadili jsme to. Ale stalo se nám to, že jsme při spuštění měli nastavený průtok SMS u každého operátora na dvacet za vteřinu. Do systému se nám ale přihlásilo 40 tisíc lidí a SMS odcházely tempem jen 60 za vteřinu. A když lidem nepřišel PIN, zkusili to znovu. Mezitím jim přišel PIN, který už ale byl neplatný, a oni to zkusili zase.
Zareagovali jsme špatně. S operátory to bylo vyřešení za deset minut. Ale měli jsme vymazat celou frontu, každý by si zadal požadavek znovu, přišel by mu PIN a hotovo. My ale nechali požadavky cyklit. Prostě se nám to nepovedlo a schytali jsme za to neskutečnou kritiku, i když později už to fungovalo.
A když se dnes podíváte, kolik lidí těmito systémy prošlo, všichni tam mají i certifikáty… Paradoxně se mluví hlavně o těch špatných zkušenostech, ale dostáváme i hodně dobrých reakcí, že to lidem funguje, zaregistrovali se, mají po třetí dávce, prostě nám i děkují.
Ale zase: zadání přišlo hodně pozdě, na poslední chvíli. Nedalo se to ale předpokládat? Že se bude očkovat, se vědělo měsíce předem. Samozřejmě nebyly známé detaily, ale nedal se systém aspoň nahrubo předpřipravit?
Rozhodně vám nebudu říkat, že se nedalo začít dřív. Podle mě bylo určitě možné daleko víc dopředu rozmyslet očkovací strategii. Ale jak říkám, když strategie přišla, popisovala něco jako velmi klidný let boeingu, ale vůbec nikdo neřešil, jak se ten boeing připraví k letu, kdo do něj naloží jídlo, jak vzlétne, co se bude dít, když přijdou turbulence, jak přistane a tak dál. Tohle celé jsme odpracovali až v průběhu Vánoc 2020.
V běžné komerční firmě to funguje tak, že je produkťák, který má na starosti konkrétní produkt, pak projekťák, který řídí vývoj funkcí v rámci toho produktu. Je to v případě státních systémů stejné? Existuje jeden člověk, nejen v NAKITu, ale třeba i na ministerstvu zdravotnictví, který dává zadání a říká „takto to bude“?
Je to tak, že ministerstvo zdravotnictví říká požadavky typu „budeme očkovat děti“, a pak to přechází na tým kolem Petra Šnajdárka a řeší to společně NAKIT, ÚZIS a armáda. To znamená, kdo má na starosti registrace a rezervace, má na to produkťáka, který to řeší. Když to má dopad jinam, třeba na aplikace Tečka a čTečka, zase tam máme produkťáka, projekťáka, architekty a tak dál. Funguje to úplně standardně… no, standardně. Někdy jsme si říkali, že fungujeme „beyond agile“ (smích).
Bylo to něco neuvěřitelného. Začínalo se v šest ráno, to už byli všichni nastoupení a měli jsme připravený brief, jak vypadá epidemická situace, pak se řešilo, co se vyvinulo v noci a co se bude dělat přes den. Večer pak byl kolem osmé nebo desáté brief, na kterém se práce předávala týmu, který pokračoval přes noc. V jedenáct, kolem půlnoci jsme končili a v šest ráno jsme jeli zase znovu. A takhle to fungovalo celou dobu.
Za věci, které se nepovedly, jsme dostali oprávněnou kritiku, protože měly fungovat. U některých jsme to, myslím, i vzhledem ke krátkým termínům neměli jak vymyslet lépe. Ale u některých bychom, kdyby nebylo toho presu, rozhodně zareagovali jinak.
To byl rok 2020, kdy rozumím tomu, že tlak byl velký a museli jste i improvizovat, aby systémy fungovaly za pár dní – což tedy rozhodně není pro IT projekt dobrá situace, protože se třeba nestihne otestovat a zůstanou v něm chyby. Ale teď máme rok 2021 a v pondělí 22. listopadu jste měli velký výpadek aplikací Tečka a čTečka, ale i klíčového systému ISIN. Jak se to stalo? Vím, že jste říkali, že změna pravidel pro vyhodnocování certifikátů přišla jen pár dní předem…
V pátek.
Aha, dokonce v pátek. Takže zase stejná situace, dělá se něco strašně narychlo a pak se tam udělá nějaká chyba. I když – v tomto případě měl být problém infrastrukturní.
Je to sdílená infrastruktura, servery, které sedí na ÚZISu. Nahrávání parametrů do aplikací Tečka a čTečka jsme úmyslně vypnuli, protože jsme se rozhodli, že musíme primárně udržet očkování. Museli jsme ulevit infrastruktuře, aby mohly fungovat jiné služby. Pak jsme řešili i optimalizace, protože problém byl i v tom, že když si lidé aplikace updatovali, přišel dotaz na infrastrukturu, a když se jim parametry neaktualizovaly, zkoušeli to znovu a dotazy nám zatížily infrastrukturu násobně více, než bylo obvyklé.
Ale nakonec nefungovaly ani systémy jako ISIN, který je určitě důležitější než to, jestli si člověk může, nebo nemůže s Tečkou zajít do restaurace na oběd. Byl tam ještě nějaký další problém?
Nemám konkrétní detaily, to je na kolegy z ÚZISu, ale vím, že infrastruktura byla nadměrně vytížená.
A je tedy ta infrastruktura dobře dimenzovaná?
Myslím, že ano. Navíc jsou teď některé služby, jako třeba parametry pro aplikace Tečka a čTečka, postupně migrovány do cloudu a běží v Azure – nebo aspoň jejich serverová část. Do cloudu se migrují i další věci, které dosud byly v ÚZISu, ale některé na sdílené infrastruktuře pro ISIN zůstávají.
Jak bude chytrá karanténa fungovat v příštím roce? Jak pokračuje příprava státního cloudu a jak by měl fungovat? Kolik lidí používá identitu občana a BankID? A proč patří český eGovernment v evropském srovnání na desáté místo? Poslechněte si celý rozhovor jako podcast:
