Tohle ještě česká státní správa nezkoušela. Digitální a informační agentura (DIA) poprvé požádala uživatele, aby jí ve čtvrtek 13. srpna v 13:00 dobrovolně pomohli se zátěžovým testem státní aplikace. Chce si tím pojistit její bezproblémové fungování při nadcházejících podzimních volbách.
Tou aplikací jsou eDoklady, které při loňských volbách do Poslanecké sněmovny ostudně zklamaly. Pojďme si nejdříve krátce připomenout, co se loni vlastně stalo. Máme k tomu informace z dosud neveřejné zprávy, kterou DIA k výpadku eDokladů vypracovala pro vládu a kterou Lupa získala na základě žádosti podle zákona o svobodném přístupu k informacím.
„V pátek 3. října a v sobotu 4. října došlo při konání voleb do PSP k incidentu spočívajícím v přetížení infrastruktury aplikace eDoklady při prezenčním prokazování totožnosti, čímž docházelo k částečnému selhání aplikace při aktualizaci digitálního stejnopisu OP,“ konstatuje report.
„Oprava prvního výpadku trvala 4 hodiny, dostupnost digitálního stejnopisu se plně stabilizovala až v pátek večer po 22. hodině,“ dodává dokument. Připomeňme, že výpadek eDokladů stál místo tehdejšího ředitele DIA Martina Mesršmída, který kvůli problémům rezignoval.
Omezené zátěžové testy
V čem byl loni hlavní problém? Kromě podhodnoceného odhadu, kolik lidí se bude snažit eDoklady použít, nebyla aplikace eDokladů dostatečně otestovaná. „Těmto nedostatkům bylo bývalo možné předejít při plném zátěžovém testování, ke kterému bohužel došlo jen omezeně,“ uznává zpráva DIA.
Před loňskými volbami DIA otestovala eDoklady hlavně vynuceným zneplatněním digitálních výpisů přibližně 147 000 uživatelů, jejichž aplikace pak musely údaje znovu načíst. „Průměrná zátěž systému určená z logů byla 3600 dotazů za minutu,“ říká zpráva. Ze sledování běžného provozu eDokladů ve dvou měsících před volbami pak DIA zjistila, že systém zvládá nárazové zatížení ve výši 10 tisíc spojení za minutu.
To mělo podle loňských úvah DIA bohatě stačit. „Na základě odhadů bylo očekáváno 320 000 požadavků za 1 hodinu (5333 za minutu) nad rámec běžného provozu,“ konstatuje zpráva. Jenže realita byla úplně jiná. „Reálná zátěž dosáhla až 49 000 požadavků za minutu, průměrně pak 30 000 požadavků za minutu v prvních 4 hodinách,“ přiznává DIA.
Lidé, aktualizujte
Součástí problému bylo i to, že agentura předpokládala, že většina uživatelů poslechne její výzvy a eDoklady si s předstihem aktualizuje. Kdyby to platilo, byla by zátěž v době voleb nejspíš mnohem nižší. Jenže lidé jsou lidé a – možná předvídatelně – většinou nechávali stažení aktuálních dokladů na poslední chvíli. Další potíží pak byly opakované pokusy uživatelů o aktualizaci informací o dokladech, které aktualizační službu přetěžovaly. „Aplikace nedostatečně komunikuje příčinu neúspěchu aktualizace a nedává uživateli instrukce, po jaké době má opět opakovat pokus,“ bere na sebe DIA vinu i za tento problém v uživatelském rozhraní.
Proč vlastně DIA aplikaci pořádně neotestovala? Na tuto otázku dává agentura už několik let stejnou odpověď: kvůli zákonům nemůžeme provádět testy v ostrém produkčním prostředí. Už při prvních potížích eDokladů při jejich spuštění v lednu 2024 to Lupě říkal Martin Mesršmíd.
„Na reálných základních registrech nemůžete dělat dotazy, pokud k tomu nemáte zákonné zmocnění. Všechny dotazy jsou zaprotokolovány, že se na vás někdo ptal. Nemůžeme bombardovat skutečně produkční NIA. Museli jsme to všechno dělat v testovacím prostředí, kde jsme se snažili reálný provoz co nejvíc nasimulovat. Nicméně reálný provoz vždycky je jiný než při testování,“ vysvětloval.
A o rok a třičtvrtě později to DIA zopakovala ve své zprávě o příčinách výpadku u parlamentních voleb: „DIA ani jiný OVM nemůže provádět zátěžové testy v ostrém produkčním prostředí systémů eG (ROB, NIA, ISSS atd.), a to jak s daty reálných osob, tak s daty testovacích identit, protože to zákon č. 365/2000 nepřipouští. Testování na produkčních datech by bylo hodnoceno jako ‚zpracování a zpřístupnění dat mimo původní účel‘,“ zdůraznila.
Frontování v eDokladech
Než si popíšeme, jak se dá tento problém vyřešit, vraťme se zpátky do přítomnosti. Testování totiž nebylo jediným problémem, aplikace také posílala řadu zbytečných requestů. Od loňska jsme eDoklady optimalizovali, říká dnes DIA. „Největší práce byla na infrastruktuře, nastavení databází, optimalizaci volání. Snažili jsme se ušetřit opravdu každé volání, které se ušetřit dá,“ popisuje vedoucí oddělení digitální služeb veřejné správy DIA Šárka Horneková.
Nejvíce requestů se podle ní ušetřilo při požadavcích na NIA, kam teď eDoklady podle DIA posílají čtyřikrát méně požadavků než dříve. Je to možné mimo jiné i díky napojení na Agendový informační systém vyrozumívací (AISV). „To znamená, že si na náš backend načítáme z registrů, jestli u někoho proběhla v dokladech nějaká změna. Přes základní registry do občanek pak voláme jen u lidí, kteří se do eDokladů přihlásí a nějaká změna u nich je. Pokud změnu nemají, udělá aplikace request jen k nám na backend a nepokračuje už nikam dál,“ popisuje Horneková. Aplikace také už neposílá volání v situaci, kdy se uživatel pokouší opakovaně potažením doklady aktualizovat. Znovu se mu načte frontend, ale eDoklady už neodešlou nový požadavek.
Z testů agentury vychází, že nejdelší dobu mohou při používání eDokladů čekat uživatelé, kteří nemají výpis aktualizovaný nebo si aplikaci nově zprovozňují. Podle Hornekové se úzké místo nachází v napojení na Agendový informační systém evidence občanských průkazů (AIS EOP), který nevyužívají jen eDoklady, ale i další služby eGovernmentu.
„Nejsme sami, kdo odsud potřebuje číst údaje, o kapacitu systému se dělíme, a ta kapacita není velká,“ vysvětluje Horneková. DIA tak v eDokladech zavádí tzv. frontování. „Uživateli se v případě velké zátěže zobrazí vysvětlující hláška s omluvou a informací, kolikátý v pořadí je a jak dlouho nejspíš bude čekat,“ popisuje. „Fronta je nastavená tak, že uživatel může aplikaci i klidně zavřít, a aktualizace poběží na pozadí a doklad se mu nahraje,“ dodává.
Infrastruktura není problém
Zároveň to podle ní není tak, že by se aplikace eDokladů netestovala vůbec. „Izolované testy dělal NAKIT, který prověřoval limity jednotlivých komponent infrastruktury. Další testy provedl jeden z dodavatelů, firma Aricoma. „Využívala mockované závislosti (z anglického mock dependency, postup používaný při automatizovaných testech, kdy skutečnou službu zastupuje předpřipravený zástupný modul, pozn. redakce), měli mockovanou NIA a virtuální uživatele, kterými prověřovali všechny možné scénáře, od otevírání aplikace, ověřování a tak dále. To všechno proběhlo na zrcadle produkčního prostředí. Teď bychom potřebovali postoupit o krok dál a prověřit celé workflow. Ale to neumíme, protože ostatní státní systémy podobné zrcadlo nemají a my se můžeme připojovat jen na testovací prostředí NIA, základních registrů, občanek. Ale to nesedí, propustnost je v tu chvíli úplně jiná než v reálném provozu,“ popisuje manažerka DIA.
V červenci také proběhl test fungování systému s dobrovolníky z řad ověřovatelů volebních komisí. Podle DIA se ho zúčastnilo kolem 1900 lidí. Při reálných volbách je ověřovatelů s ověřovací aplikací kolem 15 tisíc (v každé volební komisi jsou dva). „Nikdo nehlásil žádné větší problémy, všechno se načetlo, řešili jsme jen drobné potíže jako jsou zapomenuté PIN kódy ověřovatelů,“ říká Horneková.
Na konci července pak DIA uspořádala další interní test, do kterého se zapojili dobrovolníci z DIA, NAKITu a dalších úřadů a firem. Během šestihodinového testovacího okna se testu zúčastnilo asi 10 tisíc aplikací, ve špičce jich bylo podle DIA najednou připojeno asi 900.
Se skutečně reálným otestováním, jakou zátěž eDoklady v reálu vydrží, ale má pomoci až veřejný test, ke kterému DIA vyzvala dobrovolníky z řad veřejnosti. Od testerů DIA žádá jediné: aby si aplikaci eDoklady 13. srpna v 13:00 otevřeli, přihlásili se a vyčkali na automatickou aktualizaci dokladu.
Experiment má prověřit zejména fungování výše popsaného frontovacího systému u uživatelů, kteří aktualizaci nechávají na poslední chvíli. „Naše infrastruktura by neměla být hlavním problémem. Je optimalizovaná a dá se naškálovat. Největším otazníkem je pro nás propustnost na další státní systémy: centrální místo služeb (CMS), NIA, která momentálně drží velmi dobře, a systém občanek, AIS EOP. A tam si při nových registracích zkoušíme pomoci tím frontováním, optimalizací všeho, co se dá, snižováním počtu requestů, abychom měli volání co nejlevnější,“ říká Horneková.
Testovací identity
Proč si DIA nemůže vytvořit ve státních systémech třeba 20 tisíc virtuálních testovacích uživatelů a s nimi pak testy v ostrém prostředí provést? „Testovací identity by musely vzniknout v evidenci obyvatel a z ní by se musely propsat do celého řetězce a až potom k nám. Ale to stejně nemůžeme udělat, protože v zákoně je stanoveno, co se v základních registrech může vést, a testovací identity to nejsou. V Poslanecké sněmovně je momentálně zákon, který by nám mohl do budoucna pomoci,“ říká Horneková.
Konkrétně jde o návrh zákona, kterým se mění některé zákony na úseku vnitřní správy (sněmovní tisk 187). Vytváření testovacích identit ve státních registrech mají umožnit pozměňovací návrhy, které k návrhu předložil poslanec Miroslav Krejčí (Motoristé), někdejší ředitel CERMATu, který v minulosti stál za digitalizací systému DiPSy pro přihlášky na střední školy.
Návrh je momentálně v Poslanecké sněmovně ve druhém čtení a nedá se čekat, že by jej zákonodárci stihli schválit ještě před podzimními volbami. Veřejný test tak bude pro DIA jedinou možností, jak může s využitím dobrovolníků kapacitu eDokladů vyzkoušet. „Doufám, že obstojíme se ctí,“ usmívá se Horneková.
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
ČLÁNKY DO MAILU