Není nic špatného na tom, když se chce státní úřad pochlubit nějakým úspěchem. Pokud ale ve prospěch vlastního PR neváhá ohýbat data a nesmyslně je interpretovat, překračuje hranici únosnosti a snižuje důvěryhodnost všech svých výstupů. Čerstvě to bohužel předvádí Český telekomunikační úřad (ČTÚ).
Ve středu 12. ledna nám zaměstnankyně tiskového odboru ČTÚ nabídla, že úřad Lupě poskytne k vydání odborný článek sepsaný zaměstnanci svého odboru kontroly. Měl se týkat dat získaných za prvních několik měsíců fungování nového měřicího nástroje NetTest. Souhlasil jsem s tím, že se na text rád podívám.
Avizovaný článek dorazil 17. ledna a při jeho čtení jsem záhy narazil na několik zádrhelů. Pomiňme většinu z nich a soustřeďme se na nejproblematičtější bod: tím podle mého názoru bylo, jak ČTÚ z dat vyvozoval, že jeho loňské nařízení o povinnosti poskytovatelů rozlišovat ve smlouvách běžně dostupné a inzerované rychlosti připojení mělo pozitivní dopad na kvalitu služeb v Česku.
Připomeňme, že podle tohoto všeobecného oprávnění (VO-S/1/08.2020–9) se musí – zjednodušeně – běžně dosahovaná rychlost připojení pohybovat nad 60 % inzerované rychlosti. Pokud klesne níž, může to být důvod k reklamaci.
TIP: Jak se měří internet či jaká hesla nejčastěji zkouší útočníci? V ČR proběhl Internet Measurement Day
Úřad ve svém textu vyšel ze statistik průměrného downloadu a uploadu za posledních 24 hodin. Na příkladu dat za 17. prosinec 2021 pak tvrdil, že se průměrná skutečně dosahovaná rychlost stahování v Česku pohybuje nad 60 % inzerované rychlosti, a že tedy „pozitivní dopad VO-S/1 na kvalitu služeb přístupu k internetu v České republice je evidentní“. Za inzerovanou rychlost přitom úřad považoval zprůměrovanou rychlost naměřenou mezi 3. a 4. hodinou ranní, kdy podle něj tuzemské sítě vykazují minimální zátěž, a dosahují tedy nejvyššího výkonu.
Celá tato úvaha je ovšem logický nesmysl: pokud chcete dokazovat, že nařízení mělo pozitivní dopad, tedy že změnilo situaci, která panovala před jeho platností, nemůžete to prokazovat jen statistikami za dobu, kdy platilo. Abyste mohli něco podobného tvrdit, musíte aktuální statistiky porovnat se srovnatelnými daty za období před jeho platností. Žádná taková data ale úřad ve svém textu neposkytl. Srovnatelné údaje ani patrně mít nemůže: NetTest používá teprve od září 2021 a aktualizované VO-S/1 začalo platit už v lednu loňského roku. Úřad by mohl mít jen data z dříve používaného nástroje NetMetr, s těmi ale v textu vůbec nepracuje.
Vyvozovat vývoj z dat bez jejich historického průběhu přitom nedává smysl. Nevíte totiž, jestli by měření před platností VO-S/1 nedopadlo úplně stejně – tedy že by se zprůměrované hodnoty nepohybovaly nad 60 %. Je to, jako byste ukázali na bílou zeď a pochlubili se, že je bílá jen díky vám. Ale poněkud byste vynechali informaci, že mohla být bílá už dávno před tím, než jste k ní přišli.
TIP: Jak správně změřit rychlost internetové přípojky? U vyšších rychlostí na webové měřáky zapomeňte
Kromě tohoto lapsu celá úvaha samozřejmě vyvolává další otazníky. Jak spolehlivá jsou čísla za noc, kdy probíhá nejméně měření a může docházet k velkým výkyvům? Nebo jak je zohledněno to, že NetTest patrně používá určitá skupina uživatelů – tedy těch, kteří z nějakého důvodu (například problému s připojením) potřebují rychlost změřit? A je vůbec vhodné cokoli usuzovat z průměrných hodnot stahování? Diskutabilní jsou podle mě i další závěry, které úřad v textu dělá – například zdůvodnění rozdílů ve výsledcích měření NetTestu a jiných měřáků.
V reakci na text jsem ČTÚ zaslal řadu konkrétních připomínek s tím, že článek v této podobě nemůže na Lupě vyjít a že nechávám na úřadu, jestli jej opraví, nebo si jej vydá sám na svém webu. Odpověď dorazila v pondělí 19. ledna: „Výrazně článek měnit nechceme. Zejména z důvodu, kdy s Vašimi připomínkami nemůžeme souhlasit.“ A za pár minut text vyšel na stránkách ČTÚ, kde jej uvedla tisková zpráva s titulkem NetTest po 4 měsících: Všeobecné oprávnění pozitivně ovlivnilo kvalitu služeb.
Pasáž týkající se údajného vlivu VO-S/1 v článku, který ČTÚ přiložil ke své tiskové zprávě
Při pohledu do vydaného „odborného článku“ jsem se podivil podruhé. Přestože úřad po mých připomínkách nechtěl nic „výrazně měnit“, pasáž týkající se onoho údajného dopadu VO-S/1 přece jen nějakými – byť z mého pohledu zdaleka nedostačujícími – změnami prošla. Úřad do ní doplnil nový graf, přidal informace o filtrování dat a svůj původní závěr mírně zrelativizoval.
Místo tvrzení, že „pozitivní dopad VO-S/1 na kvalitu služeb přístupu k internetu v České republice je evidentní“, v publikovaném textu stojí: „V tomto pohledu lze spatřovat pozitivní dopad VO-S/1 na kvalitu služeb přístupu k internetu.“ Článek také připouští, že použitý postup je „… velmi zjednodušený pohled z důvodů specifických hodnot běžně dostupné rychlosti u každé služby“.
Tisková zpráva ale přesto neochvějně tvrdí, že „VO-S pozitivně ovlivnilo kvalitu služeb“. Na mou žádost o konkrétní argumenty, kterými by ČTÚ mé dřívější námitky vyvrátil, autoři článku reagovali následovně: „K Vašim původním připomínkám jsme napsali, že je nechceme rozporovat. Máte v některých oblastech měření QoS jiné názory a máte na ně právo. Naše zkušenosti z měření jsou odlišné a nepovažujeme za vhodné Vás přemlouvat ke změně názorů.“
Postup při interpretaci dat tedy úřad vydává za názor, který nemusí nikomu vysvětlovat. Doufám, že regulátor nepostupuje stejně i při kontrolách operátorů.
Neochota vysvětlit, jak úřad došel k interpretaci, kterou používá v rámci své sebechvály, je alarmující. Buď ČTÚ skutečně neprůstřelnou argumentaci má, ale nepovažuje novináře a uživatele za hodné jejího zveřejnění, nebo svými daty manipuluje a zneužívá je k tomu, aby se neoprávněně pochlubil, jak je dobrý.
V každém případě si zahrává se svou důvěryhodností. Jak můžeme věřit jakýmkoli dalším číslům, která vydá?
