Jak se šidí NetMetr aneb Nejsou čísla jako čísla

16. 6. 2016
Doba čtení: 4 minuty

Sdílet

Aplikace na měření rychlosti připojení dává zajímavé výsledky. A pokud se ponoříte do čísel, zjistíte, že se s nimi někdo zřejmě pokoušel manipulovat.

Český telekomunikační úřad (ČTÚ) ve své monitorovací zprávě za květen 2016 přinesl několik čísel o fungování aplikace NetMetr (úřad ji provozuje ve spolupráci se sdružením CZ.NIC), která měří rychlost a kvalitu připojení. Dostupná je nejen jako mobilní aplikace pro Android a iOS, test je už možné provést také z webové stránky – tedy i například z desktopového počítače.

Zajímavé je, že za posledního půl roku se většina měření (podle ČTÚ 70 až 73 %) týkala rychlosti Wi-Fi (tedy přístupů přes WLAN) a jen zbytek mobilních sítí. Na mobilech samozřejmě nejčastěji lidé měří z Androidu (asi tři čtvrtiny měření) a čtvrtina připadá na iOS. Zatím nic moc překvapivého. 

Pokud si ale článek v monitorovací zprávě přečtete dál, narazíte na poměrně pikantní informaci. ČTÚ rozebírá, jak NetMetr filtruje měření, která by statistiky zkreslovala – například testy, které nedoběhly do konce, nebo obsahují různé chyby – naměřená rychlost například neodpovídá objemu dat, které zařízení stáhlo a podobně. 

Jak se čistí data

Čisticí algoritmy ovšem zasahují také proti měřením, která ČTÚ označuje jako „nadměrná“. Jde o případy, které „jsou jinak zcela v pořádku, ale je jich příliš mnoho (např. jsou prováděna rychle po sobě ze stejného místa)“. Taková měření by podle ČTÚ dokázala významně ovlivnit celkové statistiky a NetMetr je agreguje – místo mnoha podezřele častých pokusů započítává jen jeden s mediánem získaných hodnot. 

Rekordem z doby před zavedením agregace byl květen loňského roku, kdy ‚nadměrných‘ měření bylo přes 26 procent, uvádí ČTÚ a ukazuje také graf, kde jsou nadměrná měření zobrazena v čase podle jednotlivých operátorů. A je to zajímavý obrázek. 


Autor: ČTÚ

V některých měsících se podle něj u některých operátorů muselo čistit nebývale mnoho dat. Po zavedení agregace přitom podle ČTÚ počet „nadměrných“ měření výrazně poklesl – v poslední době jsou podle úřadu jejich počty v jednotek procent z celkového počtu testů. 

A ještě jedno zajímavé číslo: 70 až 80 procent nadměrných měření připadá na testy přes mobilní aplikace. Začíná to vypadat trochu podezřele. 

TIP: Vyzkoušejte nový Speedmeter na Lupa.cz.

Jeden test za sekundu

Podívejme se na to trochu podrobněji. ČTÚ publikuje údaje z NetMetru v podobě otevřených dat, která obsahují celou řadu detailních informací o jednotlivých testech. Kromě údajů o času a označení klienta (aplikace), který test provedl, jsou k dispozici také data o naměřených rychlostech, síti a operátorovi, době trvání testu, modelu telefonu, anonymizovaná IP adresa, místo (GPS souřadnice), kde k testu došlo, a další informace

I při poměrně zběžném pohledu do dat najdete zajímavé věci. Například v květnu 2015, který ČTÚ zmiňuje jako měsíc s nejvíce „nadměrnými“ měřeními, NetMetr zaznamenal několik zajímavých sérií měření v síti T-Mobilu. V pondělí 4. května 2015 třeba z telefonu Galaxy S4 LTE někdo použil aplikaci k celkem 59 rychle po sobě jdoucím měřením (odehrála se od 10:46 do 11:42). 

Dosahovaná rychlost downloadu byla nadprůměrně dobrá – hodnoty létaly až k 81 Mb/s, v průměru šlo o 44 Mb/s. Zajímavé je, že série měření proběhla v Mladé Boleslavi (podle GPS třeba na parkovišti před obchodním centrem Olympia), tedy ve městě, kde T-Mobile od roku 2014 testuje rychlejší LTE Advanced (LTE-A). Podobnou mladoboleslavskou sérii v síti T-Mobilu najdete i v datech z 15. května 2015. 

A zajímavá je i další série z 6. května, kdy kdosi provedl během jedné hodiny 44 po sobě jdoucích měření opět z modelu Galaxy S4 LTE v Praze na Roztylech. I tady získal velmi slušná čísla – download se pohyboval v průměru přes 63 Mb/s. Není ostatně divu, když měření probíhalo v těsném okolí sídla T-Mobilu, kde operátor rovněž testoval LTE-A. Na grafu ČTÚ v květnu 2015 tak musel NetMetr u T-Mobilu „vyčistit“ více než polovinu zaznamenaných měření.


Manipulace s čísly?

Nejde samozřejmě jen o T-Mobile. Pokud se podíváte do dat za březen 2015, najdete například 21. března sérii 319 po sobě jdoucích měření v síti O2 v centru Brna. Nebo několik podobných sérií z Brna Jundrova. V březnu 2015 zase narazíte na podivnou sérii 382 měření u Vodafonu. A pokud chcete, najdete určitě v open datech další případy. 

Samotná data vám samozřejmě neprozradí, kdo konkrétně ona podezřelá měření prováděl. Mohlo jít o člověka, který si prostě nadmíru vytrvale testoval, jak rychle mu data přes LTE poběží. Nebo o zaměstnance operátora, který jen zkoušel služby své firmy – proč by k tomu ale používal běžný telefon a prováděl tolik měření hlavně v místech, kde se dala čekat vysoká čísla?  

Nabízí se samozřejmě i další vysvětlení: že se operátoři snažili čísla NetMetru ovlivnit ve svůj prospěch. ČTÚ totiž měsíční průměry publikuje na své webu (i v podobě mapy) a pro zákazníky mohou být vodítkem k tomu, k jakému operátorovi se přikloní. 

I když se záměrná manipulace prokázat nedá, nahrává této variantě fakt, že podle ČTÚ po zavedení agregace (tedy ve chvíli, kdy se „nadměrná“ měření přestala do výsledků započítávat) výskyt těchto sériových měření dramaticky poklesl.

Autor článku

Šéfredaktor Lupa.cz a externí spolupracovník Českého rozhlasu Plus. Dříve editor IHNED.cz, předtím Aktuálně.cz a Českého rozhlasu. Najdete mě na Twitteru nebo na LinkedIn

Upozorníme vás na články, které by vám neměly uniknout (maximálně 2x týdně).