Názory k článku Jak testovat úspěšnost a spokojenost uživatelů při používání služeb?

Jak se přišlo konkrétně na tahle čísla, nevím, ale existuje disciplína zvaná teorie odhadu a testování hypotéz. Stanovení rozsahu výběru a věrohodnosti výsledků by v tomto článku zabralo dost místa, takže já si spíš myslím, že autor jen ukázal, že se to nějak takhle dělá.

Skrze hromadu předpokladů a trochu matematiky. Ale i tak to tvrzení není úplně v pořádku, mělo by znít nějak jako "V případě testování s osmi uživateli budou s pravděpodobností XY % výsledky 90 % uživatelů v rozmezí +/- 30 % okolo průměrné hodnoty".

Tak především je ptákovina dělat výběrové šetření s pouhými osmi respondenty.

You might say that this is still a wide confidence interval, but the truth is that it's extremely expensive to tighten it up further. To get a margin of error of +/- 10%, you need data from 71 users, so you'd have to test 76 to account for the five likely outliers.

No dobře, když je to drahé...

Tohle přece matematika z principu říct nemůže, "přijatelná přesnost výsledků" není objektivní fakt, tu si určuje "uživatel", pokud mu bude stačit těch XY % z mého příspěvku (společně s těmi dalšími konkretizovanými procenty), tak mu to budiž přáno.

Obecně jsou hypotézy tvrzení, které se testováním vyvracejí nebo potvrzují. V tom se asi shodneme. Zbytek bych se pokusil vysvětlit.

V případě testování se hypotézy připravují na základě informací od zadavatele (většinou vlastník předmětu testování, např. webu). Ten předpokládá, že jeho produkt vyhovuje a tedy, že testování jeho předpoklady potvrdí (např. "Uživatel si dokáže vybrat produkt" nebo "Struktura menu je srozumitelná"). Výsledkem testování jsou odpovědi na hypotézy. Ty některé hypotézy potvrzují a jiné vyvrací.

Článek je širší pohled na kvantitativní uživatelské testování a návod, kde hledat pravidla pro vytvoření konkrétního návrhu testování. Udělat přesnou přípravu testování vyžaduje konkrétní informace o cílech a předmětu testování.