Hlavní navigace

Jak testovat úspěšnost a spokojenost uživatelů při používání služeb?

Jan Rudinský 21. 4. 2015

Jaký je vhodný počet respondentů? Jaká jsou kritéria? A jak sestavit scénář? Nabízíme základní návod na kvantitativní uživatelské testování.

Chystáte se vyhodnotit vývoj svého digitálního produktu nebo fyzického zařízení? Potřebujete přesvědčivá čísla k podpoře své argumentace s nadřízenými či kolegy? Nebo chcete zlepšit intuitivnost ovládání svého zařízení pro uživatele? 

V následujících řádcích si přiblížíme některé praktické zkušenosti a nabídneme základní návod pro realizaci kvantitativního uživatelského testování. 

Hodnocení od uživatelů nebo měření? 

Fyzické a digitální produkty nebo služby jako jsou zařízení, aplikace nebo weby se dají testovat buď zjišťováním hodnocení uživatelů (kvalitativní testování) nebo měřením úspěšnosti a spokojenosti uživatelů během používaní (kvantitativní testování). 

Alternativním způsobem k oběma druhům uživatelského testování je expertní hodnocení odborníkem, který má dlouhodobé zkušenosti v oboru a vychází z ověřených měřítek pro hodnocení. 

Z pohledu člověka, který chce testovat digitální nebo fyzické produkty s uživateli, je dobré zvážit dvě základní kritéria, která zúží pravidla pro jejich posuzování. 

Co je předmětem testování? Nejprve si musíte ujasnit, zda jde čistě o fyzické zařízení (například telefon), digitální produkt (aplikace), nebo jde o kombinaci obou (aplikace v telefonu). Fyzické zařízení se bude hodnotit z hlediska ergonomie, tedy vhodnosti rozměrů a tvarů předmětu pro použití uživatelem v konkrétní oblasti. 

U digitálního produktu se měřítka hodnocení sbírají z více oblastí, jakými jsou počítačová interakce (Human-Computer Internaction – HCI), design zaměřený na uživatele (User-Centered Design – UCD), použitelnost (Usability), uživatelský dojem (User eXperience – UX) nebo přístupnost (Accessibility).

Cílem aktivit v uvedených oblastech je jednak zlepšit použitelnost předmětu ke svému účelu a také zvýšit spokojenost uživatele s jeho použitím. Každá z oblastí definuje pravidla pro hodnocení, která mohou posloužit jako základní měřítka kvantitativního testování. Například pravidla v oblasti použitelnosti určují, že uživatel by měl být schopen dosáhnout svého cíle, zvládnout úkol bez zbytečných prodlev a být s výsledkem spokojený. V tomto případě jsou metrikami: 

  • Úspěšnost splnění úkolu (splněno bez potíží, s překážkami, zčásti nesplněno nebo neúspěch).
  • Doba potřebná ke splnění úkolu (čas).
  • Hodnocení spokojenosti uživatele (stupnice od spokojený k nespokojený). 

Oblast testování. Druhým kritériem jsou specifická pravidla pro hodnocení produktů v oblasti testování. Například hodnocení ovládacích prvků v automobilu bude podléhat pravidlům ergonomie a bezpečnosti používaným v automobilovém průmyslu (AAM, NTHSA). Naopak hodnocení mobilní aplikace bude podléhat pravidlům designu na dané platformě (iOS HIG). 

V oblasti hodnocení webu se tato pravidla velmi rychle vyvíjí a spíše závisí na pohledu, ze kterého je web hodnocený. Například z pohledu přístupnosti pro uživatele se smyslovým nebo pohybovým omezením lze vycházet ze specifických pravidel přístupnosti (WCAG). 

Cíl testování 

Jednoznačný smysl testování dodají výzkumu hypotézy testování. To jsou hlavní parametry předmětu testování, které mají být podle zadavatele testování splněny. Například určitá míra úspěšnosti uživatele při plnění úkolu („Každý si dokáže z telefonu zavolat.“) 

Kolik a jakých uživatelů? 

Stanovení počtu uživatelů je dalším krokem v kvantitativním uživatelském testování. Optimální počet respondentů závisí na požadované jistotě výsledku.

Jako příklad může posloužit hodnocení času nutného pro splnění úkolu. V případě testování s osmi uživateli budou výsledky 90 % uživatelů v rozmezí +/- 30 % okolo průměrné hodnoty, což je poměrně velký rozptyl. 

Doporučení Jakoba Nielsena je využít zhruba 20 respondentů pro získání výsledků s odchylkou +/- 19 % při 90% konfidenčním intervalu.

Závislost odchylky měřené hodnoty na počtu uživatelů a konfidenčním intervalu.

Zapomenout samozřejmě nesmíme na to, že respondenty je nutné vybrat tak, aby svými parametry (věk, pohlaví, lokalita, znalosti a zkušenosti) odpovídali skutečné nebo předpokládané cílové skupině. Jen tak poskytne testování použitelné výsledky. 

Scénář 

Na základě pravidel a hypotéz vznikne seznam úkolů (scénář) pro hodnocení předmětu testování, podle kterých bude postupovat uživatel v průběhu testování. Součástí scénáře jsou i metriky, podle kterých se budou úkoly vyhodnocovat.

Rozsah scénáře je omezený a typický počet úkolů během hodinového testování může být mezi 10 až 20 úkoly. Jelikož množství pravidel často převyšuje počet úkolů, je vhodné množství pravidel zredukovat. Například vytvořením scénáře, který jedním úkolem testuje více pravidel. Případně vybrat pouze nejdůležitější pravidla pro zadavatele projektu a pro smysl testování. 

Do druhé kategorie mohou patřit například oblasti z nižších vrstev pyramidy potřeb uživatele (User Experience Hierarchy of Needs – UX pyramid), jako jsou funkčnost, spolehlivost a použitelnost předmětu testování.

Potřebné vlastnosti fyzických a digitálních zařízení ve vrstvách UX pyramidy.

Formulace úkolů musí být pro uživatele jednoznačná a srozumitelná tak, aby nevyžadovala dodatečné upřesnění v průběhu testování. To by odvádělo pozornost od předmětu testování a zkrátilo čas na test. 

Úkoly ve scénáři pak uživatel plní v průběhu testování. Buď úkoly vykonává samostatně v rámci nějakého většího úkolu, nebo jsou úkoly uživateli postupně prezentované moderátorem testování. 

Výsledek 

Vyhodnocení pravidel testování může probíhat v průběhu nebo po jeho skončení. Během testování lze zaznamenávat hlavní zjištění, jako například úspěšnost splnění úkolu. Po skončení testování se pak z nahrávky vyhodnocují detailnější zjištění jako je čas potřebný ke splnění úkolu a další. Vyhodnocení odpovídá jednak na hypotézy zadavatele testování, ale také na soulad hodnoceného předmětu se stanovenými obecnými a specifickými pravidly. 

Máte vlastní zkušenosti s kvantitativním testováním nebo nápady a připomínky ke článku? Můžete se o ně podělit prostřednictvím komentářů níže. 

Našli jste v článku chybu?

21. 4. 2015 12:47

Jak se přišlo konkrétně na tahle čísla, nevím, ale existuje disciplína zvaná teorie odhadu a testování hypotéz. Stanovení rozsahu výběru a věrohodnosti výsledků by v tomto článku zabralo dost místa, takže já si spíš myslím, že autor jen ukázal, že se to nějak takhle dělá.

27. 4. 2015 14:46

Obecně jsou hypotézy tvrzení, které se testováním vyvracejí nebo potvrzují. V tom se asi shodneme. Zbytek bych se pokusil vysvětlit.

V případě testování se hypotézy připravují na základě informací od zadavatele (většinou vlastník předmětu testování, např. webu). Ten předpokládá, že jeho produkt vyhovuje a tedy, že testování jeho předpoklady potvrdí (např. "Uživatel si dokáže vybrat produkt" nebo "Struktura menu je srozumitelná"). Výsledkem testování jsou odpovědi na hypotézy. Ty některé hypotéz…

Měšec.cz: Kdy vám stát dá na stěhování 50 000 Kč?

Kdy vám stát dá na stěhování 50 000 Kč?

Podnikatel.cz: Přehledná titulka, průvodci, responzivita

Přehledná titulka, průvodci, responzivita

Vitalia.cz: To není kašel! Správná diagnóza zachrání život

To není kašel! Správná diagnóza zachrání život

DigiZone.cz: Mňam TV splnila slib a odešla z DVB-T

Mňam TV splnila slib a odešla z DVB-T

Vitalia.cz: Pravda o přibírání na zimu

Pravda o přibírání na zimu

DigiZone.cz: Milan Kruml: procházka TV historií

Milan Kruml: procházka TV historií

Lupa.cz: Google měl výpadek, nejel Gmail ani YouTube

Google měl výpadek, nejel Gmail ani YouTube

Vitalia.cz: Tesco: Chudá rodina si koupí levné polské kuře

Tesco: Chudá rodina si koupí levné polské kuře

Podnikatel.cz: Na poslední chvíli šokuje vyjímkami v EET

Na poslední chvíli šokuje vyjímkami v EET

120na80.cz: Bojíte se encefalitidy?

Bojíte se encefalitidy?

Podnikatel.cz: Babiše přesvědčila 89letá podnikatelka?!

Babiše přesvědčila 89letá podnikatelka?!

Podnikatel.cz: Zavře krám u #EET Malá pokladna a Teeta?

Zavře krám u #EET Malá pokladna a Teeta?

120na80.cz: Pánové, pečujte o svoje přirození a prostatu

Pánové, pečujte o svoje přirození a prostatu

Vitalia.cz: Spor o mortadelu: podle Lidlu falšovaná nebyla

Spor o mortadelu: podle Lidlu falšovaná nebyla

Měšec.cz: U levneELEKTRO.cz už reklamaci nevyřídíte

U levneELEKTRO.cz už reklamaci nevyřídíte

Vitalia.cz: Naučí vás péct kváskový chléb bez lepku i s lepkem

Naučí vás péct kváskový chléb bez lepku i s lepkem

DigiZone.cz: Recenze Westworld: zavraždit a...

Recenze Westworld: zavraždit a...

Podnikatel.cz: Změny v daních z příjmů u zaměstnávání

Změny v daních z příjmů u zaměstnávání

DigiZone.cz: Digi CZ výrazně zlevnila balíček HBO

Digi CZ výrazně zlevnila balíček HBO

Podnikatel.cz: Přivýdělek u Airbnb nebo Uberu? Čekejte kontrolu

Přivýdělek u Airbnb nebo Uberu? Čekejte kontrolu