Hlavní navigace

Pět nejtěžších bodů na A/B testování: aby web vydělával

18. 8. 2010
Doba čtení: 4 minuty

Sdílet

 Autor: 29
Co může být těžkého na A/B testování? Princip porovnávání výkonu dvou stránek A a B je přece lehký jako facka. Dokáže se ovšem vymstít, pokud zapomenete na pár důležitých bodů. Tento článek vám pomůže vyvarovat se alespoň pěti kritických bodů a poradí vám, na čem si musíte dát záležet.

Bod 1: Analýza slabého místa

Největší kámen úrazu v testování bývá hned v přípravné fázi, kdy se rozhodujete, co vlastně budete testovat. Do jakéhokoliv testování se můžete pouštět pouze v momentě, když víte, že existuje reálný potenciál odstranit určitý problém.

Občas žasnu nad testováními, u nichž se prokáže, že červené tlačítko fungovalo třikrát lépe než oranžové. Vždy si pokládám otázku: Vyřeší testovaná verze problémy návštěvníků na této stránce? Pokud slabé místo spočívá v nedostatečné motivaci uživatele k nějaké akci, není lepší si pohrát spíše s výstižným vysvětlením, proč by měl návštěvník na tlačítko kliknout? Testování by mělo směřovat k odstranění příčiny problému, což vyžaduje ještě jasnější pochopení toho, co stojí za problémem. Takovéto příčině můžeme pak říkat hypotéza nebo obchodní příležitost. Jak se k takovému pochopení dostat a mít jasno, že máme co opravovat? Musíte zamakat na odhadech.

Často v přípravné fázi přijdete na několik slabých míst najednou, ať již budete čerpat z nějaké analýzy použitelnosti, uživatelského testování nebo zpětné vazby od návštěvníků vašeho webu. Protože pro A/B testování je vhodné mít jasně určenu pouze jednu zásadní změnu, nebojte se určit slabým místům priority a ty méně podstatné nechte až na nějaké další testování. K prioritám vám pomůže odhad možných dopadů.

Bod 2: Odhady a možné dopady

Asi tušíte, že nemá smysl něco pouštět do A/B testování, dokud nemáte jasno, že i 5% změna vám vydělá majlant. Jak na to ale přijít? V prvé řadě se určitě ponoříte do stávající situace. Data z webové analytiky vám řeknou, kolik návštěvníků má v současné verzi stránek problém na tom určitém slabém místě. Víte, kolik z nich neproklikne do dalšího kroku, kde byste je rádi viděli.

Nepospíchejte ale s odhadováním možných dopadů vašich změn, dokud se nezamyslíte, co by mohlo být skutečnou příčinou vašeho neúspěchu. Položte si otázku, proč neklikají, kam chcete? V nejlepším případě se jich zeptejte přes nějaký dotazník.

Tušíte už, jestli odbouráte příčinu problému? O kolik vylepšíte problémové místo? O 10 %? O 100 %? Udělejte si rozpis možných situací. Já si vždy dělám kromě normálního stavu minimálně tři výpočty: pesimistickou variantu, mírně optimistickou variantu a super optimistickou variantu. Ta poslední je možná naivní, ale zato jste hezky motivováni, když vidíte, co pěkného může vaše testování způsobit. Jak vlastně poznat, že se něco povedlo? Možné dopady musíte sledovat přes předem jasně dané ukazatele.

Bod 3: Hlavní a vedlejší ukazatele

Předchozí bod říkal, že musíte vědět, zda má smysl 5% změna. Pro takové tvrzení je podstatné se ptát, co změna představuje a čím se měří. Půjde nám při testování nákupního košíku o změnu počtu dokončených objednávek? Půjde nám o celkové tržby? Nebo o vliv na odhlášení z newsletteru? Vyjasněte si to.

Nejen pro přípravu testování, ale i pro následné vyhodnocování byste měli mít stanoveno právě jedno svaté číslo, ke kterému budete vzhlížet. Třeba ten zmíněný počet dokončených objednávek. Takovýto hlavní ukazatel musí navazovat na stanovenou hypotézu.

Bude vás zajímat ještě něco jiného? Poznáte úspěšnější testovanou variantu, pokud vám přináší 300 objednávek místo 200? Popřemýšlejte také nad některými kontrolními údaji, které vám zajistí, že jste s návštěvníky neprováděli něco zcela nezamýšleného. Jestliže jste ve variantě s 300 objednávkami přinesli konverze s průměrnou hodnotou 600 Kč místo běžných 1400 Kč, je něco špatně a nejspíše to pro vás nebude dobrá zpráva.

Popřemýšlejte, jestli se testování neprojeví někde zcela mimo web, co když třeba budou lidé více volat na call centrum? Mějte připraveny dva až tři takovéto vedlejší ukazatele, kterými zprůhledníte a podtrhnete správné sledování průběhu testování. Jestliže váš testovací nástroj nezvládá více ukazatelů, propojte si údaje o testování s analytickým nástrojem (třeba s Google Analytics).

Bod 4: Správné naprogramování

Ať už provádíte klasické A/B testování s porovnáváním dvou různých stránek, nebo přes multivariantní testování (MVT) zkoumáte vliv několika kombinací různých prvků stránky, vše musí šlapat jako hodinky. Od agentury můžete získat pěkný návod s nějakými kódy, ale když nedohlídnete vy (nebo agentura) na to, že to vaši programátoři zapracují tak, aby se v průběhu testování nestávaly žádné chyby, koledujete si o zbytečně promarněný čas. Pokud si nebudete moci o testování popovídat s programátorem osobně, vyčleňte si deset minut alespoň po telefonu.

BRAND24

Bod 5: Opatrné vyhodnocování

Dejte si vždy pozor, abyste se při testování rozhodovali nad dostatečnými čísly. Podstata A/B testování je v dostatečně statisticky významné rozdílnosti dvou skupin dat. 20 nebo 30 objednávek není dostatečně rozdílných, pokud jste je vyčerpali z 30 000 návštěv v každé variantě. Vašim cílem je rozpoznat jasný rozdíl. Používejte statistické kalkulačky, jednu hezkou nedávno vytvořila společnost Perfomable. Stalo se nám také, že asi po dvou dnech testování 4 různých variant vítězilo č. 2 na jasné čáře o 17 % v počtu objednávek. Málem jsme se ukvapili a testování ukončili, ale pro dostatečný vzorek dat jsme testování nechali přece jen běžet dále. Vývoj testování pak ukázal, že to bylo jen nějaké chvilkové nadšení, po dvou týdnech jsme viděli, že varianta 2 jde špatným směrem a končila v –7 % počtu objednávek. To už byl naštěstí moment, kdy se hladina významnosti projevila, a věděli jsme, že tudy cesta nevede. Naštěstí není hanbou, když testování dopadne špatně. V tomto případě naštěstí existovala varianta č. 3, která nakonec skončila kladně nad 4 %.

Závěrečné ponaučení: pořádné přemýšlení nad obchodními příležitostmi

Všimněte si, že pouze 4. bod byl technický, vše ostatní bylo zaměřeno na správné vylepšení obchodních příležitostí. To je na A/B testování to nejlepší. Pokud se naučíte minimalizovat technické problémy, můžete si rychle zkoušet různé obchodní scénáře a přicházet na to, co zrovna pro váš web funguje a co uživatelům naopak vadí.

Můžete využít v praxi informace o zvyšování výnosnosti webů?

  • Ano.
    45 %
  • Ne, ale zajímají mě.
    18 %
  • Nevím.
    7 %
  • Ne.
    30 %

Byl pro vás článek přínosný?

Autor článku

Pracuje v Dobrém webu jako konzultant a specialista na webovou analytiku. Zaměřuje na vyhodnocování efektivnosti webů a navrhuje změny, které prospívají obchodním výsledkům klientů.
Upozorníme vás na články, které by vám neměly uniknout (maximálně 2x týdně).