Vlákno názorů k článku
Jak pomocí A/B testování zvýšit výnosnost webu

Dobrý den,

dovolím si reagovat obsáhleji, neboť se problematickou A/B testování zabývám a ve vašem článku je přítomná poměrně závažná chyba. Konkrétně se budu věnovat kapitole "Výsledky experimentu" a uvedené tabulce.

Obecně jste zvolili správný postup, nicméně ve vyhodnocení zcela chybí statistické ověření výsledků, takže nevíte zda zlepšení oproti kontrolnímu vzorku je prkazatelné nebo náhodné. Dovolím si ukázat, že dle Vámi uvedených čísel v tabulce nelze zlepšení boucerate prokázat. Je nutné v experimentu pokračovat, neboť zlepšení je vzhledem k velikosti vzorků příliš malé a vejde se do statistické chyby (zjednodušuji, statistici prosím nekamenujte). Budu se dále zabývat jen varintou 4 - tedy viteznou. U ostatnich je to analogicke.

A/B test je statistickým testem, kdy zamítáme nulovou hypotézu, které zní "VARINTA č.4 udrží méně uživatelů než kontrolní vzorek". Pokud si tedy nazveme veličinu NONBOUNCE = POCET_VISITS_KTERI_ZUSTANOU / POCET_VISITS (tedy 1-BOUNCERATE), lze nulovou hypotézy formulovat jako H_0: NONBOUNCE_CONTROL >= NONBOUNCE_VARINTA4. Abychom mohli tvrdit, ze VARINTA4 je lepsi musime zamitnout nulovou hypotezu se spolehlivosti typicky 0.05. Vagne receno - mame pouze 5% pravdepodobnost, ze vysledek je nahoda.

K porovnání použijeme test proporcí dvou binomických rozdělení. Nebudu zatěžovat jak se počítá - pokud by to někoho zajímalo, rád vysvětlím, ale omezené možnosti formátování v komentáři mne k tomu nelákají. Co dostaneme? Dostaneme, ze pro CONTROL nám z 307visits zůstalo 229 a pro varintu 4 z 276 zůstalo 213. Výslená p-value testu proporcí je tedy 0.23 a což je podstaně více než 0.05. Tedy nemůžeme zamítnout nulovou hypotézu na 0.05 a tedy lepší výsledek varnaty 4 nemůžeme považovat za prokázaný. Je nutné v testu pokračovat. Odhadem do nasbírání nad 600 visits u každé varinty.

Jiným způsobem s trouchou nepřesnosti lze říci, že NONBOUNCE_CONTROL = 74.59+-4.9 [%] a NONBOUNCE_VARINTA4 = 77.17 +- 4.95 [%]. Tedy intervaly se překrývají. Pokud používáte například Google Website Optimizer, tak tento tuto spolehlivost počítá za vás (a výše uvedeným způsobem). Pokud ale počítáte výsledky sami na základě tabulky počet vzorků versus počet úspěchů, pak je nutné si toto ověřit zde uvedeným způsobem.

Závěr: pokračujte prosím v experimentu, výběrem varinty 4 jste zvolili varintu, které je možné lepší jen náhodou a dočasně. Doporučuji ponechat například 10% uživatelů jako kontrolní vzorek a na delším časovém období ověřit, zda se opravdu potvrdí lepší vlastmosti této verze.

Pro případné otázky jsem k dispozici na jiri.stepan(at)etnetera.cz . Díky za pozornost a držím palce při optimalizaci webu.

Dobrý den,

plně s vámi souhlasím (nemusel jste to ani tak rozepisovat, nicméně děkuji).

Toho, že nemůžeme zamítnout nulovou hypotézu jsme si byli vědomi, nicméně klient potřeboval udělat test rychle (a to jsme jej ještě prodloužili o několik dní), i za cenu možné statistické chyby.

Proto jsme také psali, že se jednalo o "velmi jednoduché" a "miniaturní" testování (jak co do přípravy, tak průběhu).

Prosím o pochopení, jedná se spíše o příklad pro širokou veřejnost, která se s testováním spíše seznamuje.

Tomu příliš nerozumím. Oceňuji propagaci A/B testování jakožto velmi dobrého postupu. Ale musí se dělat pořádně, jinak prostě jenom nějak vyberete jednu varintu. Pravděpodobnost výběru vhodnější je při tomto postupu lepší než kdybyste losovali, ale ne o moc.

Klient se z tohoto testu bohuzel nic nedozvedel. Zjitil, ze nektere varinty jsou lepsi, ale zadna vyrazne. To je jako kdybyste pro zrychlení ukončili maratonský běh na 25km a vyhlásili vítěze. Ten první na 25km asi bude dobrý, ale zda je to opravdový vítěz maratonu prostě nevíte ;-)

Zkuste prosím to co píši nakonci - tedy ponechat malý kontrolní vzorek, zbytku pustit třeba tu varintu 4 a za 14dnů napsat jak to dopadlo. Velmi by mne to zajímalo.

Jednoduše:

Buď můžete počkat na velký vzorek. Bude to trvat delší dobu a riziko, že výsledek je náhoda, je menší.

Anebo to potřebujete udělat rychle. Stačí vám malý vzorek, ale riziko, že výsledek je náhoda, je větší.

Klient zvolil druhou variantu. Pokusím se zajistit prodloužení experimentu, ale vzhledem k personálním změnám u klienta nemohu nic slíbit.

Když tak sledujte http://www.facebook.com/RobertNemec.com, tam bychom případně výsledek uveřejnili.

Také mne ta čísla při čtení dost vyděsila, ale byl jsem líný to počítat, takže děkuji předřečníkovi za perfektní rozbor.

Jen dodám, že ještě mnohem větší problém než s bounce ratem je s druhým kritériem, počtem stránek na návštěvu. Lze předpokládat, že různí návštěvníci se vydali po webu různými cestami a každá z mnoha různých stránek na těchto mnoha různých cestách ovlivnila jejich celkový počet zhlédnutých stránek jinak. Celé se nám to tedy rozpadne na mnoho velmi malých vzorků, často tvořených třeba jen jediným návštěvníkem, a to už je pak jen čirá náhoda.

Promiň Roberte, ale tenhle test se ti opravdu nepovedl. Přesto považuji článek díky komentáři Jiřího Štěpána za velmi užitečný, protože lidé mají k těmto chybám velmi silnou tendenci. Snad jim to tedy poslouží jako dobrý antipříklad.

Naprosto uznávám, že vzorek je malý a chyba zde může být.

Ale měli jsme to mít hotové za týden, pak jsme ještě poprosili o další tři dny, následně to klientovi již stačilo a potřeboval finální výsledky. :-(

Roberte, já netvrdím, že chyba je u tebe. Chápu, že s klienty je to někdy těžké. Fakt ale je, že tento článek mnohem lépe ukazuje, jak se to nemá dělat, než jak se to má dělat.

Ostatně, šlo by toho i využít a ještě z toho udělat velmi užitečný experiment. Měřte dál, dokud nezískáte dostatečná data, pak zveřejněte konečný výsledek a porovnejte ho s těmito předběžnými čísly.

Vážený pane Němče!

Je očividné, že jste pořád nepochopil podstatu problému. Je to zřejmě i z toho důvodu, že vaše vzdělání zahrnuje pouze psychologii a politologii a žádnou matematiku ani statistiku.

Nejde o to, že "zde chyba může být"! Vy jste klientovi předal zcela bezcenný výsledek, který jste lživě prezentoval jako "prokazatelné zlepšení".

Se statistikou si zahráváte jako malé děcko, bez pochopení podstaty. Úplně stejně tomu bylo i v předchozím článku! Naměříte nějaká čisílka a pak z nich tvoříte dalekosáhlé a nesprávné závěry!

Studoval jsem taky na FSS, byť jinou kombinaci (psychologie - sociologie), a základy statistiky jsme probírali velmi důkladně, vědět o statistických chybách, to je přece nezbytnost pro jakékoliv zpracovávání dat, pokud se člověk chce dostat k nějakým smysluplným závěrům. Jak s tím každý student naloží v praxi, to už je samozřejmě jiná věc, ale cítím potřebu se zastat svojí alma mater, na kterou vzpomínám s vděčností.

Roberte, Roberte ne nadarmo se říká, že "z h*vna bič neupleteš".

Je jasné, že my všichni jsme občas tlakem okolností nuceni odevzdat ne zcela optimální výsledek, ale proč o tom pak psát článek a stavět do zcela jiného světla?

Jako příklad použití této metody je článek výborný. Co je tu rozporováno jsou prezentované výsledky. Zřejmě jste statistiku na VŠ měl a proto je vám zřejmé, že úplně stačilo hodit si kostkou. Zákazník by měl výsledek ihned, nemusel by čekat týden a výsledek by byl ze statistického hlediska stejně spolehlivý jako ten po týdnu testování.

Chápu, že v praxi to ale funguje jinak. Řada zákazníků nemá dostatečné matematické vzdělání a díky tomu přijímá celou řadu chybných předpokladů. Je pochopytelné, že ekonomický subjekt (dodavatel) se tomu přizpůsobí a přistoupí na pravidla hry platícího zákazníka. Ale, prosím, nechlubte se tím potom. Je sice fajn vědět, že majitel jistého webu neumí počítat, ale vám to na kreditu nepřidá.

No, ono to zase není tak, že by to bylo celé chybné.

Z toho, že jsou vzorky menší než doporučeníhodné, vyplývá pouze to, že je větší pravděpodobnost chyby. Ne to, že tam chyba je.

Teda jestli jste tu statistiku měl, tak jste ji vůbec nepochopil. Anebo vědomě lžete podle hesla "negativní reklama taky reklama". Možná dokonce jde o kombinaci obou faktorů.

Nevzdělanost trčí z článku i jinde. Hovoříte třeba o zhruba 240 000 navštěvníků a pak tvrdíte, že místo 60 984 jich po testování odejde jen 54 744.

Za něco takového se dávala pětka už na střední škole!

Ještě jednou ona věta: "Aktuálně hlavní stránku Ordinace.cz navštíví zhruba 240 000 návštěvníků za rok, z toho zhruba 60 984 okamžitě odejde. Po miniaturním testování to bude jenom 54 744."

1. číslo: návštěvnost hlavní stránky
2. číslo: kolik návštěvníků odejde z hlavní stránky při původním bounce rate
3. číslo: kolik návštěvníků odejde z hlavní stránky při novém bounce rate

To je přesná ukázka vašeho neumětelství! Vy ani při přímém poukázání na chybu nechápete, v čem ta chyba spočívá.

Vysvětlím vám to.

Pokud je první číslo uvedené s přesností na desetitisíce, nemůžete z něj nikdy dostat čísla, která by byla s přesností na jednotky.

Zajímavé, co?

A teď vraťte školné a začněte se živit nějak poctivě.

Větší není to správné slovo.

Jak vám tady výše spočítal pan Stepan (neověřoval jsem), vaše vzorky vedou na to, že je 23 procent pravděpodobnost, že ve skutečnosti je stávající verze lepší, než vámi vybraná nejlepší varianta. A to je tak velké číslo, že se o statistice mluvit nedá. To i šestikomorový revolver je na tom lépe.

Chápu, že pokud je to pro zákazníka malý projekt a malé náklady, že do toho jde i za těchto podmínek.

Ano, jak jsem zde mnohokrát zmínil, bylo přímo vyžadováno, aby to bylo co nejkratší i za cenu možné chyby.

Hod kostkou trvá pár sekund a dost špatně se fakturuje :-))