Názor k článku
Jak pomocí A/B testování zvýšit výnosnost webu

Jak už bylo řečeno výše, ano, měření může obsahovat chybu vyšší, než je ve statistice běžné.

Jenže si představte situaci: potřebujete rychle z mnoha důvodů před Vánoci zlepšit metriky. Ideální testování by zabralo 20 až 40 dní a než by proběhly následné procesy, máte dávno po Vánocích.

Takže máte na výběr: buď prošvihnout Vánoce, nebo akceptovat, že tam možná bude chyba, ale aspoň se o něco pokusit (ale nesmí to trvat déle než týden).

Toto byly okolnosti experimentu. Navíc jsme měli dovoleno publikovat výsledky (což se jen tak nestává). Mohli jsme je upravit nebo některá čísla nezveřejňovat. Ale já chtěl, aby byl experiment otevřený (což zahrnuje i to, že může být rozcupován na kousky). A byl jsem upozorňován na to, že "budu bit" za malé vzorky.

Ale domníval jsem se, že odborníci to vezmou v potaz (proto jsme zveřejnili konkrétní čísla a do Lupy jsme dokonce poslali všechny varianty) a ukázka bude spíše sloužit pro veřejnost.

Ano je hodně těžké získat souhlas s publikováním nějakého experimentu, takže jsem rád alespoň za něco.

Takže ještě jednou: odborníci díky konkrétně zveřejněným číslům vezmou v potaz, že vzorek je malý a může obsahovat větší chybu, než je standard.

Veřejnost získá vhled do toho, jak probíhá A/B testování.

P. S. Na škole jsem absolvoval dva kurzy výzkumů v psychologii a jeden kurz statistiky. Jak dopadly ty první dva si už nepamatuji, ale ze statistiky jsem získal A.