Podle mě je hodně ošidné používat počet shlédnutých stránek na návštěvníka a bounce rate jako konverzní metriky:
- Snadno se může stát, že ta nejlepší varianta z pohledu počtu stránek ve skutečnosti byla nejhorší, protože návštěvníka tak dezorientovala, že potom hledal svou odpověď na mnoha dalších stránkách a mnohokrát se v prohlížeči vracel sem a tam.
- Pokud má nějaká varianta nejlepší bounce rate, znamená to, že nejvíce návštěvníka zaujala a dokázala udržet při příchodu na web - to je určitě pozitivní. Ale už nám to nic neříká o tom, jestli se návštěvník pak choval, jak bychom chtěli. Ukazuje tedy jen jednu polovinu pravdy.
A pak bych se ještě vyjádřil k samotné výchozí koncepci experimentu. Myslím, že A/B testování by nemělo být zužováno na náhodné prohazování boxů na jinak špatně zpracované stránce - to by ho pak mohly s odpuštěním realizovat cvičené opice nebo počítače samotné. A/B testování by se mělo nasazovat v průběhu návrhu či optimalizace stránky, kdy máme více hypotéz o tom, jak mohou věci fungovat, a potřebujeme se rozhodnout pro tu správnou.
Ten váš příklad působí klasicky v "Google-Do-It-Yourself" stylu, který ale podle mě v praxi nepřináší výsledky a vede k tomu, že lidé A/B testování i optimalizaci zavrhnou.
