Stručně: A/B testování je experiment, ve kterém se náhodně rozděleným skupinám současně zobrazí kontrolní a změněná varianta a porovná se předem určený výsledek.
Jak A/B testování používám v praxi
Před spuštěním zapíšu hypotézu, primární metriku, ochranné metriky, cílové publikum a pravidlo ukončení. Testuji jednu podstatnou změnu, kterou lze v případě úspěchu nasadit. Kontroluji správné rozdělení, technické chyby a celý obchodní dopad. Pokud web nemá dost provozu, použiji výzkum a odstraním zjevnou překážku místo čekání na falešně přesný výsledek.
Na co si dát pozor
Opakované sledování testu a ukončení v prvním vítězném dni zvyšuje riziko náhody. Stejně klame test mnoha změn bez schopnosti vysvětlit, co rozhodlo. Statistická významnost sama neznamená obchodní význam.
Otázky pro rozhodnutí
- Jakou hypotézu testujeme?
- Máme dost provozu a času?
- Které metriky nesmějí změnou utrpět?
- Nasadíme vítěznou variantu i provozně?