Dobry wynik nie zawsze oznacza dobrą zmianę
Właściciel małego sklepu zmienia treść przycisku na stronie produktu. Po tygodniu widzi więcej zamówień niż tydzień wcześniej. Kuszący wniosek brzmi: nowy przycisk działa. W tym samym czasie mogła jednak zacząć się wyprzedaż, klienci mogli wrócić po wypłacie albo produkt zyskał uwagę dzięki niezwiązanej z testem publikacji. Sam wzrost nie pokazuje jeszcze, która z tych rzeczy miała znaczenie.
Eksperyment marketingowy służy porównaniu możliwie podobnych sytuacji. Im więcej rzeczy zmienia się naraz, tym trudniej przypisać wynik konkretnej decyzji. Nie oznacza to, że mała firma potrzebuje skomplikowanego systemu pomiarowego. Warto natomiast przed testem zapisać, co dokładnie zmieniamy, jaki rezultat obserwujemy i jakie inne zdarzenia mogą na niego wpłynąć.
Sezonowość: gdy zmienia się popyt, a nie pomysł
Popyt na wiele produktów i usług zmienia się w rytmie tygodnia, miesiąca lub roku. Inaczej mogą wyglądać zakupy w dni robocze i w weekendy, przed świętami i po nich czy na początku sezonu i pod jego koniec. Jeśli nową wersję reklamy uruchomimy w okresie większego zainteresowania, a starą ocenimy na podstawie spokojniejszego okresu, porównanie będzie nierówne.
Przed rozpoczęciem testu sprawdź w dostępnych danych, czy podobne wahania pojawiały się wcześniej. Nie traktuj historii jako prognozy, lecz jako wskazówkę do planowania. Jeśli to możliwe, porównuj wersje działające równolegle, zamiast oceniać jedną wyłącznie na podstawie wcześniejszego tygodnia. Gdy równoległe porównanie nie wchodzi w grę, wybierz okresy obejmujące podobne dni tygodnia i zanotuj, czym się różniły. Przy silnej sezonowości nawet takie porównanie może dać jedynie wstępną wskazówkę.
Promocje i inne działania: ukryte zmiany w tle
Rabat, darmowa dostawa lub wiadomość do stałych klientów potrafią zmienić liczbę zamówień podczas testu nowego opisu produktu. Podobnie działa zwiększenie budżetu reklamowego, zmiana ceny, dodanie nowego kanału sprzedaży czy chwilowy brak towaru. Jeśli te zdarzenia występują tylko przy jednej wersji, trudno ocenić wpływ samego opisu.
Pomaga krótki dziennik testu. Zapisz daty promocji, wysyłek, zmian cen i budżetu, a także przerw w działaniu strony lub dostępności produktu. Nie trzeba wstrzymywać całej działalności na czas eksperymentu. Lepiej wybrać jedną zmianę, którą da się odizolować, albo przyznać, że wynik dotyczy całego zestawu działań. Przykładowo test wiadomości wysyłanej w trakcie promocji może powiedzieć coś o tej wiadomości w warunkach promocji, ale niekoniecznie o jej działaniu bez rabatu.
Przypadek i mała liczba obserwacji
W małej firmie kilka dodatkowych zakupów może wyraźnie zmienić wynik tygodnia. Czasem odpowiada za nie pojedynczy klient składający większe zamówienie, a nie poprawa doświadczenia większości odwiedzających. Z tego powodu sam procentowy wzrost może robić większe wrażenie niż liczby, z których go obliczono.
Oglądaj jednocześnie skalę i kontekst: ilu klientów zobaczyło każdą wersję, ile osób wykonało oczekiwane działanie i czy pojawiły się nietypowe zamówienia. Nie kończ testu tylko dlatego, że wynik wygląda obiecująco po pierwszym dobrym dniu. Ustal wcześniej, kiedy sprawdzisz rezultaty, i daj obu wersjom porównywalną okazję do pokazania się klientom. Jeśli obserwacji jest niewiele, zapisz wniosek jako niepewny. Możesz kontynuować test lub powtórzyć go później, zamiast od razu przebudowywać cały proces.
Prosty sposób na uczciwszą ocenę testu
Zacznij od pytania, na przykład: „Czy krótsza wiadomość pomaga klientom przejść do oferty?”. Wybierz jeden główny sygnał, który odpowiada temu pytaniu, i upewnij się, że potrafisz mierzyć go tak samo dla obu wersji. Zmieniaj możliwie jeden element naraz. Jeśli używasz narzędzia do podziału odbiorców, sprawdź jego ustawienia, poprawność wyświetlania wersji i to, czy dane klientów są przetwarzane tylko w potrzebnym zakresie.
Po teście zestaw wynik z notatkami o sezonie, promocjach i nietypowych zdarzeniach. Zadaj sobie trzy pytania: czy grupy miały podobne warunki, czy różnica nie opiera się na kilku przypadkowych działaniach oraz czy rezultat pasuje do celu testu? Jeśli odpowiedź na któreś pytanie jest niejasna, nie nazywaj zmiany zwycięzcą. W małych eksperymentach użyteczny wynik bywa skromniejszy: wskazuje, co warto sprawdzić ponownie i jak lepiej przygotować następny test.
