Najpierw zdecyduj, na jakie pytanie odpowiada test
Test marketingowy ma sens, gdy porównuje konkretną zmianę z dotychczasowym sposobem działania. Zamiast pytać, czy nowy komunikat „działa lepiej”, zapisz: „Czy krótszy opis oferty zwiększa odsetek osób, które przechodzą do formularza?”. Wybierz jedną główną miarę, sposób jej liczenia i punkt odniesienia. Jeśli w trakcie zmienisz jednocześnie opis, zdjęcie i grupę odbiorców, trudniej będzie ustalić, co wpłynęło na wynik.
Przed rozpoczęciem określ też, co uznasz za zmianę przydatną w praktyce. Niewielka poprawa liczby kliknięć może nie mieć znaczenia, jeśli zgłoszenia są mniej trafne lub zespół musi poświęcać znacznie więcej czasu na ich obsługę. Warto więc obserwować także jedną lub dwie miary kontrolne, takie jak liczba wartościowych zapytań albo skarg klientów. Nie muszą one rozstrzygać o zwycięzcy, ale pomagają zauważyć niepożądany koszt zmiany.
Dopasuj czas do rytmu klientów i liczby obserwacji
Nie ma jednego czasu trwania odpowiedniego dla każdego testu. Inaczej zachowują się odbiorcy kampanii oglądanej codziennie, a inaczej klienci, którzy rozważają zakup przez kilka tygodni. Zaplanuj okres obejmujący zwykły rytm kontaktów z firmą: dni robocze i wolne, wysyłkę newslettera czy typowy czas od zapytania do zakupu. Jeśli test dotyczy zakupów, nie oceniaj go wyłącznie po pierwszych wejściach na stronę.
Sprawdź też, ile zdarzeń zwykle zbierasz w takim okresie. Gdy formularz otrzymuje niewiele zgłoszeń, kilka dodatkowych odpowiedzi może wyglądać imponująco, choć łatwo o przypadkowe wahanie. W takiej sytuacji rozważ dłuższy test, częściej występującą miarę pomocniczą lub mniejszy eksperyment dotyczący wcześniejszego etapu ścieżki klienta. Nie wydłużaj jednak testu bez końca tylko po to, by zobaczyć oczekiwany rezultat.
Zapisz z góry zarówno planowany czas, jak i minimalną liczbę obserwacji, które pozwolą Ci w ogóle podjąć decyzję. Jeśli firma nie ma danych do precyzyjnych obliczeń, taki plan nadal porządkuje ocenę. Możesz uznać, że po wyznaczonym terminie wynik pozostanie nierozstrzygający, jeżeli ruch lub liczba zapytań okażą się zbyt małe.
Ustal zasady przed startem, nie po spojrzeniu na wykres
Pierwszy dobry dzień przyciąga uwagę, ale może wynikać z tego, kto akurat zobaczył ofertę, z jednorazowej wzmianki o firmie albo ze zwykłej zmienności. Dlatego przed uruchomieniem zapisz datę rozpoczęcia, planowany koniec, porównywane warianty oraz sposób przypisywania wyników do każdego z nich. Określ, czy na wynik mają wpływać inne działania, na przykład promocja cenowa. Jeżeli takiego działania nie da się uniknąć, odnotuj je przy późniejszej interpretacji.
W trakcie testu sprawdzaj, czy wszystko działa: formularz przyjmuje wiadomości, link prowadzi we właściwe miejsce, a dane są zapisywane poprawnie. Nie traktuj jednak każdego sprawdzenia jako nowej okazji do wyboru zwycięzcy. Częste kończenie testu w chwili, gdy wykres wygląda najlepiej, zwiększa ryzyko decyzji opartej na przejściowym skoku. Najprostsza zasada brzmi: wyniki oglądamy na bieżąco pod kątem błędów, a oceniamy w ustalonym terminie.
Przewidź wyjątki. Test można przerwać wcześniej, gdy pojawi się awaria, myląca informacja dla klientów, problem z danymi osobowymi albo wyraźny sygnał, że zmiana pogarsza obsługę. Zapisz przyczynę przerwania; nie przedstawiaj wówczas niepełnego porównania jako ostatecznego dowodu, że jeden wariant jest lepszy.
Zadbaj o uczciwe porównanie
Jeśli to możliwe, pokazuj oba warianty równolegle podobnym grupom odbiorców. Porównanie nowej strony z wynikami sprzed kilku miesięcy jest prostsze organizacyjnie, lecz łatwiej pomylić wpływ zmiany z wpływem sezonu, źródła ruchu lub aktualnej oferty. Gdy równoległy test nie jest możliwy, notuj te różnice i ostrożniej formułuj wnioski.
Nie dokładaj narzędzi tylko po to, by test wyglądał bardziej profesjonalnie. W małej firmie wystarczy często arkusz z datami, opisem wariantów, liczbą wizyt lub wysyłek i wynikiem głównej miary. Dostęp do danych klientów ogranicz do osób, które go potrzebują; w zestawieniu do oceny testu używaj danych zbiorczych, jeśli dane poszczególnych osób nie są konieczne. Przed podjęciem decyzji sprawdź, czy liczby z narzędzia zgadzają się z rzeczywistymi zgłoszeniami.
Po terminie wybierz działanie, także gdy wynik jest niejasny
W ustalonym dniu zestaw główną miarę, miary kontrolne i informacje o zakłóceniach. Wynik może przemawiać za wdrożeniem zmiany, za pozostaniem przy dotychczasowej wersji albo nie pozwalać na rozstrzygnięcie. Ta trzecia możliwość nie oznacza porażki: być może różnica jest zbyt mała, aby miała znaczenie dla firmy, lub test zebrał za mało obserwacji.
Zapisz krótką notatkę: co sprawdzano, jak długo, co się wydarzyło i jaki będzie następny krok. Jeżeli chcesz powtórzyć test, ustal nowy plan przed startem, zamiast przedłużać poprzedni do uzyskania atrakcyjnego wyniku. Dzięki temu każdy eksperyment, nawet bez wyraźnego zwycięzcy, pomaga lepiej zaplanować kolejne usprawnienie.
