Zacznij od decyzji, którą ma ułatwić test
Mały test marketingowy powinien odpowiadać na konkretne pytanie: czy warto wprowadzić daną zmianę na stałe, poprawić ją, czy z niej zrezygnować? Jeśli chcesz sprawdzić nowy tekst na stronie oferty, nie zaczynaj od listy wszystkich dostępnych danych. Najpierw zapisz, jakie zachowanie klienta ma się zmienić. Może to być wysłanie zapytania, przejście do formularza albo ukończenie zakupu. Dzięki temu łatwiej wybierzesz wskaźnik, który pomoże podjąć decyzję.
Opisz również zakres testu. Zanotuj, co zmienisz, gdzie pojawi się nowa wersja i do jakich odbiorców trafi. Test nowego przycisku na jednej stronie to inne przedsięwzięcie niż jednoczesna zmiana reklamy, ceny i formularza. Im więcej elementów zmienisz naraz, tym trudniej będzie stwierdzić, co mogło wpłynąć na wynik.
Wybierz jeden główny wskaźnik
Główny wskaźnik powinien być blisko celu testu, zrozumiały i możliwy do policzenia w ten sam sposób przed zmianą i po niej. Jeśli testujesz formularz kontaktowy, możesz wybrać odsetek jego odwiedzających, którzy wysłali zgłoszenie. Jeśli zmieniasz wiadomość przypominającą o umówieniu terminu, bardziej użyteczna może być liczba potwierdzonych rezerwacji wśród osób, do których wiadomość dotarła. Samo otwarcie wiadomości byłoby wtedy sygnałem pomocniczym, a nie miarą powodzenia całego testu.
Zapisz dokładną definicję wybranego wskaźnika. W przypadku odsetka określ, co liczysz jako wynik oraz jaka liczba stanowi podstawę obliczenia. Ustal też, czy jedna osoba może zostać policzona więcej niż raz. Nie zmieniaj tej definicji w trakcie testu tylko dlatego, że inna liczba wygląda korzystniej.
Możesz obserwować dodatkowe dane, ale nadaj im inną rolę. Na przykład po uproszczeniu formularza sprawdzaj nie tylko odsetek wysłanych zgłoszeń, lecz także to, czy zgłoszenia zawierają informacje potrzebne do odpowiedzi. Ten drugi pomiar chroni przed pozorną poprawą: więcej formularzy nie musi oznaczać lepszej obsługi ani większej liczby wartościowych rozmów.
Zbuduj punkt odniesienia z porównywalnych danych
Punkt odniesienia to wynik liczony według tych samych zasad przed wprowadzeniem zmiany. Wybierz okres, w którym obecna wersja działała bez istotnych zakłóceń, i zapisz zarówno wynik, jak i liczbę zdarzeń, z których go obliczono. Sam odsetek może wprowadzać w błąd: wynik oparty na kilku wizytach jest znacznie mniej stabilny niż wynik oparty na większej liczbie obserwacji.
Sprawdź, czy okres sprzed zmiany będzie dało się rozsądnie porównać z okresem testowym. Dni tygodnia, promocje, przerwy w dostępności produktu lub zmiany źródła ruchu mogą wpływać na zachowanie klientów. Nie zawsze da się usunąć takie różnice, szczególnie w małej firmie. Można je jednak zanotować i ostrożniej interpretować wynik. Jeśli nie masz wiarygodnych danych historycznych, potraktuj pierwszy okres pomiaru jako etap poznania obecnej sytuacji, zamiast dopisywać punkt odniesienia z pamięci.
Ustal też, skąd pochodzą dane i kto sprawdzi ich poprawność. Prosty arkusz może wystarczyć, jeśli sposób wpisywania wyników jest stały. Przy narzędziach analitycznych upewnij się, że zdarzenie jest rejestrowane prawidłowo i nie dubluje się. Zbieraj tylko dane klientów potrzebne do oceny testu, a dostęp do nich ogranicz do osób, które rzeczywiście go potrzebują.
Przed startem zapisz zasady oceny
Przygotuj krótką notatkę: cel, jedną wprowadzaną zmianę, główny wskaźnik, jego definicję, punkt odniesienia, planowany czas obserwacji oraz warunki, które mogą utrudnić porównanie. Zdecyduj wcześniej, jaka różnica byłaby dla firmy praktycznie istotna. Niewielka poprawa może nie uzasadniać dodatkowej pracy, jeżeli nowa wersja wymaga ręcznej obsługi każdej wiadomości.
Nie traktuj ustalonego progu jak obietnicy wyniku. Gdy ruch jest mały albo klienci podejmują decyzje przez dłuższy czas, jeden test może nie dać jednoznacznej odpowiedzi. Unikaj kończenia go w chwili, gdy liczby akurat wyglądają najlepiej. Zamiast tego trzymaj się zapisanego planu, a po zakończeniu sprawdź główny wskaźnik, liczbę obserwacji i ewentualne skutki uboczne.
Wyciągnij wniosek, który pomoże wykonać następny krok
W podsumowaniu oddziel to, co zaobserwowano, od interpretacji. Przykładowo: odsetek wysłanych formularzy wzrósł, ale w tym samym czasie zmieniło się źródło części wizyt. Taki wynik może zachęcać do dalszego sprawdzenia pomysłu, nie dowodzi jednak, że sama zmiana formularza spowodowała poprawę.
Na koniec podejmij jedną z prostych decyzji: zostawić zmianę, wrócić do poprzedniej wersji lub przeprowadzić kolejny, lepiej zawężony test. Zachowaj notatkę z definicją wskaźnika i punktem odniesienia. Dzięki niej następny eksperyment zacznie się od uporządkowanego pytania, a nie od przeglądania przypadkowych liczb.
