Najpierw ustal, co właściwie jest niejasne
Mała firma może przetestować nowy temat wiadomości, opis produktu albo kolejność informacji na stronie i nie zobaczyć wyraźnej różnicy. Czasem jeden wariant wypada lepiej pod względem kliknięć, ale gorzej pod względem zapytań. Innym razem wynik wygląda obiecująco, lecz pochodzi od kilku klientów. „Niejednoznaczny” nie znaczy więc automatycznie „pomysł nie działa”. Oznacza, że na podstawie tej próby trudno podjąć pewną decyzję.
Wróć do pytania postawionego przed testem. Jaką zmianę wprowadzono, do kogo ją skierowano i po czym miało być widać poprawę? Jeśli celem było zwiększenie liczby wartościowych zapytań, same otwarcia wiadomości nie rozstrzygają sprawy. Zapisz wynik główny oraz obserwacje pomocnicze osobno. Dzięki temu pojedynczy atrakcyjny wskaźnik nie przesłoni tego, na czym firmie rzeczywiście zależy.
Sprawdź, czy można ufać porównaniu
Przed oceną pomysłu przyjrzyj się warunkom próby. Czy obie wersje trafiły do podobnych grup odbiorców? Czy działały w zbliżonym czasie i czy poza badaną zmianą nie zmieniono ceny, dostępności produktu albo sposobu kierowania ruchu? Sprawdź też, czy pomiar działał poprawnie: formularz mógł przestać wysyłać zgłoszenia, a błędnie oznaczone linki mogły utrudnić przypisanie kliknięć. Taki problem mówi więcej o teście niż o samym pomyśle.
Przy niewielkiej liczbie kontaktów przypadkowe różnice mogą mieć duże znaczenie. Nie próbuj na siłę ogłaszać zwycięzcy. Zanotuj liczbę obserwacji, czas trwania próby i okoliczności, które mogły wpłynąć na wynik. Jeśli korzystasz z arkusza lub narzędzia do automatycznych raportów, sprawdź ręcznie kilka wpisów i usuń zbędne dane klientów. Raport ma pomagać w ocenie, a nie zastępować kontrolę jakości.
Powtórz test, gdy pytanie jest ważne, a próba była słaba
Powtórzenie ma sens, gdy decyzja może wpłynąć na stały sposób działania firmy, a pierwszy test był zbyt krótki, objął mało osób lub został zakłócony. Zachowaj wtedy to samo główne pytanie i sposób oceny. Jeśli za każdym razem zmieniasz jednocześnie ofertę, odbiorców i miarę sukcesu, nie sprawdzasz ponownie tej samej hipotezy. Zamiast tego zaczynasz nowy eksperyment.
Przed kolejną próbą określ, ile czasu i pracy możesz na nią przeznaczyć oraz jaki wynik skłoni Cię do wdrożenia zmiany. Nie musi to być skomplikowany próg liczbowy. Dla lokalnej firmy praktycznym kryterium może być na przykład poprawa liczby trafnych zapytań bez wydłużenia czasu ich obsługi. Powtórzenie warto też odłożyć, jeśli obecnie brakuje ruchu lub zgłoszeń potrzebnych do sensownego porównania. W takim przypadku zapisz pomysł i wróć do niego, gdy warunki będą lepsze.
Zmień pomysł, gdy sygnał wskazuje na konkretną przeszkodę
Nie każdy mieszany wynik wymaga identycznej powtórki. Wyobraź sobie, że nowy przycisk na stronie zachęca więcej osób do przejścia do formularza, lecz liczba ukończonych zgłoszeń nie rośnie. Możliwe, że obietnica na przycisku jest niejasna albo formularz wymaga zbyt wiele pracy. To wskazówka do sprawdzenia kolejnego etapu ścieżki, a nie dowód, że wystarczy jeszcze mocniej wyróżnić przycisk.
Wybierz jedną możliwą przyczynę i zaprojektuj małą zmianę, którą da się ocenić. Możesz uprościć treść formularza, doprecyzować komunikat lub pokazać ważną informację przed kliknięciem. Rozmowy z klientami i pytania kierowane do obsługi mogą podsunąć hipotezy, ale nie zastąpią obserwacji zachowania odbiorców po zmianie. Unikaj zbierania dodatkowych danych osobowych tylko po to, by test wyglądał na bardziej szczegółowy.
Odrzuć lub odłóż, gdy dalsza próba nie jest warta kosztu
Odrzucenie pomysłu nie wymaga udowodnienia, że nigdy nie zadziała. Może wystarczyć to, że dotychczasowe próby nie pokazują użytecznej poprawy, a kolejne pochłonęłyby czas potrzebny na ważniejsze działania. Podobnie postąp, gdy zmiana utrudnia klientom zakup, zwiększa liczbę pomyłek lub wymaga obsługi, na którą firma nie ma zasobów. Wynik marketingowy warto oceniać razem z jakością doświadczenia klienta.
Zakończ eksperyment krótką notatką: co sprawdzono, jaki był wynik, jakie były ograniczenia i dlaczego zapadła decyzja. Oddziel „odrzucamy” od „odkładamy do czasu, aż będzie więcej danych”. Taki zapis ułatwia uniknięcie przypadkowego powtarzania tych samych prób. Najważniejszym efektem niejednoznacznego testu nie musi być zwycięski wariant. Może nim być lepsze pytanie i bardziej świadoma decyzja o wykorzystaniu ograniczonego czasu firmy.
