Zacznij od problemu, nie od rozwiązania
W małej firmie pomysły na usprawnienia często pojawiają się między innymi zadaniami: skrócić formularz, zmienić temat wiadomości, inaczej opisać dostawę. Każdy z nich może być wart uwagi, ale sam pomysł nie jest jeszcze hipotezą. Zdanie „nowy formularz zwiększy sprzedaż” nie mówi, dlaczego miałoby się tak stać ani po czym poznamy, czy zmiana pomogła.
Najpierw nazwij zaobserwowaną trudność. Może klienci zadają podobne pytania przed zakupem, porzucają formularz kontaktowy albo nie otwierają wiadomości po zapisaniu się na listę. Oddziel obserwację od wyjaśnienia: pytania o dostawę są faktem, który możesz zauważyć w korespondencji; przekonanie, że brakuje widocznej informacji o kosztach dostawy, jest już przypuszczeniem. Hipoteza pozwala to przypuszczenie sprawdzić, zamiast od razu traktować je jako pewnik.
Zapisz zmianę, odbiorców i oczekiwane zachowanie
Przydatny szablon brzmi: „Jeśli zmienimy [jeden element] dla [określonej grupy], to [konkretne zachowanie] będzie występować częściej lub rzadziej, ponieważ [uzasadnienie]”. Na przykład: „Jeśli pokażemy koszt dostawy obok ceny produktu, więcej osób rozpoczynających zakup przejdzie do kolejnego kroku, ponieważ wcześniej poznają pełniejszy koszt zamówienia”. To nadal przypuszczenie, ale wiadomo już, co zmienić i czego szukać.
Wybieraj zachowanie bliskie wprowadzanej zmianie. Przy nowym opisie przycisku rozsądniej obserwować kliknięcia w ten przycisk niż ogólny miesięczny przychód, na który wpływa wiele innych spraw. Określ też, kogo dotyczy test: nowych odwiedzających, odbiorców konkretnej wiadomości czy klientów pytających o daną usługę. Im wyraźniejsze granice, tym łatwiej porównać wyniki i nie przypisać zmianie efektów, których nie mogła wywołać.
Uzasadnienie „ponieważ” jest ważne. Zmusza do wskazania możliwego mechanizmu: krótszy formularz wymaga mniej wysiłku, a jaśniejsza informacja o terminie realizacji usuwa niepewność. Jeśli nie potrafisz wyjaśnić, czemu zmiana miałaby zadziałać, warto wrócić do rozmów z klientami lub przejrzeć powtarzające się pytania.
Ustal miarę i zasady przed rozpoczęciem testu
Do hipotezy dopisz główną miarę, sposób jej liczenia oraz okres obserwacji. Jeśli sprawdzasz formularz, może to być udział osób, które go wysłały, wśród osób, które otworzyły stronę z formularzem. Sama liczba wysłanych zgłoszeń niewiele powie, gdy w jednym tygodniu stronę odwiedziło znacznie więcej osób niż w drugim. Zapisz też, skąd weźmiesz dane i czy potrafisz zbierać je w ten sam sposób przed zmianą i po niej.
Określ z góry, co uznasz za sygnał wart dalszego działania. Nie musi to być sztywny próg liczbowy, zwłaszcza gdy ruch jest niewielki. Może to być połączenie stabilnego kierunku zmiany, braku pogorszenia jakości zgłoszeń i powtarzających się uwag klientów. Ustal również miarę kontrolną: więcej kliknięć nie pomoże, jeśli po kliknięciu klienci częściej rezygnują lub dostają niejasną informację.
Przy narzędziach analitycznych zbieraj tylko dane potrzebne do oceny testu i sprawdź, kto ma do nich dostęp. Nie trzeba zapisywać treści prywatnych wiadomości, by policzyć liczbę odpowiedzi. Jeśli automatycznie oznaczasz zdarzenia lub tworzysz raport, sprawdź na kilku przykładach, czy narzędzie rejestruje właściwe działania.
Zaprojektuj mały test, w którym da się coś porównać
Najprostszy test dotyczy jednej istotnej zmiany naraz. Jeśli jednocześnie zmienisz cenę, zdjęcia i opis produktu, trudno będzie wskazać, co mogło wpłynąć na zachowanie klientów. Wybierz element, który możesz wdrożyć i w razie potrzeby cofnąć bez dużych kosztów. Zapisz jego wcześniejszą wersję, datę wprowadzenia zmiany i inne ważne okoliczności, takie jak równoległa kampania.
Porównanie może polegać na pokazaniu dwóch wersji podobnym grupom odbiorców albo na obserwacji okresu przed zmianą i po niej. Drugi sposób jest łatwiejszy organizacyjnie, lecz bardziej podatny na wpływ sezonowości, różnic w źródłach ruchu czy zmian w ofercie. Nie porównuj też wiadomości wysłanych do nowych klientów z wiadomościami wysłanymi do stałych odbiorców tak, jakby były to jednakowe grupy. Jeśli nie możesz zapewnić dobrego porównania, potraktuj test jako sposób na zebranie wskazówek, a nie rozstrzygający dowód.
Wyciągnij wniosek i zapisz następny krok
Po zakończeniu testu wróć do zapisanego pytania, zamiast wybierać z raportu tylko liczby, które wyglądają obiecująco. Sprawdź główną miarę, miarę kontrolną oraz to, czy przebieg testu był zgodny z planem. Przy małej liczbie obserwacji przypadkowe wahania mogą być duże, więc pojedynczy dobry tydzień nie musi oznaczać trwałej poprawy. Warto zestawić liczby z uwagami klientów, pamiętając, że kilka wypowiedzi również nie reprezentuje wszystkich odbiorców.
Zakończ test jednym z prostych postanowień: zachować zmianę, cofnąć ją albo sprawdzić ponownie w lepszych warunkach. Dopisz, czego się dowiedziałeś i jakie pytanie pojawiło się dalej. Nawet hipoteza, która się nie potwierdziła, może być użyteczna, jeśli zawęża listę przypuszczeń i pomaga wybrać następny, niewielki eksperyment.
