Najpierw ustal, jaką decyzję chcesz podjąć
Wyobraź sobie, że prowadzisz mały sklep i chcesz uprościć opis dostawy na stronie produktu. Możesz pokazać części odwiedzających stary opis, a pozostałym nowy. Możesz też opublikować nowy opis dla wszystkich i obserwować, czy ułatwia zakupy. Pierwsze podejście to test A/B, drugie — zmiana wprowadzona na próbę. Oba mogą być użyteczne, ale odpowiadają na nieco inne potrzeby.
Zanim wybierzesz metodę, zapisz jedno zdanie: „Jeśli zmienię X, spodziewam się Y, ponieważ Z”. W przykładzie może to brzmieć: „Jeśli napiszę warunki dostawy prostszym językiem, klienci rzadziej będą pytać o termin wysyłki, ponieważ łatwiej znajdą odpowiedź”. Tak sformułowany pomysł podpowiada, co obserwować. Nie musisz od razu mierzyć sprzedaży, jeśli zmiana dotyczy przede wszystkim zrozumiałości informacji.
Kiedy warto wybrać test A/B
Test A/B polega na równoległym pokazaniu dwóch wariantów porównywalnym grupom odbiorców. Jego zaletą jest to, że obie wersje działają w podobnym czasie. Ogranicza to wpływ części zmian zewnętrznych, takich jak inny dzień tygodnia czy trwająca promocja. Test ma sens, gdy potrafisz rozdzielić ruch bez świadomego kierowania wybranych klientów do konkretnej wersji, utrzymać warianty przez zaplanowany okres i z góry wskazać główną miarę sukcesu.
Przy małym ruchu największą pułapką jest ogłoszenie zwycięzcy po kilku działaniach klientów. Pojedynczy zakup, kliknięcie lub zapytanie może łatwo przechylić wynik, nie mówiąc wiele o tym, co wydarzy się później. Jeśli ważnych zdarzeń jest niewiele, potraktuj test jako źródło sygnałów, a nie pewny werdykt. Nie zmieniaj w jego trakcie wielu elementów naraz: gdy jednocześnie poprawisz nagłówek, cenę i przycisk, trudno będzie ustalić, co wpłynęło na zachowanie odbiorców.
Kiedy lepsza jest zmiana wprowadzona na próbę
Próba jest często praktyczniejsza, gdy ruch jest niewielki, zmiana ma małe ryzyko i łatwo ją cofnąć. Może dotyczyć czytelniejszego formularza kontaktowego, krótszej wiadomości po zakupie albo lepszego uporządkowania odpowiedzi na częste pytania. Ustal przed wdrożeniem, jak długo będziesz obserwować efekt, kto sprawdzi poprawność treści i w jakiej sytuacji wrócisz do poprzedniej wersji. Zachowaj jej kopię, aby cofnięcie zmiany nie wymagało odtwarzania jej z pamięci.
Porównanie okresu „przed” i „po” wymaga ostrożności. Różnica może wynikać nie tylko z Twojej poprawki, lecz także ze zmiany źródła ruchu, oferty lub liczby zamówień. Dlatego obok wybranej miary zapisz kontekst: czy w tym czasie prowadzisz kampanię, zmieniasz ceny albo aktualizujesz asortyment. Jeśli okoliczności mocno się różnią, nie przypisuj całego wyniku jednej zmianie. Próba nadal może pokazać, czy rozwiązanie działa poprawnie i jakie pytania zadają klienci.
Mierz to, co jest blisko badanej zmiany
W małej firmie warto zacząć od miar powiązanych bezpośrednio z pomysłem. Przy nowym opisie dostawy mogą to być pytania o termin wysyłki oraz uwagi klientów, którzy nie znaleźli informacji. Przy uproszczonym formularzu — liczba poprawnie przesłanych zgłoszeń i powtarzające się problemy z jego wypełnieniem. Sprzedaż też można obserwować, ale jest zależna od wielu czynników i nie zawsze pomoże ocenić drobną poprawkę.
Dodaj miary kontrolne, które pomogą wychwycić niepożądany skutek. Krótszy formularz nie jest usprawnieniem, jeśli zgłoszenia tracą informacje niezbędne do udzielenia odpowiedzi. Automatyczna wiadomość nie pomaga, jeśli zawiera nieaktualne warunki dostawy. Sprawdź zmianę na telefonie i komputerze oraz przejdź samodzielnie ścieżkę klienta. Do oceny nie zbieraj więcej danych osobowych, niż potrzebujesz; dostęp do zapisów ogranicz do osób, które faktycznie pracują nad usprawnieniem.
Podejmij decyzję i zostaw notatkę na przyszłość
Po zakończeniu obserwacji wybierz jedną z trzech decyzji: zostawić zmianę, cofnąć ją albo poprawić i sprawdzić ponownie. Oddziel to, co zaobserwowano, od interpretacji. Zapis „klienci nadal pytali o termin dostawy” jest obserwacją; stwierdzenie „opis jest niezrozumiały” to możliwe wyjaśnienie, które warto jeszcze zweryfikować. Gdy danych jest mało lub obraz jest niejednoznaczny, uczciwą decyzją może być pozostawienie rozwiązania, które jest po prostu czytelniejsze i nie powoduje zauważalnych problemów.
Krótka notatka wystarczy: co zmieniono, dlaczego, kiedy, jak sprawdzano efekt i co postanowiono. Dzięki niej nie będziesz wracać do tego samego pomysłu bez pamięci o poprzedniej próbie. Test A/B wybieraj wtedy, gdy możesz rzetelnie porównać warianty i wynik pomoże podjąć konkretną decyzję. W pozostałych sytuacjach dobrze zaplanowana, odwracalna zmiana na próbę bywa rozsądniejszym sposobem uczenia się.
