#robo $ROBO
Prawdziwy test Fundacji Fabric: Kiedy zachęty zwiększają sygnał, ale nie dopasowanie
Pamiętam, jak patrzyłem na nasz pulpit o 2:17 w nocy, po uruchomieniu kampanii zachęt. Zintegrowaliśmy haki nagród Fundacji Fabric w naszym procesie rejestracji w tym tygodniu. Nic wyszukanego. Połącz portfel. Wykonaj zadanie. Zdobądź punkty. Spodziewaliśmy się wzrostu.
Otrzymaliśmy skok.
Liczba aktywnych portfeli dziennie wzrosła z 1,840 do 6,912 w ciągu trzech dni. Wskaźniki ukończenia naszego głównego działania wzrosły z 22 procent do 64 procent. Na papierze wyglądało to, jakby dopasowanie produktu do rynku w końcu się zrealizowało.
Nie zrealizowało.
W drugim tygodniu krzywa retencji opowiedziała inną historię. Retencja w dniu 7 wynosiła 18 procent przed zachętami. W trakcie kampanii tymczasowo wzrosła do 41 procent. Po zmniejszeniu nagród spadła do 15 procent. Mniej niż na początku.
To był pierwszy raz, kiedy zrozumiałem, co „poza zachętami” naprawdę oznacza w praktyce. Nie filozoficznie. Operacyjnie.
Primitwy Fabric działały. Technicznie wszystko robiło to, co powinno. Dystrybucja nagród była czysta. Potwierdzenia na łańcuchu były wystarczająco szybkie, aby użytkownicy widzieli wyniki średnio w mniej niż 20 sekund. Brak dużych opóźnień indeksowania. Brak koszmarów pojednania. Z perspektywy systemów było stabilnie.
Ale zachęty zmieniły intencje użytkowników.
Ludzie nie korzystali z naszego produktu. Wykonywali zadania. To brzmi subtelnie. Nie jest. Nasza skrzynka wsparcia zmieniła ton w ciągu dni. Wcześniej pytania dotyczyły funkcji. Po zachętach, 70 procent zgłoszeń dotyczyło kwalifikowalności do nagród, błędnych punktów, synchronizacji portfela.
Produkt stał się kranem.
I aby być fair, to nie było całkowicie złe. Uczyliśmy się szybciej w dwa tygodnie, niż w dwa miesiące. Fabric sprawił, że eksperymentowanie stało się tanie. Mogliśmy wdrożyć nową zachętę zadania w kilka godzin i zmierzyć zainteresowanie do następnego poranka. Jedna kampania pokazała, że 38 procent użytkowników, którzy ukończyli Zadanie A, nigdy nie dotknęło Funkcji B, której zakładaliśmy, że jest kluczowa. To założenie szybko umarło.
Mimo to, coś wydawało się nie tak w przepływie pracy.
Przed incenti
@Fabric Foundation c Foundation$ROBO