Test A/B

Pokazanie dwóch wersji losowo podzielonym użytkownikom i zmierzenie, która rusza wybraną metrykę.

Losowy przydział sprawia, że grupy są porównywalne, więc różnicę w metryce można przypisać zmianie. Wyniki wymagają odpowiedniego ruchu: przy kilkuset odwiedzających tygodniowo widać tylko duże efekty, a zaglądanie codziennie, aż coś wyjdzie istotne, daje fałszywych zwycięzców. Podział robią zwykle flagi funkcji.

Udostępnij: LinkedIn · X ·

Powiązane hasła

Flagi funkcji (feature flags): Przełączniki w kodzie, które włączają albo wyłączają funkcję dla części lub wszystkich użytkowników bez nowego wdrożenia.
Lejek konwersji: Kolejne kroki użytkowników w stronę celu, np. wejście, rejestracja i płatność, z odsetkiem tych, którzy przechodzą z kroku do kroku.
Wskaźnik aktywacji (activation rate): Odsetek nowych użytkowników, którzy w określonym czasie dochodzą do pierwszego prawdziwego użycia produktu.

← Wszystkie hasła

Trzeba to zbudować, naprawić albo przejrzeć?

Buduję i ratuję produkty z agentami kodującymi pod regułami: funkcje AI na produkcji, uczciwe wyceny, poczta, która dochodzi.

Umów darmowe 30 minut Zobacz cenę i termin

Jak pracuję

Przemysław Zalewski · 15+ lat doświadczenia w tworzeniu oprogramowania

„a true bias for action” CTO klienta, publiczna rekomendacja na LinkedInie

Poufność domyślnie. NDA to standard. Nie pokazuję Twojego projektu, nazwy ani zrzutów bez pisemnej zgody, dlatego na tej stronie nie ma nazw klientów, którzy się na to nie zgodzili.
Twój kod, Twoje konta. Kod i dane zostają w Twoim repo i na Twoich kontach. Narzędzia AI działają z wyłączonym trenowaniem na Twoich danych, a sekrety nigdy nie trafiają do modelu.
Przekazanie, z którego da się skorzystać. Każdy projekt kończy ta sama lista: README, które go uruchamia, jeden diagram architektury, spisane decyzje, CI, instrukcja utrzymania i nagrane omówienie. Gotowe, gdy ktoś spoza projektu uruchomi go z dokumentacji.
Nudna technologia tam, gdzie to ważne. Wybieram stos, do którego łatwo znaleźć ludzi. Wszystko eksperymentalne wymaga Twojej zgody i planu wyjścia.
Podejście dobrane do apetytu na ryzyko. Prototyp, produkt albo branża regulowana: poziom decyduje, ile swobody mają agenci i ile przeglądu i walidacji wymaga każda zmiana.
Wszystko do sprawdzenia. Każda liczba na moich stronach prowadzi do źródła. Narzędzia są darmowe, a skill walidatora pomysłów jest otwarty (MIT).

Moja obietnica

Odpowiedź w 24 godziny. Odpowiadam w ciągu 24 godzin w dni robocze. Osobiście, nie bot. Wiadomości z weekendu: do poniedziałku, do 12:00.
Spóźnienie znaczy gratis. Jeśli się spóźnię, pierwsza godzina pracy jest za darmo. Nie musisz o to prosić.
Zakres na piśmie w 24 godziny. Bezpłatna rozmowa 30 minut bez prezentacji firmy, potem zakres i cena na piśmie w ciągu 24 godzin. Ty decydujesz.
Osoba, która wykona pracę. Rozmawiasz z osobą, która wykona pracę. Bez warstwy sprzedaży, bez przekazywania dalej.
Odzywam się tylko z czymś nowym. Odzywam się tylko wtedy, gdy mam dla Ciebie coś nowego. Nigdy „czy jest już decyzja?”.
Uczciwe „to nie dla mnie”. Jeśli nie jestem właściwą osobą, mówię to na rozmowie i wskazuję kogoś, kto jest.

Wszystkie zasady i poziomy ryzyka →