Jak tworzyć dobre miary wartości?

Fundamentem Scruma jest empiryzm, który mówi, że uczymy się na podstawie doświadczeń. Ważnym aspektem tej nauki jest pomiar wartości, którą dostarczamy wraz z wdrożeniem Produktu. Śledzenie i analiza odpowiednich miar wartości pozwoli lepiej zrozumieć wpływ realizowanej pracy na rozwój Produktu oraz wyciągać wnioski ułatwiające decyzje produktowe.

Output, outcome, impact…

[1] Aby dobrze definiować miary, istotne jest zrozumienie różnic między wynikami wykonanej pracy (ang. output); rezultatem, jaki dzięki niej osiągamy (ang. outcome); oraz wpływem jaki wywieramy (ang. impact). Miary mogą dotyczyć każdego z tych aspektów, jednak nie wszystkie będą przynosić informacje dotyczące wartości dostarczonej dla Produktu. 

Output, czyli wynik wykonanej przez Zespół pracy. W Scrumie nazywamy to Przyrostem lub Inkrementem. Im więcej pracy zostanie wykonanej, tym Przyrost będzie większy. Nie oznacza to jednak, że przyniesie większą wartość. Przykładem miary zdefiniowanej wokół outputu jest prędkość dostarczania (ang. velocity). Miary takie przekazują informacje o procesie i mogą być cenne dla Zespołu. Nie dostarczają jednak informacji o wartości dostarczonej użytkownikowi [2].

Outcome, czyli rezultat osiągnięty w wyniku wykonanej pracy z perspektywy użytkownika. Z poziomu Produktu informuje czy Przyrost przyniósł oczekiwane skutki, np. rozwiązał problem dla użytkowników, zwiększył możliwości systemu czy osiągnął lepszą wydajność. Przykładem pomiaru outcomu może być wzrost zadowolenia użytkowników (np. NPS) lub wskaźnik wydajności systemu.

Impact, czyli wpływ biznesowy, jaki osiągnęliśmy dzięki oczekiwanemu rezultatowi. Może to być na przykład zmiana zachowania użytkowników, przekładająca się na wzrost liczby osób przedłużających subskrypcję (jako wpływ wzrostu ich zadowolenia).

[3] By zobrazować różnicę i związki między trzema aspektami, wyobraźmy sobie firmę lotniczą sprzedająca bilety online. Firma chciałaby zwiększyć swoje zyski poprzez zwiększenie sprzedaży biletów wśród często latających pasażerów. Decyduje się na poprawę procesu auto-bookingu.

Jako output uznajemy zmiany usprawniające funkcję auto-bookowania. Outcome będzie związany ze zwiększoną sprzedażą biletów zakupionych za pomocą funkcji auto-bookowania. Impactem będzie wzrost przychodu firmy.

OKreśl porządaną wartość

[4] Najważniejszym etapem w definiowaniu dobrych miar będzie określenie wartości, którą Produkt ma przynosić użytkownikom. Temu tematowi należy przyjrzeć się  z najwyższą starannością i z różnych perspektyw (więcej o wartości Produktu pisałam tutaj), ponieważ to dzięki uzyskanej wartości ludzie wybierają nasz Produkt zamiast konkurencyjnego.

Przy określaniu wartości dla zaplanowanych działań powinniśmy skupiać się na oczekiwanym rezultacie (czyli outcome). Mając jasno sprecyzowany rezultat, łatwiej będzie nam dobrać odpowiednie miary, wskazujące czy obrany kierunek rozwoju zbliża nas do osiągnięcia celu.

W zależności od zamiaru, proces wyznaczania miar można wykonać z perspektywy całego Produktu / biznesu, lub z perspektywy funkcjonalności, którą planujemy dostarczyć. Product Owner powinien skupiać się na różnych aspektach (m.in. finansowych i dot. użytkowników), by móc uwzględnić różne konteksty dostarczania wartości [2].

Miary Produktu vs funkcjonalności

Miary zdefiniowane dla Produktu będą wskazywać, czy jego rozwój zbliża nas do osiągania celów biznesowych. Na ogół taka miara będzie związana z głównym oczekiwanym działaniem użytkownika w interakcji z naszym Produktem [4]. Przykładowo, dla subskrypcyjnej aplikacji mobilnej może być to liczba aktywnych subskrypcji, z podziałem na nowe i przedłużające vs rezygnacje.

Cennym narzędziem wspomagającym określenie dobrych miar dla rozwoju Produktu i biznesu będzie Cel Produktu, o którym więcej napisałam tutaj.

Definiowanie miar dla poszczególnych funkcjonalności / części Produktu pomoże nam w procesie weryfikacji. Umożliwi sprawdzenie, czy interakcje użytkownika z daną funkcjonalnością są takie jak były zaprojektowane, oraz czy dostarczamy założoną przed implementacją wartość. Taka miara pomoże ustalić czy konieczne będą usprawnienia.

Jak definiować dobrą miarę Wartości?

Warto umieć rozróżniać dobre miary od złych.

Złe miary, to tzw. miary próżności [4]. Nie pozwalają one wyciągnąć klarownych wniosków o kolejnym kroku w rozwoju Produktu. Na ogół wprowadzają jedynie zamęt. Gdy wskaźniki rosną, powodują nieuzasadnioną radość. Gdy maleją, nie widać jasnej przyczyny takiej sytuacji [5]. Przykładem takiej miary może być liczba „polubień” pod postem, która nie przekazuje informacji o jego zasięgu. 

Dobre miary to tzw. miary sukcesu [4]. Pozwalają wyciągać wnioski, ponieważ jasno wiążą przyczynę (podjęte działania) ze skutkiem (outcome[5]. Wnioski z analizy miar pomagają Product Ownerowi podejmować decyzje o kierunku rozwoju Produktu. 

Cechy dobrze zdefiniowanej miary wartości

[5] Dobre miary wartości charakteryzują się trzema cechami:

Praktyczność – praktyczny wskaźnik będzie miał jasne powiązanie przyczynowo-skutkowe. Wzrost lub spadek wskaźnika będzie jednoznacznie powiązany z naszymi działaniami. Będziemy wiedzieli, które działania przynoszą pozytywne, a które negatywne skutki. Analiza danych umożliwi wyciągnięcie wniosków i podjęcie decyzji o dalszym rozwoju.

Przejrzystość – powiązanie przyczynowo-skutkowe, na które wskazuje miara, musi być jasne dla wszystkich mających kontakt z danymi. Sposób zbierania danych i proces wyciągania z nich wniosków musi być wiarygodny.

Przystępność – miara musi być zrozumiała dla wszystkich zainteresowanych. Dane powinny być w łatwy sposób dostępne do weryfikacji.

DOBIERANIE MIARY WARTOŚCI NA PRZYKŁADZIE

Wyobraźmy sobie firmę, której jednym z Produktów jest aplikacja mobilna sprzedawana w modelu subskrypcyjnym. Celem strategicznym firmy jest zwiększenie przychodów o pewien procent.

Stan początkowy

Aplikacja mobilna buduje przychód poprzez płatności za subskrypcje (Commercial Value dla organizacji). Z systemu możemy pozyskać dane, które wskazują jaka jest liczba aktywnych subskrypcji oraz liczba nowych i anulowanych subskrypcji w danym miesiącu. Na podstawie tych wartości można stworzyć miary pozwalające wyciągnąć wnioski dotyczące trendu liczby użytkowników.

Analiza tych danych ukazała wysoki procent anulowań subskrypcji. Dodatkowo NPS (wskaźnik lojalności użytkownika) potwierdza, że użytkownicy bywają niezadowoleni z korzystania z aplikacji. Dalsza analiza opinii użytkowników wykazała, że pewna prosta czynność wykonywana za pomocą aplikacji zajmuje zbyt dużo czasu.

Product Owner decyduje się na zwiększenie wartości dla użytkownika (Customer Value) poprzez poprawę efektywności korzystania ze wspomnianej funkcji.

Droga do określenia miar wartości

Stworzona hipoteza głosi, że po usprawnieniu funkcjonalności (output), łatwiej będzie z niej korzystać. Użytkownicy będą lepiej oceniać aplikację i w rezultacie nie będą z niej rezygnować poprzez anulowanie subskrypcji (outcome). To przełoży się na wzrost przychodu z Produktu (impact).

Zostaje zaprojektowane, zaimplementowane i wdrożone usprawnienie w funkcjonalności. Kolejnym krokiem jest weryfikacja postawionej hipotezy na podstawie danych.

Zdefiniowane miary powinny być skupione wokół oczekiwanego outcomu, czyli powinny odpowiadać na pytanie: Czy wprowadzone zmiany ułatwiły korzystanie z funkcjonalności, wpływając na ogólne zadowolenie użytkowników z Produktu? Czy po pewnym czasie zaczynamy zauważać pozytywne zmiany w trendzie rezygnacji?

Aby jednoznacznie odpowiedzieć na te pytania potrzebne będzie zebranie opinii nt. użytkowania danej funkcji. Konieczna będzie kontynuacja zbierania i analizowania danych: NPS, liczby aktywnych oraz anulowanych subskrypcji. Taki zestaw danych umożliwi weryfikację początkowo postawionej hipotezy.

NIE WIESZ JAKĄ MIARĘ WARTOŚCI DOBRAĆ DO SWOJEGO PRODUKTU?

Nie masz doświadczenia z definiowaniem miar? Może się okazać, że po przeczytaniu moich wskazówek i przykładu nadal nie będziesz miał całkowitej jasności jaka miara będzie dobra dla Twojego Produktu.

Jeżeli jednak dobrze wykonasz pracę związaną z określeniem wizji i Celu Produktu, to najprawdopodobniej wiesz jaką wartość chcesz dostarczać Twoim Produktem. Dobranie miar będzie zatem znalezieniem sposobu na potwierdzenie, że podejmowane działania zbliżają Cię do osiągnięcia Celu.

W ramach szukania inspiracji polecam zapoznać się z przykładami stosowanych miar w Produktach. Portal Product Vision przygotował artykuł z bardzo obszerną listą wskaźników miar, które można stosować by analizować różne aspekty biznesowe i produktowe.

Na koniec spróbuj zdefiniować i mierzyć jeden główny wskaźnik określający sukces Twojego Produktu. Nie musi być on od razu idealny. Ważne by podjąć działania i wykonać pierwszy krok w stronę empirycznego zarządzania Produktem. 

PODSUMOWANIE

W prawdziwie empirycznym Scrumie wszystko jest hipotezą dopóki nie zostanie zweryfikowane. Starając się maksymalizować wartość Produktu, Product Owner podejmuje decyzje na podstawie hipotez. Powinien weryfikować swoje hipotezy, by stale uczyć się o Produkcie i jego użytkownikach. Dzięki analizie wyników miar, które jednoznacznie wskazują zależności przyczynowo-skutkowe, Product Owner może podejmować lepsze decyzje produktowe. 

BIBLIOGRAFIA

[1] Miary wartości produktu, część 1; https://codesprinters.pl/blog/miary-wartosci-produktu-czesc-1

[2] How does a Product Owner measure value?; https://premieragile.com/how-does-a-product-owner-measure-value/

[3] Customer Value is not enough; https://www.scrum.org/resources/blog/customer-value-not-enough

[4] Mierz to co ważne – Metryki Próżności vs Metryki Sukcesu; https://productvision.pl/2019/mierz-to-co-wazne-metryki-proznosci-vs-metryki-sukcesu/

[5] Product Guide; Product Vision, https://productvision.pl/product-guide-podrecznik-product-managera/

[6] Miary wartości produktu, część 2; https://codesprinters.pl/blog/miary-wartosci-produktu-czesc-2/

[7] Value Metrics; https://productled.com/blog/value-metrics

[8] 58 najważniejszych metryk produktowych – MRR i inne; https://productvision.pl/2020/58-najwazniejszych-metryk-produktowych-mrr-i-inne/

[9] Jak mierzyć i optymalizować mierniki, czyli Pirate Metrics – AARRR; https://productvision.pl/2016/mierzyc-optymalizowac-mierniki-czyli-pirate-metrics-aarrr/

[10] How to measure product value; https://www.aha.io/roadmapping/guide/product-strategy/how-to-measure-product-valu

Leave a Comment

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *