Zeven op de tien nieuwe features niet goed ontvangen bij gebruiker

Als Product Owner ben ik altijd bijzonder geïnteresseerd geweest in het meten van resultaten. Productontwikkeling is een cyclus, en alleen als je meet hoe succesvol je nieuwe product (feature) is, kun je leren. Niet alleen om die feature steeds beter te maken, maar vooral ook om steeds beter te worden in aanvoelen van je klanten, wat succesvol gaat zijn. En dus betere keuzes te maken voor de volgende features. Meten is weten is verbeteren.

Maar waar vind je betrouwbare gegevens over hoe succesvol features zijn? Natuurlijk vind je veel succes stories op internet. Maar vaak zijn die anekdotisch en subjectief. Of geschreven vanuit een eigen belang. In een onderzoek van Standish Group wordt bijvoorbeeld genoemd dat 64% van de product features niet of nauwelijks wordt gebruikt. Mountain Goat heeft hier wat kritischer naar gekeken en concludeert dat het onderzoek gebaseerd is op slechts 4 features die onderzocht zijn, die ook nog eens voor intern gebruik zijn.

Een ander onderzoek van Pendo, dat is uitgevoerd onder ruim 600 gebruikers van Pendo, laat zien dat 80% van de features niet of nauwelijks wordt gebruikt. Dat klinkt pittig! Het onderzoek lijkt betrouwbaar, want de steekproef is relatief groot. Toch heb ik enige terughoudendheid ten aanzien van de objectiviteit. Pendo biedt software om productontwikkeling te ondersteunen. En als we goed kijken naar de cijfers, dan zien we dat 24% van de features echt niet gebruikt wordt, en dat 56% het deel betreft dat 5% van het gebruik voor haar rekening neemt. Kunnen we dan de conclusie trekken dat die 56% niet ontwikkeld had hoeven worden? Waarschijnlijk voor een deel wel. Maar sommige features heb je ook gewoon nodig ook al worden die niet heel veel gebruikt.

Na verder speuren stuitte ik op een onderzoek van Productboard. En daar vond ik eindelijk cijfers waar ik wat mee kon. Productboard publiceert haar Product Excellence Report. De laatste twee zijn die uit 2021 en 2022. En die bevatten veel interessante resultaten. Beide onderzoeken zijn uitgevoerd onder productmanagers. Het rapport uit 2020 onder 850, het 2022 rapport had meer dan 1.400 respondenten. De allerbelangrijkste conclusie uit het onderzoek: 69% van de features die worden opgeleverd worden niet goed ontvangen door de gebruikers. Dat wil zeggen: ze worden óf niet gebruikt óf gebruikers waarderen ze niet (NPS). Dat ligt dus - toch wel - aardig in lijn met de eerder genoemde percentages.

Productvisie en strategie: driekwart heeft geen duidelijke productstrategie

Gelukkig gaat Productboard nog verder in haar onderzoek, en staan er nog veel meer mooi resultaten in het onderzoek. Of eigenlijk beter gezegd: vrij schokkende resultaten. Hier volgen de belangrijkste resultaten ten aanzien van de visie en de productstrategie:

• 60% van de teams heeft geen duidelijke productvisie

• 73% van de teams geen strategie om productvisie te realiseren (au!!)

• slechts 28% past segmentatie toe bij opstellen strategie

Prioritering en Roadmap: meer dan de helft denkt dat roadmap niet aansluit bij strategie

Helaas houdt het hier nog niet op. Want kijken we naar het prioriteren van features en de roadmap, dan zien we dat:

• 50% productmanagers weet niet goed hoe te prioriteren

• slechts 49% denkt dat roadmap aansluit bij strategie

• 60% geeft aan dat roadmap niet behoeften van verschillende segmenten dekt

• slechts 32% verwacht dat features op de roadmap de gewenst outcome zal realiseren (!)

Feedback van klanten: minder dan de helft verzamelt gestructureerd feedback

Productboard heeft ook gekeken het verzamelen van feedback van klanten. Ook hier zijn de resultaten vrij shockerend:

• minder dan 50% van de productmanagers verzamelt feedback op een gestructureerd manier

• 60% van de productmanagers geeft aan dat feedback niet beschikbaar is voor team

• 74% heeft geen centrale plek waar feedback wordt opgeslagen

• slechts 17% geeft aan feedback uit beschikbare bronnen succesvol wordt gebruikt

Er is ook gekeken naar de correlatie tussen het gestructureerd verzamelen van klantenfeedback en hoe nieuwe product features worden ontvangen door klanten.

Minder dan 30% past actief segmentatie toe

Verder valt op in het onderzoek dat klantsegmentatie nog niet actief wordt toegepast. Slechts 28% van de teams geven aan dat segmentatie actief wordt gebruikt bij het opstellen van de productstrategie en het prioriteren. En 60% van de teams geeft aan dat de roadmap de behoeften van verschillende klantsegmenten adresseert.

Uitdagingen voor productmanagement

In het onderzoek is ook gevraagd wat de grootste uitdagingen zijn die de productmanagers ondervinden. Als belangrijkste wordt genoemd het op een lijn brengen van de stakeholders rondom prioritering (45%). Het meten van de resultaten en het opstellen van een heldere visie en strategie worden daarna beide genoemd als belangrijkste obstakels met 44%.

Conclusie: de juiste dingen doen.

De conclusie is pijnlijk. Alhoewel we met zijn allen massaal zijn overgestapt naar scrum / agile, blijken we collectief toch niet voldoende in staat om diensten te ontwikkelen die impact maken bij de klant. De cijfers maken dat helaas duidelijk. Nu we het development proces steeds beter onder controle te krijgen met bijvoorbeeld een focus op de DORA metrics, wordt het hoog tijd om beter te worden in wát we ontwikkelen. Dus de stap zetten van 'doing the things right' naar 'doing the right things'. Van output naar outcome. Van focus op opleveren van features naar focus op impact. Met dank aan Productboard voor de mooie onderzoeken!