Podcast: Play in new window
Lyssna via: Apple Podcasts | Spotify | Android | Email | RSS | ...
I detta avsnitt börjar vi med att diskutera ett exempel-case – en webhandel vill möjliggöra för kunderna att använda Klarna som betalningsmetod.
När utvecklingen närmar sig sitt slut så kommer oundvikligen att frågan ställas; Funkar det nu?
För att svara på den övergripande frågeställningen måste vi bryta ner den i mindre testbara delar:
– är förändringen i produktion?
– Hur har testerna i testmiljöerna sett ut?
Men – vad viktigare är – vad är beställarens intention kring vilken bakomliggande effekt som önskas ut av denna förändring egentligen?
– Ökad omsättning?
– Ökad retention?
– Ökad kundnöjdhet?
– Mer trafik till e-handelsplatsen? .
…eller en önskan kring en blandning av dessa? Alla dessa aspekter går mäta, det går att extrahera indikatorer ut ur produktionsmiljöerna som är relaterade till dessa önskade effekter, men hur analyserar vi den data vi samlar in?
Vi pratar om 0-hypoteser, signifikansnivåer och konfidensintervall. För vem skulle inte vilja svara av frågan ’Funkar det nu?’ Med:
– ”ja, lösningen är i produktion, i genomsnitt 60% av kunderna använder numera Klarna och efter vi införde denna förändring har omsättningen samt retention gått upp med 5% – det är statistiskt säkerställt. Däremot kan vi inte märka någon förändring på kundnöjdhet samt besöksintensitet”
I detta avsnitt kan man märka att Fredrik börjar fatta konceptet med 0-hypoteser men att han fortfarande har svårt att greppa konfidensintervall och signifikans. Men det finns hopp om det, i kommande avsnitt kanske hans synapser trillar på plats.
