Bygg en eksperimenteringskultur: Fra ad hoc-tester til vekstsystemer

De fleste bedrifter som hevder å ha en eksperimenteringskultur har det ikke. De har en eksperimenteringsvane -- noen i teamet kjører sporadiske A/B-tester, hovedsakelig på knappfarger og overskriftstekst, og rapporterer resultatene i en presentasjon ingen leser to ganger.

Det er ikke en kultur. Det er en avkrysningsboks.

En ekte eksperimenteringskultur endrer hvordan en organisasjon tenker, beslutter og lærer. Det er forskjellen mellom å kjøre tester og å bygge et system for å sammensette kunnskap. Jeg har sett denne transformasjonen på nært hold, og det er den enkeltstående endringen med størst innvirkning en vekstbedrift kan gjøre.

Hva en eksperimenteringskultur faktisk ser ut som

Den har tre egenskaper:

1. Hypoteser før taktikk. Hvert tiltak starter med en falsifiserbar hypotese. Ikke "la oss prøve en ny landingsside," men "vi tror at å redusere antall skjemafelt fra 7 til 3 vil øke leadkonverteringen med 15 % fordi analytikken vår viser 60 % frafall ved skjemasteget."

Hypotesen tvinger frem klarhet. Den får deg til å artikulere hva du tror, hvorfor du tror det, og hva som ville motbevist deg. Det er grunnlaget for læring.

2. Beslutninger følger data, ikke meninger. I de fleste organisasjoner vinner den best betalte personens mening. I en eksperimenteringskultur vinner dataene. CEO-ens yndlingsidé testes på samme måte som praktikantens forslag. Hvis dataene sier at praktikanten hadde rett, hadde praktikanten rett.

Dette er vanskeligere enn det høres ut. Det krever egoreduksjon på ledernivå. Men det er også befriende -- det fjerner politikk fra produkt- og markedsføringsbeslutninger og erstatter dem med evidens.

3. Negative resultater verdsettes. En test som motbeviser hypotesen din er ikke en fiasko. Det er informasjon. Noen av de mest verdifulle eksperimentene jeg har kjørt var de der den "opplagte" forbedringen gjorde ting verre. Den lærdommen forhindret måneder med feilrettet innsats.

Hvis teamet ditt bare feirer gevinster, vil de slutte å teste risikable ideer. Den tryggeste testen er den med minst læringspotensial. Ekte eksperimentering krever å ta sjanser som kanskje bommer.

Modenhetskurven

Jeg tenker på eksperimenteringsmodenhet i fire stadier:

Stadium 1: Reaktiv testing

Tester skjer sporadisk, vanligvis når noen leser et blogginnlegg om konverteringsoptimalisering eller når en designer vil avgjøre en diskusjon. Det finnes ingen backlog, ingen prioriteringsrammeverk og ingen systematisk sporing av resultater.

De fleste bedrifter er her. Det er bedre enn ingenting, men læringen er tilfeldig og lett å miste.

Stadium 2: Strukturert testing

En dedikert person eller et lite team eier eksperimenteringen. Det finnes en backlog med testideer, en prioriteringsmetode (ICE-scoring eller lignende) og en prosess for å designe og gjennomgå eksperimenter. Resultater dokumenteres.

Det er her jeg starter med de fleste CRO- og eksperimenteringsoppdrag. Å komme fra stadium 1 til stadium 2 er primært et prosessproblem.

Stadium 3: Integrert eksperimentering

Hvert team -- produkt, markedsføring, salg, kundesuksess -- kjører eksperimenter som en del av arbeidsflyten. Det finnes en felles eksperimenteringsplattform, et bedriftsomspennende læringsbibliotek og tverrfunksjonell kunnskapsdeling.

Å komme hit krever forankring i ledelsen og investering. Avkastningen er enorm -- jeg har sett bedrifter på stadium 3 ta bedre beslutninger på en måned enn bedrifter på stadium 1 tar på et helt år.

Stadium 4: Eksperimentering som operativsystem

Bedriften behandler eksperimentering som sin primære beslutningsmekanisme. Strategi er en serie hypoteser. Gjennomføring er en serie tester. Læringshastighet er en sentral konkurransemetrikk.

Svært få bedrifter når dette stadiet. De som gjør det har en tendens til å dominere markedene sine.

Bygge grunnmuren

Hvis du er på stadium 1 og vil til stadium 2, er dette hva jeg anbefaler:

Lag en eksperimenterings-backlog

Hver idé som starter med "vi burde prøve..." havner i backlogen. Produktendringer, markedsføringstaktikker, priseksperimenter, budskapsvarianter -- alt sammen. Backlogen er ikke en oppgaveliste. Det er et inventar av hypoteser.

Prioriter nådeløst

Ikke alle ideer fortjener en test. Prioriter basert på tre faktorer:

• Påvirkningspotensial. Hvor mye kan dette flytte en metrikk som betyr noe?
• Overbevisning. Hvor sterkt er evidensen for at dette vil fungere?
• Innsats. Hvor lang tid tar det å sette opp og kjøre?

Høy påvirkning, moderat overbevisning, lav innsats -- det er det optimale. Test ideene der læringen er mest verdifull, ikke der utfallet er mest forutsigbart.

Etabler en minimumsprosess

Du trenger fire ting:

1. En hypotesemal (vi tror X fordi Y, og vi måler Z)
2. En standard for statistisk grundighet (utvalgsstørrelse, signifikansterskel, kjøretid)
3. Et dokumentasjonsformat (hva vi testet, hva som skjedde, hva vi lærte)
4. En gjennomgangsfrekvens (ukentlige eller annenhver ukes eksperimenteringsgjennomganger)

Det er alt. Ikke overingeniør prosessen. Start enkelt og finpuss underveis.

Koblingen til vekstmetrikker

Eksperimentering uten retning er bare nysgjerrighet. Eksperimentene som bygger på hverandre er de som er koblet til dine sentrale vekstmetrikker og KPI-er.

Start med den største spaken din. Hvis konverteringsraten din er 1,5 % og bransjegjennomsnittet er 3 %, er det der eksperimenteringsenergien bør gå. Hvis retensjonsraten synker kvartal for kvartal, er det problemet verdt å teste løsninger for.

Hvert eksperiment bør kunne spores tilbake til en metrikk i North Star-rammeverket ditt. Hvis det ikke kan det, spør deg selv om det er verdt å kjøre. Fokus slår volum i eksperimentering, akkurat som i strategi.

Vanlige feil

Tester for smått. Tester av knappfarger kan nå statistisk signifikans, men de flytter sjelden forretningsresultater. Test større ideer. Omstrukturer siden. Endre tilbudet. Skriv om verdiforslaget.

Stopper for tidlig. Statistisk signifikans krever tilstrekkelige utvalgsstørrelser og kjøretid. Å stoppe en test fordi den ser bra ut etter to dager er ikke eksperimentering. Det er bekreftelsesskjevhet med ekstra steg.

Tester ikke i det hele tatt fordi "vi ikke har nok trafikk." Du kan teste med 10 000 månedlige besøkende. Du trenger bare å teste færre ting samtidig og kjøre dem lenger. Lav trafikk er en begrensning, ikke en diskvalifisering.

Behandler eksperimentering som en ren markedsføringsaktivitet. De beste eksperimenteringskulturene tester på tvers av hele kundereisen -- anskaffelse, aktivering, retensjon, omsetning og anbefaling. Produktteam, kundesuksessteam og til og med driftsteam bør kjøre eksperimenter.

Den kulturelle investeringen

Verktøyene er enkle. A/B-testingsplattformer, analyse, statistiske kalkulatorer -- alt er standardisert. Den vanskelige delen er kulturen.

Det betyr at ledere innrømmer at de ikke vet svaret. Det betyr at team aksepterer at favorittideen deres kan tape. Det betyr å investere tid i læring når organisasjonen er avhengig av å gjøre.

Men gevinsten er ekstraordinær. En eksperimenteringskultur akkumulerer kunnskap på samme måte som rentes rente akkumulerer penger. Hver test, enten den vinner eller taper, gjør neste beslutning litt bedre. Over måneder og år skaper denne sammensatte effekten et uovertruffen fortrinn.

Spørsmålet er ikke om du har råd til å bygge denne kulturen. Det er om du har råd til å la være.