Sådan bygger du en eksperimenteringskultur: Fra ad hoc-tests til vækstsystemer

De fleste virksomheder, der hævder at have en eksperimenteringskultur, har det ikke. De har en eksperimenteringsvane -- nogen på teamet kører lejlighedsvise A/B-tests, primært på knapfarver og overskriftstekster, og præsenterer resultaterne i et slide deck, ingen læser to gange.

Det er ikke en kultur. Det er en afkrydsning.

En reel eksperimenteringskultur ændrer, hvordan en organisation tænker, beslutter og lærer. Det er forskellen mellem at køre tests og at bygge et system til at akkumulere viden. Jeg har set denne transformation på nært hold, og det er den enkeltstående ændring med størst løftestangseffekt, en virksomhed i vækst kan foretage.

Hvad en eksperimenteringskultur faktisk ser ud

Den har tre egenskaber:

1. Hypoteser før taktikker. Ethvert initiativ starter med en falsificerbar hypotese. Ikke "lad os prøve en ny landingsside," men "vi tror, at reducering af formularfelter fra 7 til 3 vil øge lead-konverteringen med 15%, fordi vores analytics viser 60% frafald ved formulartrinnet."

Hypotesen tvinger klarhed. Den får dig til at artikulere, hvad du tror, hvorfor du tror det, og hvad der ville bevise, at du tager fejl. Det er fundamentet for læring.

2. Beslutninger følger data, ikke meninger. I de fleste organisationer vinder den højest betalte persons mening. I en eksperimenteringskultur vinder data. CEO'ens kæleprojekt testes på samme måde som praktikantens forslag. Hvis data siger, at praktikanten havde ret, havde praktikanten ret.

Det er sværere, end det lyder. Det kræver ego-reduktion på lederniveau. Men det er også befriende -- det fjerner politik fra produkt- og marketingbeslutninger og erstatter dem med evidens.

3. Negative resultater værdsættes. En test, der modbeviser din hypotese, er ikke en fiasko. Det er information. Nogle af de mest værdifulde eksperimenter, jeg har kørt, var dem, hvor den "oplagte" forbedring gjorde tingene værre. Den læring forhindrede måneders forfejlet indsats.

Hvis dit team kun fejrer sejre, stopper de med at teste risikable idéer. Den sikreste test er den med mindst læringspotentiale. Reel eksperimentering kræver at tage sving, der kan misse.

Modenhedskurven

Jeg tænker på eksperimenteringsmodenhed i fire stadier:

Stadie 1: Reaktiv testning

Tests sker sporadisk, normalt når nogen læser et blogindlæg om konverteringsoptimering, eller når en designer vil afgøre en debat. Der er ingen backlog, intet prioriteringsframework og ingen systematisk sporing af resultater.

De fleste virksomheder er her. Det er bedre end ingenting, men læringen er tilfældig og let at miste.

Stadie 2: Struktureret testning

En dedikeret person eller et lille team ejer eksperimentering. Der er en backlog af testidéer, en prioriteringsmetode (ICE-scoring eller lignende) og en proces for at designe og reviewe eksperimenter. Resultater dokumenteres.

Det er her, jeg starter med de fleste CRO- og eksperimenteringsopgaver. At komme fra Stadie 1 til Stadie 2 er primært et processproblem.

Stadie 3: Integreret eksperimentering

Hvert team -- produkt, marketing, salg, customer success -- kører eksperimenter som en del af deres workflow. Der er en fælles eksperimenteringsplatform, et virksomhedsdækkende videnslager og tværfunktionel vidensdeling.

At nå hertil kræver ledelsesopbakning og investering. ROI er enormt -- jeg har set virksomheder på Stadie 3 tage bedre beslutninger på en måned, end Stadie 1-virksomheder tager på et år.

Stadie 4: Eksperimentering som operativsystem

Virksomheden behandler eksperimentering som sin primære beslutningsmekanisme. Strategi er en serie af hypoteser. Eksekvering er en serie af tests. Læringshastighed er en central konkurrencemåling.

Meget få virksomheder når dette stadie. Dem der gør, har tendens til at dominere deres markeder.

Byg fundamentet

Hvis du er på Stadie 1 og vil til Stadie 2, er her hvad jeg anbefaler:

Skab en eksperiment-backlog

Enhver idé, der starter med "vi burde prøve..." kommer i backloggen. Produktændringer, marketingtaktikker, priseksperimenter, budskabsvariationer -- alt sammen. Backloggen er ikke en to-do-liste. Det er en beholdning af hypoteser.

Prioritér nådesløst

Ikke enhver idé fortjener en test. Prioritér baseret på tre faktorer:

• Potentiel effekt. Hvor meget kan dette flytte en måling, der betyder noget?
• Konfidens. Hvor stærk er evidensen for, at dette vil virke?
• Indsats. Hvor lang tid tager det at opsætte og køre?

Høj effekt, moderat konfidens, lav indsats -- det er dit sweet spot. Test de idéer, hvor læringen er mest værdifuld, ikke hvor resultatet er mest sikkert.

Etablér en minimum viable process

Du behøver fire ting:

1. En hypoteseskabelon (vi tror X fordi Y, og vi måler Z)
2. En standard for statistisk stringens (stikprøvestørrelse, signifikansgrænse, køretid)
3. Et dokumentationsformat (hvad vi testede, hvad der skete, hvad vi lærte)
4. En gennemgangskadence (ugentlige eller halvmånedlige eksperimentgennemgange)

Det er det. Overgør ikke processen. Start simpelt og forfin undervejs.

Koblingen til vækstmålinger

Eksperimentering uden retning er bare nysgerrighed. De eksperimenter, der akkumuleres, er dem der er koblet til dine centrale vækstmålinger og KPI'er.

Start med din største løftestang. Hvis din konverteringsrate er 1,5% og branchegennemsnittet er 3%, er det dér, din eksperimenteringsenergi bør gå hen. Hvis din fastholdelsesrate falder kvartal for kvartal, er det det problem, der er værd at teste løsninger for.

Hvert eksperiment bør føre tilbage til en måling i dit North Star-framework. Hvis det ikke gør, spørg om det er værd at køre. Fokus slår volumen i eksperimentering, præcis som det gør i strategi.

Typiske fejl

Tester for småt. Knapfarvetests kan nå statistisk signifikans, men de flytter sjældent forretningsresultater. Test større idéer. Omstrukturér siden. Ændr tilbuddet. Omskriv værditilbuddet.

Stopper for tidligt. Statistisk signifikans kræver tilstrækkelige stikprøvestørrelser og køretid. At stoppe en test, fordi den ser god ud efter to dage, er ikke eksperimentering. Det er confirmation bias med ekstra trin.

Tester slet ikke fordi "vi ikke har nok trafik." Du kan teste med 10.000 månedlige besøgende. Du skal bare teste færre ting samtidig og køre dem længere. Lav trafik er en begrænsning, ikke en diskvalifikation.

Behandler eksperimentering som en ren marketingaktivitet. De bedste eksperimenteringskulturer tester på tværs af hele kunderejsen -- tiltrækning, aktivering, fastholdelse, omsætning og anbefaling. Produktteams, customer success-teams og endda driftsteams bør køre eksperimenter.

Den kulturelle investering

Værktøjerne er nemme. A/B-testplatforme, analytics, statistiske beregnere -- alt sammen commoditiseret. Den svære del er kulturen.

Det betyder, at ledere indrømmer, at de ikke kender svaret. Det betyder, at teams accepterer, at deres yndlingsidé kan tabe. Det betyder at investere tid i læring, når organisationen er afhængig af at gøre.

Men udbyttet er ekstraordinært. En eksperimenteringskultur akkumulerer viden, på samme måde som renters rente akkumulerer penge. Hver test, vundet eller tabt, gør den næste beslutning en smule bedre. Over måneder og år skaber den akkumulerende effekt en uovervindelig fordel.

Spørgsmålet er ikke, om du har råd til at bygge denne kultur. Det er, om du har råd til at lade være.