Att bygga en experimenteringskultur: Från ad hoc-tester till tillväxtsystem

De flesta företag som påstår sig ha en experimenteringskultur har det inte. De har en experimenteringsvana -- någon i teamet kör enstaka A/B-tester, mestadels på knappfärger och rubriktext, och rapporterar resultaten i en presentation som ingen läser två gånger.

Det är inte en kultur. Det är en kryssruta.

En riktig experimenteringskultur förändrar hur en organisation tänker, beslutar och lär sig. Det är skillnaden mellan att köra tester och att bygga ett system för att ackumulera kunskap. Jag har sett den här transformationen på nära håll, och det är den enskilt mest hävstångsrika förändringen ett tillväxtföretag kan göra.

Vad en experimenteringskultur faktiskt innebär

Den har tre egenskaper:

1. Hypoteser före taktik. Varje initiativ börjar med en falsifierbar hypotes. Inte "vi borde testa en ny landningssida" utan "vi tror att en minskning av antalet formulärfält från 7 till 3 kommer att öka leadkonverteringen med 15 % eftersom vår analys visar 60 % avhopp vid formulärsteget."

Hypotesen tvingar fram klarhet. Den får dig att formulera vad du tror, varför du tror det och vad som skulle bevisa att du har fel. Det är grunden för lärande.

2. Beslut följer data, inte åsikter. I de flesta organisationer vinner den högst betalda personens åsikt. I en experimenteringskultur vinner datan. VD:ns favoritidé testas på samma sätt som praktikantens förslag. Om datan säger att praktikanten hade rätt, hade praktikanten rätt.

Det här är svårare än det låter. Det kräver att ledningen sänker garden. Men det är också befriande -- det tar bort politik ur produkt- och marknadsföringsbeslut och ersätter dem med evidens.

3. Negativa resultat värderas. Ett test som motbevisar din hypotes är inte ett misslyckande. Det är information. Några av de mest värdefulla experimenten jag har kört var de där den "uppenbara" förbättringen försämrade saker. Den lärdomen förhindrade månader av felriktad insats.

Om ditt team bara firar vinster kommer de sluta testa riskfyllda idéer. Det tryggaste testet är det med minst lärandepotential. Riktig experimentering kräver att man tar svängar som kan missa.

Mognadskurvan

Jag tänker på experimenteringsmognad i fyra stadier:

Stadie 1: Reaktiv testning

Tester sker sporadiskt, vanligtvis när någon läser ett blogginlägg om konverteringsoptimering eller när en designer vill avgöra en debatt. Det finns ingen backlogg, inget prioriteringsramverk och ingen systematisk spårning av resultat.

De flesta företag befinner sig här. Det är bättre än ingenting, men lärandet är slumpmässigt och lätt att förlora.

Stadie 2: Strukturerad testning

En dedikerad person eller ett litet team äger experimentering. Det finns en backlogg med testidéer, en prioriteringsmetod (ICE-scoring eller liknande) och en process för att designa och granska experiment. Resultat dokumenteras.

Här börjar jag med de flesta CRO- och experimenteringsuppdrag. Att ta sig från Stadie 1 till Stadie 2 är primärt ett processproblem.

Stadie 3: Integrerad experimentering

Varje team -- produkt, marknadsföring, sälj, customer success -- kör experiment som en del av sitt arbetsflöde. Det finns en gemensam experimenteringsplattform, ett företagsövergripande kunskapsarkiv och tvärfunktionell kunskapsdelning.

Att nå hit kräver ledningens stöd och investering. ROI:n är enorm -- jag har sett företag i Stadie 3 fatta bättre beslut på en månad än företag i Stadie 1 fattar på ett år.

Stadie 4: Experimentering som operativsystem

Företaget behandlar experimentering som sin primära beslutsfattandemekanism. Strategi är en serie hypoteser. Exekvering är en serie tester. Lärandehastighet är ett centralt konkurrensmått.

Mycket få företag når det här stadiet. De som gör det tenderar att dominera sina marknader.

Att bygga grunden

Om du befinner dig i Stadie 1 och vill ta dig till Stadie 2, här är vad jag rekommenderar:

Skapa en experiment-backlogg

Varje idé som börjar med "vi borde testa..." hamnar i backloggen. Produktförändringar, marknadsföringstaktiker, prisexperiment, budskapsvaritioner -- allt. Backloggen är inte en att-göra-lista. Det är ett lager av hypoteser.

Prioritera hårt

Inte varje idé förtjänar ett test. Prioritera baserat på tre faktorer:

Möjlig påverkan. Hur mycket kan det här flytta ett mått som spelar roll?
Konfidens. Hur stark är evidensen att det här kommer fungera?
Insats. Hur lång tid tar det att sätta upp och köra?

Hög påverkan, måttlig konfidens, låg insats -- det är din sweet spot. Testa idéerna där lärandet är mest värdefullt, inte där utfallet är mest säkert.

Etablera en minsta gångbar process

Du behöver fyra saker:

En hypotesmall (vi tror X därför att Y, och vi mäter Z)
En standard för statistisk rigorositet (urvalsstorlek, signifikanströskel, körtid)
Ett dokumentationsformat (vad vi testade, vad som hände, vad vi lärde oss)
En granskningskadens (veckovisa eller varannan vecka experiment-genomgångar)

Det är allt. Överarbeta inte processen. Börja enkelt och förfina allt eftersom.

Kopplingen till tillväxtmått

Experimentering utan riktning är bara nyfikenhet. Experimenten som ackumuleras är de som kopplar till dina centrala tillväxtmått och KPI:er.

Börja med din största hävstång. Om din konverteringsgrad är 1,5 % och branschgenomsnittet är 3 % är det dit din experimenteringsenergi ska gå. Om din retention sjunker kvartal över kvartal är det problemet värt att testa lösningar för.

Varje experiment bör kunna spåras tillbaka till ett mått i ditt North Star-ramverk. Om det inte kan det, fråga dig om det är värt att köra. Fokus slår volym inom experimentering precis som inom strategi.

Vanliga misstag

Testa för smått. Knappfärgstester kan nå statistisk signifikans, men de rör sällan affärsutfall. Testa större idéer. Omstrukturera sidan. Ändra erbjudandet. Skriv om värdeerbjudandet.

Avbryta för tidigt. Statistisk signifikans kräver tillräckliga urvalsstorlekar och körtid. Att stoppa ett test för att det ser bra ut efter två dagar är inte experimentering. Det är bekräftelsebias med extra steg.

Inte testa alls för att "vi har inte tillräckligt med trafik." Du kan testa med 10 000 månatliga besökare. Du behöver bara testa färre saker samtidigt och köra dem längre. Låg trafik är en begränsning, inte en diskvalificering.

Behandla experimentering som en renodlad marknadsföringsaktivitet. De bästa experimenteringskulturerna testar genom hela kundresan -- förvärv, aktivering, retention, intäkter och referrals. Produktteam, customer success-team och till och med driftteam bör köra experiment.

Den kulturella investeringen

Verktygen är enkla. A/B-testplattformar, analytics, statistiska kalkylatorer -- allt är standardiserat. Det svåra är kulturen.

Det innebär att ledare erkänner att de inte vet svaret. Det innebär att team accepterar att deras favoritidé kan förlora. Det innebär att investera tid i lärande när organisationen är beroende av att göra.

Men utdelningen är extraordinär. En experimenteringskultur ackumulerar kunskap på samma sätt som ränta-på-ränta ackumulerar pengar. Varje test, vinst eller förlust, gör nästa beslut lite bättre. Under månader och år skapar den ackumuleringseffekten ett oöverkomligt försprång.

Frågan är inte om du har råd att bygga den här kulturen. Frågan är om du har råd att låta bli.