Ligger dina Adwords-annonser inom felmarginalen?

När du annonserar med Google Adwords skapar du förstås alltid annonser i par med små variationer. Du testar olika formuleringar och ser i efterhand vad som gav bäst CTR, för att finslipa ytterligare och öka mängden klick på annonserna.

Men hur avgör du om skillnaden mellan de två annonserna ligger inom felmarginalen? Hur stor måste skillnaden i antal klick eller CTR vara för att du ska kunna vara säker på att den ena faktiskt presterar bättre än den andra?

När media pratar opinionsundersökningar, säger de ofta att förändringarna från tidigare undersökningar är statistiskt säkerställda – eller motsatsen: att de ligger inom felmarginalen. Om förändringarna ligger inom felmarginalen betyder det att man inte säkert kan säga att det har skett någon förändring.

Ju fler stickprov, desto mindre blir felmarginalen, och sannolikheten att resultatet blir statistiskt säkerställt ökar. Det är mer tillförlitligt att fråga 1000 personer hur de kommer rösta, än 10 personer.

Det är visserligen inte riktigt samma sak att jämföra Adwords-annonser, men det finns en statistisk metod för att avgöra om skillnaden mellan två annonser är statistiskt säkerställd.

Jag har gjort det enkelt för dig; fyll i antal klick och visningar för de två annonserna i formuläret nedan, så visas konfidensgraden. Konfidensgraden är ett mått på hur sannolikt det är att skillnaden mellan annonserna är just statistiskt säkerställd (ju högre, desto bättre).

Beräkningen sker i webbläsaren med Javascript, och ingenting sparas på någon server.

Konfidensgrad:

Vanligtvis kräver man minst 90–95% konfidensgrad för sådana här jämförelser, så om du får ett lägre resultat bör du inte lita alltför mycket på skillnaden mellan annonserna. Du kanske får vänta några dagar eller veckor och se om skillnaden ökar (eller acceptera att du har två likvärdiga annonser).

En artikel och diskussion på Pay Per Click Search Marketing säger att du bör ha minst 30-100 klick innan du kan analysera resultatet av dina annonser och lita på konfidensgraden ovan. Det är inte lätt med statistik.

Konfidensgraden beräknas med Pearsons chi-2-test efter inspiration av Jason Cohen. Jag går inte in på detaljer här, eftersom jag inte tror att du är så intresserad av matematisk statistik…