A/B-testaus pienellä listalla: yksi muutos, yksi kysymys

Suurin osa A/B-testauksen neuvoista on kirjoitettu yrityksille, joilla on satojatuhansia vastaanottajia. Jos listallasi on muutama sata tai muutama tuhat ihmistä, on helppo ajatella, ettei testaus ole sinua varten. Se on, kunhan pidät jokaista testiä kysymyksenä, johon haet vastauksen, etkä kilpailuna, joka pitää voittaa.

A/B-testi tarkoittaa yksinkertaisesti sitä, että lähetät saman sähköpostin kaksi versiota (versio A ja versio B) kahdelle samankaltaiselle ryhmälle ja vertaat tuloksia. Tässä tapa, joka toimii hyvin pienelläkin listalla.

Aloita yhdestä kysymyksestä

Ennen kuin muokkaat viestiä, kirjoita yksi lause: "Klikkaavatko useammat, jos painikkeessa lukee X eikä Y?" Hyvässä kysymyksessä on yksi aihe, ja se johtaa oikeaan päätökseen.

"Kumpi sähköposti on parempi?" on liian epämääräinen. "Kannattaako tuote-esittelyissä aloittaa hyödystä vai hinnasta?" on hyödyllinen, koska vastaus muuttaa tapaasi kirjoittaa ensi kuussa.

Muuta vain yhtä asiaa

Jos versiossa B on uusi otsikko, uusi kuva ja erilainen painike, et koskaan saa tietää, mikä muutos vaikutti. Valitse yksi elementti ja pidä kaikki muu täsmälleen samana.

Hyviä testattavia asioita:

• Toimintakehotuksen sanamuoto (pääpainikkeen tai -linkin teksti)
• Pääasiallisen linkin paikka: alussa vai tarinan jälkeen
• Lyhyt viesti vai laajempi artikkeli
• Selkeä, henkilökohtainen ulkoasu vai suunniteltu ulkoasu
• Aiherivi kysymyksenä vai väitteenä
• Lähetyspäivä tai kellonaika

Valitse mittari, joka sopii kysymykseen

Mittaa sitä, johon muutoksesi voi todella vaikuttaa. Aiherivi vaikuttaa siihen, avataanko viesti, mutta avausluvut voivat olla epäluotettavia: jotkin sähköpostisovellukset lataavat viestit taustalla ja kirjaavat avauksen, vaikka kukaan ei olisi lukenut viestiä.

Kaikessa, mikä on viestin sisällä, käytä klikkausprosenttia (niiden vastaanottajien osuus, jotka klikkasivat linkkiä). Vielä parempi mittari on se teko, jonka oikeasti haluat: varaus, ostos tai vastaus.

Kirjoita sääntö ylös ennen lähetystä

Tämä vaihe estää huijaamasta itseäsi. Päätä ennen lähetystä:

1. Mitä mittaat.
2. Kuinka kauan odotat. Valitse molemmille versioille sama aikaväli, esimerkiksi kolme päivää.
3. Mikä on voitto. Esimerkiksi: B voittaa vain, jos se saa selvästi enemmän klikkauksia, ei pelkästään yhtä tai kahta enemmän.
4. Mitä teet, jos tulos on tasapeli.

Pienellä listalla pieni ero on yleensä pelkkää sattumaa. Tasapeli on aivan hyvä tulos: se kertoo, ettei elementillä ole suurta merkitystä, joten voit valita mieluisamman vaihtoehdon ja siirtyä rohkeampaan ideaan.

Jaa tasapuolisesti ja lähetä yhtä aikaa

Jaa lista satunnaisesti kahteen samankaltaiseen ryhmään. Älä anna versiolle A uskollisimpia asiakkaitasi ja versiolle B uusimpia tilaajia, sillä silloin testaat yleisöjä etkä viestejä. Useimmat sähköpostialustat osaavat tehdä satunnaisen jaon puolestasi.

Lähetä molemmat versiot samaan aikaan. Muuten tiistaiaamun lähetys voi voittaa perjantai-illan lähetyksen syistä, joilla ei ole mitään tekemistä testaamasi muutoksen kanssa.

Ole rohkeampi, kun lista on pieni

Kun vastaanottajia on vähän, hienovaraiset muutokset, kuten yhden sanan vaihtaminen, hukkuvat satunnaisvaihteluun. Testaa mieluummin selvästi erilaisia lähestymistapoja:

• Hyvin lyhyt viesti vastaan pitkä viesti
• Tarinavetoinen viesti vastaan tarjousvetoinen viesti
• Yksi linkki vastaan useita linkkejä

Suuret erot näkyvät pienissäkin ryhmissä, ja ne opettavat lukijoistasi enemmän.

Toista ennen kuin uskot

Yksi tulos on vihje, ei laki. Jos versio B voittaa, kokeile samaa ideaa uudelleen toisessa viestissä, mieluiten muutaman viikon päästä. Kun sama versio voittaa kaksi kertaa, tee siitä talon tapa, esimerkiksi "pääasiallinen linkki tulee aina ennen tarinaa." Jos se voittaa kerran ja häviää kerran, tiedät, ettei sillä ole suurta merkitystä.

Pidä yksinkertaista testilokia

Taulukko riittää. Käytä yhtä riviä per testi ja seuraavia sarakkeita:

• Päivämäärä
• Kysymys
• Versio A ja versio B (mikä tarkalleen erosi)
• Mittari ja odotusaika
• Tulos
• Päätös

Muutaman testin jälkeen sinulla on kirjallinen kuva siitä, mihin yleisösi reagoi, etkä toista samaa koetta vahingossa. Loki auttaa myös uutta tiimin jäsentä pääsemään nopeasti mukaan.

Vältä nämä virheet

• Liian aikainen päätös. Jos katsot tuloksia tunnin päästä ja julistat voittajan, suosit sitä, joka avaa sähköpostinsa ensimmäisenä, et parempaa versiota.
• Kaiken testaaminen kerralla. Mitä enemmän muutoksia, sitä vähemmän oppia.
• Pienten erojen juhliminen. Jos ero on vain klikkaus tai kaksi, pidä sitä tasapelinä.
• Yleisön unohtaminen. Uusille tilaajille toimiva ei välttämättä toimi pitkäaikaisille asiakkaille, joten kirjaa ylös, ketkä olivat mukana.
• Pelkkien klikkausten jahtaaminen. Versio, joka tuo enemmän klikkauksia mutta vähemmän myyntiä, ei ole voittaja.

Vie se käytäntöön

Valitse yksi sähköposti, jonka aiot joka tapauksessa lähettää tässä kuussa. Kirjoita kysymyksesi, muuta yhtä elementtiä ja kirjaa sääntösi lokiin. Jos lähetät viestisi CARIO Maililla, tee kaksi selvästi nimettyä luonnosta, jaa yleisösi kahteen samankaltaiseen ryhmään ja pidä loki vieressä, jotta jokaiselle päätökselle löytyy myöhemminkin perustelu.

Testaus ei vaadi valtavaa listaa tai monimutkaista matematiikkaa. Se vaatii kärsivällisyyttä, yhden selkeän kysymyksen kerrallaan ja kurinalaisuutta kirjata oppimansa ylös. Vuoden aikana nämä pienet, rehelliset vastaukset kasvavat sähköposteiksi, jotka sopivat paremmin juuri niitä lukeville ihmisille.