Ha nem tudod eldönteni, hogy két tárgy közül mondjuk melyik lenne a sikeresebb, akkor ebben könnyen segíteni tudunk. Ehhez hozd létre a 2 leveledet. Ezek különbözhetnek nem csak tárgyban, hanem mondjuk színekben is.
Ha kész a két levél, az egyiket a levélkiküldésnél beállítjuk "Az email, amit küldünk:" adatmezőbe, a másik levelet beállítjuk az "Alternatív levél A/B teszthez:" adatmezőbe.
Két lehetőségünk van:
1. Ha nem pipálunk be semmit az A/B teszt funkcióknál, azaz ha nem pipáljuk be az Automatikus A/B teszt checkboxot, akkor simán úgy működik, mint korábban, azaz kiküldi az EGÉSZ csoportra vegyesen a 2 féle levelet. Tehát a rendszer véletlenszerűen kétfelé osztja a csoportot. Az egyiknek kiküldi az "A" levelet, a másiknak a "B" levelet. Utána a statisztikákban lehet nézni az eredményt (Levelek nyomkövetésénél ott lesz, hogy hányan nyitották meg az "A" levelet, és a "B" levelet), majd levonni a következtetéseket a jövőre nézve.
Kis csoportnál ezt ajánljuk. Ha tartani akarjuk magunkat ahhoz, amit a matematikusok ajánlanak, akkor min.1000 főn kéne tesztelni, és ezt az eredményt értékelve kiküldeni a jobb variációt egy másik csoportnak.
De nyilván kisebb létszámú feliratkozói csoportnál is lehet próbálgatni a haladó A/B tesztet, csak nem lesz az eredmény szigorúan matematikai szemmel nézve statisztikailag szignifikáns.
2. A haladó A/B tesztet választjuk:
Beállítjuk a két levelet úgy, mint az előző esetben.
Bepipáljuk az "Automatikus A/B teszt" funkciót.
Beállítjuk, hogy hány címen tesztelje a csoportban.
Két lehetőséget adunk:
- vagy beírjuk a konkrét számot és utána kiválasztjuk, hogy ez "db", azaz darabszám. Pl. A tesztelendő címek mennyisége 500 db. Ez azt jelenti, hogy a csoportból kiválaszt a rendszer 500 darab címet és 250 főnek elküldi az "A" levelet, és 250 főnek a "B" levelet
- vagy beírunk egy százalékszámot és utána kiválasztjuk, hogy ez "%". Pl. A tesztelendő címek mennyisége 25 %. Ez azt jelenti, hogy a csoport 25%-át kiválasztja a rendszer (véletlenszerűen), megfelezi és a felének elküldi az "A" levelet, másik felének a "B" levelet.
Beállítjuk, hogy mennyit várjon a rendszer a tesztkiküldés befejezése után amíg kiértékeli az eredményt.
Ezt órában kell megadni. Érdemes várni néhány órát, mert pl. kiküldi a rendszer 500 főnek 5 perc alatt a levelet és nincs értelme 15 perc után máris kiértékeltetni, hogy melyik levelet nyitották meg többen.
pl. Az A/B teszt várakozási időtartama (óra): 3
Beállítjuk a sikeresség mércéjét, azaz a várakozási idő letelte után mit vizsgáljon a rendszer: Email megnyitást vagy átkattintást nézzen. Nyilván, ha két különböző tárggyal teszteljük a levelet, akkor a megnyitás fogja megmondani, hogy melyik a sikeresebb, ha eltérő színű jelentkezős gombot, akkor az átkattintás.
Egyébként a kiküldés többi beállítása szokásos.
A példában mi egy augusztusi hírlevelet két különböző tárggyal küldünk ki. Az A email tárgya: "Csobbanj velünk a nyárba!", a B email tárgya: "Ki ne hagyd az augusztusi újdonságainkat!". Itt a sikeresség mércéje természetesen a megnyitás lesz.
A beállítások azt mutatják, hogy két különböző tárggyal teszteltünk levelet.
A csoport 25%-ra ment ki a teszt, azaz a csoport 25%-át választotta ki véletlenszerűen, és felének ment az egyik levél, felének a másik. 3 órát várt a rendszer a kiküldés után és a levélmegnyitások alapján döntötte el, hogy melyik levél volt a sikeresebb, Tehát a tesztkiküldés után 3 órával kiküldte a csoport maradék 75%-ra a jobban teljesítő levelet. Ezt magától, tehát nem kell külön beállítani, hogy a maradék 75%-ra melyik levél menjen ki.
A Levelek nyomkövetésénél látjuk a konkrét számokat.
A "teszt konverzió A" és a "teszt konverzió B" oszlopban lesz a tesztelésre kiválasztott csoporttagok megnyitási (vagy átkattintási, ha azt választottuk) számai. Tehát aki az "A" levelet nyitja meg, azt odaszámolja a rendszer a "teszt konverzió A" oszlopba, aki meg a "B" levelet, azt meg a másikba.
Az "aktuális konverzió A" és az "aktuális konverzió B", amíg a teszt megy, addig teljesen ugyanazokat a számokat mutatja, mint a teszt konverzió oszlopok, mert akkor az az aktuális.
Teszt után, és a várakozási idő letelte után a "teszt konverzió" oszlopok már nem számolnak (csak minimálisan változnak a számok, mert persze lehet valaki, aki 3 órával a várakozási idő után nyitja meg a tesztidőszakban kapott levelét). Tehát a "teszt konverzió " számok azt mutatják, hogy a csoport tesztrészéből (az a 25%-ból) hányan nyitották meg az "A" levelet és hányan a "B" levelet.
A végeredményt az "aktuális konverzió" oszlopok mutatják meg, azaz hogy az EGÉSZ csoportból hányan nyitották meg az "A" levelet és hányan a "B" levelet.
Haladó automatizmus, szeretik használni nagy csoportoknál. De 1000 fő alatt a fent írt matematikai szignifikancia szint miatt nem lesz megbízható.
