Analitika i testiranjeVideo za marketing i prodaju

Optimalno inteligentni oblak: Kako koristiti Stats Engine za A/B testiranje pametnije i brže

Ako želite pokrenuti program eksperimentiranja koji će pomoći vašem poslu da testira i nauči, velike su šanse da ga koristite Optimalno inteligentan oblak - ili ste barem pogledali. Optimizely je jedan od najmoćnijih alata u igri, ali kao i svaki takav alat, možete ga koristiti pogrešno ako ne razumijete kako radi. 

Šta Optimizely čini tako moćnim? U središtu njegovog skupa funkcija nalazi se najinformiraniji i najintuitivniji mehanizam statistike u alatu treće strane, koji vam omogućuje da se više usredotočite na dobivanje važnih testova uživo-bez brige da pogrešno tumačite svoje rezultate. 

Slično poput tradicionalnog slijepog studija medicine, A / B testiranje nasumično će se prikazati drugačije tretmani vaše web lokacije različitim korisnicima kako bi zatim uporedili efikasnost svakog tretmana. 

Statistika nam tada pomaže u zaključivanju o tome koliko dugoročno može biti učinkovit. 

Većina A/B alata za testiranje oslanja se na jednu od dvije vrste statističkih zaključaka: učestalu ili Bayesovu statistiku. Svaka škola ima različite prednosti i nedostatke - česta statistika zahtijeva da se veličina uzorka utvrdi prije izvođenja eksperimenta, a Bayesovoj statistici je uglavnom stalo do donošenja dobrih odluka o smjeru, a ne do navođenja bilo koje pojedinačne brojke utjecaja, da navedemo dva primjera. Optimizelyova supermoć je to što je to jedini alat na današnjem tržištu za uzimanje najbolje od oba sveta pristup.

Krajnji rezultat? Optimizirano omogućuje korisnicima brže, pouzdanije i intuitivnije izvođenje eksperimenata.

Kako bi to u potpunosti iskoristili, važno je razumjeti što se događa iza scene. Evo 5 uvida i strategija pomoću kojih ćete koristiti Optimizely sposobnosti poput profesionalca.

Strategija #1: Shvatite da nisu sve metrike jednake

U većini alata za testiranje često se zanemaruje problem da što više metrika dodate i pratite kao dio testa, veća je vjerojatnost da ćete vidjeti neke pogrešne zaključke zbog slučajne slučajnosti (u statistikama se to naziva „problem višestrukog testiranja“) ”). Kako bi rezultati bili pouzdani, Optimizely koristi niz kontrola i ispravki kako bi izgledi da se to dogodi bili što je moguće niži. 

Te kontrole i ispravke imaju dvije implikacije kada idete na postavljanje testova u Optimizely. Prvo, metrika koju označite kao svoju Primarna metrika će najbrže dostići statističku značajnost, sve ostale stvari su konstantne. Drugo, što više metrika dodate eksperimentu, vašim kasnijim metrikama će trebati više vremena da dostignu statističku značajnost.

Prilikom planiranja eksperimenta, provjerite znate li koja će metrika biti vaš pravi sjever u procesu donošenja odluka, neka to bude vaša primarna metrika. Zatim zadržite ostatak svoje liste mjerila mršavim uklanjanjem svega što je previše suvišno ili tangencijalno.

Strategija #2: Izgradite vlastite prilagođene atribute

Optimizely vam sjajno nudi nekoliko zanimljivih i korisnih načina za segmentiranje rezultata eksperimenta. Na primjer, možete provjeriti imaju li određeni tretmani bolji učinak na računaru u odnosu na mobitel ili primijetiti razlike među izvorima prometa. Kako vaš program eksperimentiranja sazrijeva, brzo ćete poželjeti nove segmente-oni mogu biti specifični za vaš slučaj korištenja, poput segmenata za jednokratne kupovine u odnosu na pretplate, ili općeniti kao „novi vs. ponovni posjetitelji“ (koji, iskreno, još uvijek ne možemo shvatiti zašto to nije dostupno).

Dobra vijest je da preko Optimizely-ovog Project JavaScript polja, inženjeri upoznati sa Optimizely-om mogu izgraditi bilo koji broj zanimljivih prilagođenih atributa kojima se posjetitelji mogu dodijeliti i po njima segmentirati. U Cro Metrics-u smo izgradili niz modula zaliha (kao što je “novi naspram stalnih posjetitelja”) koje instaliramo za sve naše klijente putem njihovog Project JavaScripta. Korištenje ove sposobnosti ključna je razlika između zrelih timova koji imaju prave tehničke resurse da im pomognu u izvođenju i timova koji se bore da ostvare puni potencijal eksperimentiranja.

Strategija #3: Istražite Optimizely's Stats Accelerator

Jedna često prenaglašena značajka alata za testiranje je mogućnost korištenja „višekrakih bandita“, vrste algoritma strojnog učenja koji se dinamički mijenja gdje se vaš promet raspoređuje tijekom eksperimenta, za slanje što većeg broja posjetitelja na „pobjedu“ moguće varijacije. Problem s višenaoružanim banditima je u tome što njihovi rezultati nisu pouzdani pokazatelji dugoročnih performansi, pa je slučaj upotrebe ovih vrsta eksperimenata ograničen na vremenski osjetljive slučajeve poput promocija prodaje.

Optimalno, međutim, drugačija vrsta banditskog algoritma dostupna je korisnicima na višim planovima - Stats Accelerator (sada poznata kao opcija „Ubrzavanje učenja“ unutar Bandita). U ovom postavljanju, umjesto da pokušava dinamički dodijeliti promet varijaciji s najboljim učinkom, Optimizely dinamički raspoređuje promet varijacijama koje će najbrže dostići statističku značajnost. Na ovaj način možete brže učiti i zadržati ponovljivost tradicionalnih rezultata A/B testa.

Strategija #4: Dodajte emotikone svojim metričkim imenima

Na prvi pogled, ova ideja vjerovatno zvuči neprikladno, čak i besmisleno. Međutim, ključni aspekt provjere da li čitate prave rezultate eksperimenta počinje od osiguravanja da vaša publika može razumjeti pitanje. 

Ponekad, uprkos našim naporima, nazivi metrika mogu postati zbunjujući (pričekajte - aktivira li se ta mjerna vrijednost kada je narudžba prihvaćena ili kada korisnik pritisne stranicu sa zahvalom?), Ili eksperiment ima toliko mjernih podataka da se pomiču gore -dolje po rezultatima stranica dovodi do potpunog kognitivnog preopterećenja.

Dodavanjem emotikona u nazive vaših mjernih podataka (ciljevi, zeleni kvačice, čak i velika vreća novca može funkcionirati) mogu rezultirati stranicama koje se mogu daleko skenirati. 

Vjerujte nam - čitanje rezultata bit će mnogo lakše.

Strategija #5: Ponovo razmislite o svom nivou statističke važnosti

Rezultati se smatraju konačnim u kontekstu Optimizely eksperimenta kada su dosegnuti statistička značajnost. Statistička značajnost je težak matematički pojam, ali u suštini je vjerovatnoća da su vaša zapažanja rezultat stvarne razlike između dvije populacije, a ne samo slučajne slučajnosti. 

Optimizovano prijavljeni nivoi statističke značajnosti su „uvijek važeći“ zahvaljujući matematičkom konceptu koji se naziva sekvencijalno testiranje - ovo ih zapravo čini daleko pouzdanijima od onih drugih alata za testiranje, koji su skloni raznim vrstama „zavirivanja“ ako ih pročitate prerano.

Vrijedno je razmotriti koji nivo statističke važnosti smatrate važnim za vaš program testiranja. Iako je 95% konvencija u naučnoj zajednici, mi testiramo promjene web stranica, a ne cjepiva. Još jedan uobičajen izbor u eksperimentalnom svijetu: 90%. No, jeste li spremni prihvatiti malo više neizvjesnosti kako biste brže izvodili eksperimente i testirali više ideja? Možete li koristiti 85% ili čak 80% statističku značajnost? Namernost u pogledu ravnoteže rizika i nagrade može vremenom da donese eksponencijalne dividende, pa dobro razmislite o ovome.

Pročitajte više o Optimizely Intelligence Cloud -u

Ovih pet brzih principa i uvida bit će vam od velike pomoći imati na umu dok koristite Optimizely. Kao i kod svakog alata, on se svodi na to da ste dobro razumjeli sva prilagođavanja iza scene, tako da možete biti sigurni da alat koristite efikasno i djelotvorno. S ovim razumijevanjem možete dobiti pouzdane rezultate koje tražite, kada vam zatrebaju. 

Ryan Lucht

Prije nego što se pridružio Cro Metrics, pružao je kompletnu marketinšku uslugu koja je vodila uspješan program testiranja kao direktor marketinga u Big Intervjuu. Ryan donosi oštro strateško oko, duboko razumijevanje psihologije korisnika i entuzijastičnu kreativnost u optimizaciju Cro Metrics tima.

Vezani članci

Nazad na vrh dugmeta
blizu

Adblock otkriven

Martech Zone je u mogućnosti da vam pruži ovaj sadržaj bez ikakvih troškova jer mi unovčavamo našu stranicu putem prihoda od oglasa, partnerskih veza i sponzorstava. Bili bismo zahvalni ako biste uklonili svoj blokator oglasa dok gledate našu web stranicu.