Optimalno inteligentni oblak: Kako koristiti Stats Engine za A/B testiranje pametnije i brže

Optimizovano statistika Engine and A/B Testing Strategies

Ako želite pokrenuti program eksperimentiranja koji će pomoći vašem poslu da testira i nauči, velike su šanse da ga koristite Optimalno inteligentan oblak - ili ste barem pogledali. Optimizely je jedan od najmoćnijih alata u igri, ali kao i svaki takav alat, možete ga koristiti pogrešno ako ne razumijete kako radi. 

Šta Optimizely čini tako moćnim? U središtu njegovog skupa funkcija nalazi se najinformiraniji i najintuitivniji mehanizam statistike u alatu treće strane, koji vam omogućuje da se više usredotočite na dobivanje važnih testova uživo-bez brige da pogrešno tumačite svoje rezultate. 

Slično poput tradicionalnog slijepog studija medicine, A / B testiranje nasumično će se prikazati drugačije tretmani vaše web lokacije različitim korisnicima kako bi zatim uporedili efikasnost svakog tretmana. 

Statistika nam tada pomaže u zaključivanju o tome koliko dugoročno može biti učinkovit. 

Većina A/B alata za testiranje oslanja se na jednu od dvije vrste statističkih zaključaka: učestalost ili Bayesova statistika. Svaka škola ima različite prednosti i nedostatke - česta statistika zahtijeva da se veličina uzorka utvrdi prije izvođenja eksperimenta, a Bayesovoj statistici je uglavnom stalo do donošenja dobrih odluka o smjeru, a ne do navođenja bilo koje pojedinačne brojke utjecaja, da navedemo dva primjera. Optimizelyova supermoć je to što je to jedini alat na današnjem tržištu za uzimanje najbolje od oba sveta pristup.

Krajnji rezultat? Optimizirano omogućuje korisnicima brže, pouzdanije i intuitivnije izvođenje eksperimenata.

Kako bi to u potpunosti iskoristili, važno je razumjeti što se događa iza scene. Evo 5 uvida i strategija pomoću kojih ćete koristiti Optimizely -jeve mogućnosti kao profesionalac.

Strategija #1: Shvatite da nisu sve metrike jednake

U većini alata za testiranje često se zanemaruje problem da što više metrika dodate i pratite kao dio testa, veća je vjerojatnost da ćete vidjeti neke pogrešne zaključke zbog slučajne slučajnosti (u statistikama se to naziva „problem višestrukog testiranja“) ”). Kako bi rezultati bili pouzdani, Optimizely koristi niz kontrola i ispravki kako bi izgledi da se to dogodi bili što je moguće niži. 

Te kontrole i ispravke imaju dvije implikacije kada idete na postavljanje testova u Optimizely. Prvo, metrika koju označite kao svoju Primarna metrika će najbrže dostići statističku značajnost, sve ostale stvari su konstantne. Drugo, što više metrika dodate eksperimentu, vašim kasnijim metrikama će trebati više vremena da dostignu statističku značajnost.

Prilikom planiranja eksperimenta, provjerite znate li koja će metrika biti vaš pravi sjever u procesu donošenja odluka, neka to bude vaša primarna metrika. Zatim zadržite ostatak svoje liste mjerila mršavim uklanjanjem svega što je previše suvišno ili tangencijalno.

Strategija #2: Izgradite vlastite prilagođene atribute

Optimizely vam sjajno nudi nekoliko zanimljivih i korisnih načina za segmentiranje rezultata eksperimenta. Na primjer, možete provjeriti imaju li određeni tretmani bolji učinak na računaru u odnosu na mobitel ili primijetiti razlike među izvorima prometa. Kako vaš program eksperimentiranja sazrijeva, brzo ćete poželjeti nove segmente-oni mogu biti specifični za vaš slučaj upotrebe, poput segmenata za jednokratne kupovine u odnosu na pretplate, ili općeniti kao „novi nasuprot ponovnim posjetiteljima“ (koji, iskreno, još uvijek ne možemo shvatiti zašto to nije dostupno).

Dobra vijest je da putem Optimizely -ovog Project Javascript polja inženjeri upoznati sa Optimizely -om mogu izgraditi neograničen broj zanimljivih prilagođenih atributa kojima posjetitelji mogu biti dodijeljeni i segmentirani. U Cro Metrics -u izgradili smo brojne zalihe modula (poput “novih vs. ponovnih posjetitelja”) koje instaliramo za sve naše klijente putem njihovog projekta Javascript. Iskorištavanje ove sposobnosti ključna je razlika između zrelih timova koji imaju odgovarajuće tehničke resurse koji će im pomoći u izvođenju, i timova koji se bore da ostvare puni potencijal eksperimentiranja.

Strategija #3: Istražite Optimizely's Stats Accelerator

Jedna od često prenaglašenih značajki alata za testiranje je mogućnost korištenja „višekrakih bandita“, vrste algoritma strojnog učenja koji se dinamički mijenja tamo gdje se vaš promet raspoređuje tijekom eksperimenta, za slanje što većeg broja posjetitelja na „pobjedu“ moguće varijacije. Problem s višenaoružanim banditima je u tome što njihovi rezultati nisu pouzdani pokazatelji dugoročnih performansi, pa je slučaj upotrebe ovih vrsta eksperimenata ograničen na vremenski osjetljive slučajeve poput promocije prodaje.

Optimalno, međutim, drugačija vrsta banditskog algoritma dostupna je korisnicima na višim planovima - Stats Accelerator (sada poznata kao opcija „Ubrzavanje učenja“ unutar Bandita). U ovom postavljanju, umjesto da pokušava dinamički dodijeliti promet varijaciji s najboljim učinkom, Optimizely dinamički raspoređuje promet varijacijama koje će najbrže dostići statističku značajnost. Na ovaj način možete brže učiti i zadržati ponovljivost tradicionalnih rezultata A/B testa.

Strategija #4: Dodajte emotikone svojim metričkim imenima

Na prvi pogled, ova ideja vjerovatno zvuči neprikladno, čak i besmisleno. Međutim, ključni aspekt provjere da li čitate prave rezultate eksperimenta počinje od osiguravanja da vaša publika može razumjeti pitanje. 

Ponekad, uprkos našim naporima, nazivi metrika mogu postati zbunjujući (pričekajte - aktivira li se ta mjerna vrijednost kada je narudžba prihvaćena ili kada korisnik pritisne stranicu sa zahvalom?), Ili eksperiment ima toliko mjernih podataka da se pomiču gore -dolje po rezultatima stranica dovodi do potpunog kognitivnog preopterećenja.

Dodavanjem emotikona u nazive vaših mjernih podataka (ciljevi, zeleni kvačice, čak i velika vreća novca može funkcionirati) mogu rezultirati stranicama koje se mogu daleko skenirati. 

Vjerujte nam - čitanje rezultata bit će mnogo lakše.

Strategija #5: Ponovo razmislite o svom nivou statističke važnosti

Rezultati se smatraju konačnim u kontekstu Optimizely eksperimenta kada su dosegnuti statistička značajnost. Statistička značajnost je težak matematički pojam, ali u suštini je vjerovatnoća da su vaša zapažanja rezultat stvarne razlike između dvije populacije, a ne samo slučajne slučajnosti. 

Optimizovano prijavljeni nivoi statističke značajnosti su „uvijek valjani“ zahvaljujući matematičkom konceptu koji se naziva sekvencijalno testiranje - ovo ih zapravo čini daleko pouzdanijima od onih drugih alata za testiranje, koji su skloni raznim vrstama „zavirivanja“ ako ih pročitate prerano.

Vrijedno je razmotriti koji nivo statističke značajnosti smatrate važnim za vaš program testiranja. Iako je 95% konvencija u naučnoj zajednici, mi testiramo promjene web stranica, a ne cjepiva. Još jedan uobičajen izbor u eksperimentalnom svijetu: 90%. No, jeste li spremni prihvatiti malo više neizvjesnosti kako biste brže izvodili eksperimente i testirali više ideja? Možete li koristiti 85% ili čak 80% statističku značajnost? Namjerno razmišljanje o ravnoteži rizika i nagrade može s vremenom platiti eksponencijalne dividende, pa dobro razmislite o ovome.

Pročitajte više o Optimizely Intelligence Cloud -u

Ovih pet brzih principa i uvida bit će vam od velike pomoći imati na umu dok koristite Optimizely. Kao i kod svakog alata, on se svodi na to da ste dobro razumjeli sva prilagođavanja iza scene, tako da možete biti sigurni da alat koristite efikasno i djelotvorno. S ovim razumijevanjem možete dobiti pouzdane rezultate koje tražite, kada vam zatrebaju. 

Šta ti misliš?

Ova stranica koristi Akismet kako bi smanjila neželjenu poštu. Saznajte kako se podaci vašeg komentara obrađuju.