Nuvola di Intelligenza Optimizely: Cumu Usà Stats Engine Per A / B Pruvate più intelligente, è più veloce

Optimizely Stats Engine è A / B Testing Strategies

Se cercate di gestisce un prugramma di sperimentazione per aiutà a vostra impresa à testà è imparà, hè probabile chì stiate aduprendu Optimizely Intelligence Cloud - o avete almenu guardatu. Optimizely hè unu di i strumenti più putenti in u ghjocu, ma cum'è qualsiasi strumentu tali, pudete aduprà micca sbagliatu se ùn capite micca cumu funziona. 

Chì face chì Optimizely sia cusì putente? À u core di u so set di funzionalità si trova u mutore di statistiche più infurmatu è intuitivu in un strumentu di terze parti, chì vi permette di focalizassi di più nantu à ottene testi impurtanti in diretta - senza avè bisognu di preoccupassi chì state interpretendu male i vostri risultati. 

Cum'è un studiu cecu tradiziunale in medicina, A / essai B mostrerà casualmente diverse trattamenta di u vostru situ à diversi utilizatori per poi paragunà l'efficacità di ogni trattamentu. 

E statistiche ci aiutanu à fà inferenze nantu à quantu efficace quellu trattamentu pò esse à longu andà. 

A maiò parte di i strumenti di prova A / B si basanu nantu à unu di i dui tippi d'inferenza statistica: Statistiche Frequentiste o Bayesiane. Ogni scola hà parechji vantaghji è cunventi - E statistiche frequentiste richiedenu una dimensione di campione per esse riparata prima di fà un esperimentu, è e statistiche bayesiane si primuranu principalmente di piglià buone decisioni direzionali piuttostu chè di specificà una sola figura per l'impattu, per chjamà dui esempi. A superpotenza di Optimizely hè chì hè l'unicu strumentu nantu à u mercatu oghje per piglià un u megliu di i dui mondi approcciu.

U risultatu finale? Optimizely permette à l'utilizatori di fà esperimenti più veloci, più affidabili è più intuitivi.

Per prufittà di tuttu, hè impurtante capisce ciò chì accade dietro le quinte. Eccu 5 insights è strategie chì vi utteneranu aduprendu e capacità di Optimizely cum'è un prufessiunale.

Strategia # 1: Capite chì micca tutte e metriche sò create uguali

In a maiò parte di l'utili di prova, una questione cumunemente trascurata hè chì più metriche aghjunghjite è tracciate cum'è parte di u vostru test, più vi puderete vede alcune conclusioni sbagliate per via di una chance casuale (in statistiche, questu hè chjamatu "prublema di test multiplu "). Per mantene i so risultati affidabili, Optimizely utilizza una serie di controlli è correzioni per mantene e probabilità chì ciò accada u più bassu pussibule. 

Quelli cuntrolli è correzioni anu duie implicazioni quandu andate à installà testi in Optimizely. Prima, a metrica chì designate cum'è vostra Metrica Primaria ghjunghjerà à a significazione statistica u più veloce, tutte e altre cose custanti. Siconda, più metriche aghjunghjite à un esperimentu, più a vostra metrica più tarda durerà per ghjunghje significanza statistica.

Quandu pianificate un esperimentu, assicuratevi di sapè chì metrica serà u vostru Vertu Nordu in u vostru prucessu di decisione, fate chì a vostra Metrica Primaria. Dopu, mantene u restu di a vostra lista metrica magra eliminendu tuttu ciò chì hè troppu superfluu o tangenziale.

Strategia # 2: Custruite i Vostri Propri Attributi Personalizati

Optimizely hè ottimu per dà vi parechji modi interessanti è utili per segmentà i risultati di u vostru sperimentu. Per esempiu, pudete esaminà se certi trattamenti si comportanu megliu nantu à u desktop vs mobile, o osservanu differenze trà e fonti di trafficu. Quandu u vostru prugramma di sperimentazione matura quantunque, vulete rapidamente novi segmenti - questi ponu esse specifici per u vostru casu d'usu, cume segmenti per acquisti una volta vs. abbonamenti, o generale cum'è "visitatori novi vs ritorni" ( francamente, ùn pudemu ancu capì perchè ùn hè micca furnitu fora di a scatula).

A bona nutizia hè chì via u campu Project Javascript di Optimizely, l'ingegneri familiari cun Optimizely ponu custruisce un numeru numeru di attributi persunalizati interessanti chì i visitatori ponu esse attribuiti è segmentati da. In Cro Metrics, avemu custruitu un numeru di moduli di stock (cum'è "visitatori novi vs ritorni") chì stallemu per tutti i nostri clienti attraversu u so Project Javascript. Sfruttà sta capacità hè un differenziatore chjave trà e squadre mature chì anu e risorse tecniche adatte per aiutalli à esecutà, è e squadre chì luttanu per realizà u pienu potenziale di sperimentazione.

Strategia # 3: Esplora l'Acceleratore di Statistiche di Optimizely

Una caratteristica di strumentu di prova spessu sovrappesa hè a capacità di aduprà "banditi multi-armati", un tippu d'algoritmu di apprendimentu machine chì cambia dinamicamente induve u vostru trafficu hè attribuitu in u corsu di un esperimentu, per invià quanti visitatori à u "vincitore" variazione quant'è pussibule. U prublema cù i banditi multi-armati hè chì i so risultati ùn sò micca indicatori affidabili di prestazioni à longu andà, dunque u casu d'usu per sti tippi di esperimenti hè limitatu à casi sensibili à u tempu cum'è e promozioni di vendita.

Optimmente, però, hà un altru tipu d'algoritmu di banditu dispunibule per l'utilizatori nantu à piani più alti - Stats Accelerator (avà cunnisciutu cum'è l'opzione "Accelerate Learnings" in Bandits). In questu setup, invece di pruvà à assignà dinamicamente u trafficu à a variazione più performante, Optimizely attribuisce dinamicamente u trafficu à e variazioni più propensi à ghjunghje à significazione statistica u più veloce. In questu modu, pudete amparà più veloce, è mantene a replicabilità di i risultati tradiziunali di i test A / B.

Strategia # 4: Aghjunghjite Emojis à i Vostri Nomi Metrici

À u primu sguardu, st'idea sona forse fora di locu, ancu inana. Tuttavia, un aspettu chjave per assicurassi chì stai leggendu i risultati di l'esperimentu adatti principia per assicurassi chì u vostru audience possa capisce a domanda. 

A volte malgradu i nostri migliori sforzi, i nomi metrici ponu diventà confusi (aspettate - quellu metricu si sparge quandu l'ordine hè accettatu, o quandu l'utente accede à a pagina di ringraziamenti?), O un esperimentu hà tante metriche chì scorrenu in su è in giù i risultati pagina porta à un sovraccaricu cognitivu tutale.

Aghjunghjendu emojis à i vostri nomi di metriche (obiettivi, segni di spunta verdi, ancu u saccu di grande soldi puderebbenu travaglià) pò resultà in pagine chì sò assai più scannabili. 

Fidate di noi - leghje i risultati si senterà assai più faciule.

Strategia # 5: Ripensate u vostru Livellu di Significanza Statistica

I risultati sò cunsiderati conclusivi in ​​u cuntestu di un esperimentu Optimizely quandu sò ghjunti significazione statistica. A significazione statistica hè un termu matematicu duru, ma essenzialmente hè a probabilità chì e vostre osservazioni sianu u risultatu di una vera differenza trà duie pupulazioni, è micca solu un casu casuale. 

I livelli di significanza statistica riportati da Optimizely sò "sempre validi" grazia à un cuncettu matematicu chjamatu prova sequenziale - questu li rende in realtà assai più affidabili di quelli di altri strumenti di prova, chì sò propensi à ogni sorta di prublemi di "peeking" se li leghjite troppu prestu.

Vale a pena cunsiderà chì livellu di significazione statistica ritene impurtante per u vostru prugramma di prova. Mentre u 95% hè a cunvenzione in a cumunità scientifica, pruvemu cambiamenti di situ web, micca vaccini. Un'altra scelta cumuna in u mondu sperimentale: 90%. Ma site dispostu à accettà un pocu di più incertezza per fà esperimenti più veloci è pruvà altre idee? Pudete aduprà 85% o ancu 80% di significazione statistica? Esse intenzionale nantu à u vostru equilibriu risicu-ricumpensa pò pagà dividendi esponenziali cù u tempu, allora pensate bè cù cura.

Leghjite più nantu à Optimizely Intelligence Cloud

Questi cinque principii rapidi è intuizioni saranu incredibilmente utili da tene à mente mentre aduprate Optimizely. Cum'è cù qualsiasi strumentu, si riduce à assicurassi chì avete una bona comprensione di tutte e persunalizazioni dietro le quinte, cusì pudete assicurà chì stiate aduprendu l'utensile in modu efficace è efficace. Cù queste capisciture, pudete uttene i risultati affidabili chì cercate, quandu ne avete bisognu. 

Chì ne pensi?

Stu situ utilizeghja Akismet per reducisce u puzzicheghju. Sapete ciò chì i dati di i vostri dati è processatu.