摘要：
Waze（位智）是一款基于GPS的導航移動軟件應用APP，于2013年被Google收購。本文作者為Waze的增進營銷負責人。在Waze事情的7年內(nèi)，她介入過林林總總的產(chǎn)物或功效開... 
Waze（位智）是一款基于GPS的導航移動軟件應用APP，于2013年被Google收購。本文作者為Waze的增進營銷負責人。在Waze事情的7年內(nèi)，她介入過林林總總的產(chǎn)物或功效開發(fā)：從全球已有跨越1.3億用戶的Waze App，到Waze上線不久的拼車軟件。在今天的文章里，她將為我們分享若何通過A/B Testing來實現(xiàn)Waze的增進。
在市場營銷的差別領(lǐng)域里事情，我見證了營銷若何影響了用戶介入度，這也激發(fā)了我更深入地研究營銷的績效和增進：我學會了若何通過數(shù)據(jù)挖掘發(fā)現(xiàn)商業(yè)看法，若何設計響應的實驗，以及若何剖析和注釋實驗的效果。作為績效營銷團隊(Performance Marketing) 的一員，我們團隊旨在通過Waze已有的營銷渠道和工具來提高整個Waze產(chǎn)物漏斗中的用戶介入度。我們會直接接觸到用戶，最終指導用戶完成消費。
除此以外，我們團隊會設計實驗來進一步驗證營銷流動的效果，實驗的主要形式是“假設磨練(Hypothesis testing)”，例如A/B測試。頻頻舉行了數(shù)百個實驗之后，我發(fā)現(xiàn)了一系列最佳實驗，以及實行實驗的具體步驟。今天就在這里與人人分享我的A/B測試履歷。
第一步：探索數(shù)據(jù)關(guān)系，制訂KPI
首先，你的任何A/B測試，其關(guān)注的KPI都應該與公司的KPI保持一致，從而確保你的測試實驗關(guān)注在公司的重點營業(yè)上。
通過探索性數(shù)據(jù)剖析（Exploratory Data Analysis）探尋數(shù)據(jù)中隱藏的關(guān)系
明確KPI，需要連系專業(yè)領(lǐng)域知識和EDA(探索性數(shù)據(jù)剖析)的發(fā)現(xiàn)。我們需要對公司營業(yè)有深入領(lǐng)會，從而確定營業(yè)的焦點驅(qū)動力是什么。我們能通過EDA挖掘影響焦點驅(qū)動力的因素，除此以外，EDA還能輔助我們識別產(chǎn)物漏斗中具有最大增進潛力的相關(guān)部門。
若是你沒有EDA的相關(guān)履歷，以下是基本步驟建議：
檢查數(shù)據(jù)：對于每個數(shù)據(jù)集，首先領(lǐng)會數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容。
清算數(shù)據(jù)：刪除多余列，處置Null值。若有需要，可以添加列。
使用Group by和Aggregation函數(shù)盤算形貌性統(tǒng)計量，以探索值得關(guān)注的差別組數(shù)據(jù)差異。
舉行可視化數(shù)據(jù)探索，發(fā)現(xiàn)潛在的差別組間的關(guān)系。
明確與重點營業(yè)和商業(yè)目的相關(guān)的可操作指標(Actionable Metrics)
你選擇的指標應與產(chǎn)物黏性(介入度)相關(guān)，而且應該是歷久留存量的有力指標。總之，KPI應該是可丈量、可執(zhí)行的指標。換言之，你應該能通過某些行動提升這個指標數(shù)值，并輔助公司到達商業(yè)目的。除此之外，對于這個指標，你還需要足量的過往數(shù)據(jù)，或者能輕松搜集其相關(guān)數(shù)據(jù)。同時，你也應該制止跨度時間長的數(shù)據(jù)迭代。例如：使用逐日或每周的活躍用戶數(shù)據(jù)，而不是每月活躍用戶。由于使用每月活躍用戶(MAU)數(shù)據(jù)，你需要守候更新一個月，才氣對數(shù)據(jù)舉行剖析和操作。
專注用更少指標發(fā)生更大影響
對于KPI，你應該遵照“少即是多”的原則。讓公司關(guān)注更少的指標，旨在整個公司發(fā)生更大的影響。
在設計A/B測試時，你同樣也應該遵照這個方式。試圖同時優(yōu)化更多指標，實驗就會加倍龐大：可能導致實驗需要更長的測試時間，更多的設計和開發(fā)資源——也就是更多的錢。
當你發(fā)現(xiàn)了數(shù)據(jù)中的隱藏關(guān)系，你可以對其舉行深入剖析，從而更準確地設計你的KPI，并在未來的實驗設計和營銷效果評估中使用它們。
第二步：確定實驗的局限和目的
一旦你對數(shù)據(jù)的關(guān)系有了更全面的領(lǐng)會，明確了相關(guān)KPI，你就可最先制訂實驗的局限了。而任何實驗的設計都應該從解答以下四個問題最先：
1. 這個實驗有意義嗎？
這是重中之重的問題，由于沒有人想浪費時間、款項和資源在一個效果無足輕重，不能影響營業(yè)、產(chǎn)物或營銷計謀的實驗上。在真正最先實驗之前，確保你與公司決議層的目的一致。
2. 實驗的相關(guān)KPI可丈量嗎？若是可以，若何丈量？
永遠不要一拍腦門就最先一個實驗。許多人會說：“我們來試試這個實驗，看看會有什么效果?！边@些人往往會意識到，他們想影響的指標現(xiàn)實上是無法丈量的。這也是我們應該制止的。在最先實驗之前，明確你想影響的數(shù)值或KPI，再確保它們是可以丈量的，能應用于實驗的。
3. 實驗的影響可檢測嗎？
想要評估你的實驗影響是否有意義，你需要足夠大的樣本量。而合適的樣本量巨細取決于許多因素，包羅置信水平(confidence level)，統(tǒng)計功效(statistical power)，和效應值(effect size)等。在設計實驗的第三步，我們會深入研究這些問題。但總而言之，探測產(chǎn)物漏斗更深處的效應，會需要更大的樣本量。若是檢測的效應在漏斗頂部，例如點擊率、打開消息率等，其需要的樣本量會相對較小。同樣的，檢測更小的效應需要更大的樣本量。
若是情形允許，你可以從過往的類似實驗中學習，通過轉(zhuǎn)換率確定實驗基準，從而大略估量你的實驗執(zhí)行所需的用戶量。
4. 若是實驗樂成，能發(fā)生現(xiàn)實影響嗎？
我們應該從商業(yè)角度思量，若是實驗樂成，所發(fā)生的影響是否有商業(yè)意義。換言之，縱然你的實驗統(tǒng)計意義上提升了指標或KPI，但若是它只能影響少量用戶，那這個實驗可能并不值得推行。
確保了你的實驗能對以上四個問題回覆“Yes”，就可以繼續(xù)讀下去——正式最先你的實驗設計了。
第三步：界說、設計并實行你的實驗
在驗證了實驗的必要性并設定好樂成指標后，你就可以最先舉行實驗的設計了。在Waze多年的履歷，我總結(jié)出一套實驗紀錄的一套流程，主要由三部門組成：界說，設計和實行。
界說
這一部門主要提供實驗的靠山信息。它需要概述實驗的需求，決議的制訂方式以及專業(yè)術(shù)語。在這部門，你需要用到在第一步中舉行的剖析效果以及第二步中界說的基本原理，為實驗提供靠山信息和框架。
具體來說，在這一部門中我們需要回覆以下問題：
這個實驗是關(guān)于什么的？
此實驗的商業(yè)目的是什么?
此實驗的實驗效果將會怎樣影響商業(yè)決議？特別是在與該實驗相關(guān)的部門中的決議轉(zhuǎn)變——例如營銷部門或者產(chǎn)物部門等等。
若何界說該實驗中所使用的指標和術(shù)語？
非常主要的一點是確保所有與此實驗相關(guān)的事情人員，利益相關(guān)者和通俗讀者都對試驗中所使用的專業(yè)術(shù)語有相同的界說。若是實驗的要害環(huán)節(jié)沒有獲得準確的界說，那么這很可能會影響到試驗中的各個部門，使得最后得出完全差別的結(jié)論。例如，若是你實驗的目的是將非努力用戶轉(zhuǎn)化為努力用戶，則必須在實驗設計中完整界說非努力用戶的界說或努力用戶與非努力用戶的界定尺度。由于其他讀者很可能對你的目的受眾或整個實驗效果和樂成與否存在完全差別的思索角度或明白誤差。
實驗設計
抖音養(yǎng)號技巧,優(yōu)秀帶貨主播的自我修養(yǎng)
這部門是整個實驗設計的焦點內(nèi)容。它包羅目的人群的界說，事宜幾率巨細，抽樣方案，假設界說和所需的最小樣本量。這部門需要確保包羅以下內(nèi)容：
目的人群
詳細界說該實驗的目的人群。
事宜幾率巨細
這部門應該憑據(jù)實驗的目的人群和實驗KPI舉行界說。如第一步所述，你需要集中測試該實驗中的可能變量。
抽樣方案
這部門主要界說你對目的人群舉行抽樣的方式。我還建議在這部門中枚舉出任何有可能泛起的抽樣誤差，這樣可以確保你和實驗的利益相關(guān)者領(lǐng)會這些抽樣誤差可能對實驗效果造成的潛在影響。
零假設與替換假設
這部門是實驗界說的“心臟”，需要簡練清晰地形貌你的零假設和替換假設。其中零假設應該是你的默認操作或現(xiàn)有狀態(tài)。替換假設則是你正在測試的新理論或轉(zhuǎn)變。你在實驗中的目的是檢測是否有足夠的證據(jù)支持來推翻零假設并更改為替換假設。
統(tǒng)計誤差在實驗中代表了假設磨練中的要害部門。具體來說，我們可以看到兩種差別的統(tǒng)計誤差，分別是第一類錯誤和第二類錯誤。說明兩種錯誤之間的區(qū)別時，一種常見的例子是將第一類錯誤視為將無辜者治罪的幾率，而第二類錯誤是將有罪者定為無罪的幾率。
在實驗中，你希望削減無法拒絕零假設的幾率，從而增添找到實驗效果的機遇（若是效果真實存在）。以上述例子為例，你可以想成零假設為一小我私家是無辜的，而替換假設為這小我私家有罪。若是該人確實是無辜的（零假設建立），那么則希望削減對該人治罪的可能性（零假設不建立）。
主要性級別和功耗統(tǒng)計
一樣平常會通過顯著性水平來界說你對第一類錯誤的接受水平，通常會設置為0.05或5%（95%置信區(qū)間）。也就是5%的可能性錯誤的將無辜者治罪。我們通過功耗統(tǒng)計來戰(zhàn)勝第二類錯誤。一個實驗的功耗統(tǒng)計是指該實驗檢測出差別實驗組之間區(qū)別的能力（若是此區(qū)別是真實存在的）。大部門情形下功效被設定為80%。
效應值
領(lǐng)會效應的巨細是非常主要的，或者在既定的群體中怎樣的效果是可以預期的。以是你需要一個效應值。在實驗中你想要看到更大的轉(zhuǎn)變，那么效應值也就越大，最小樣本量也就越小。相反，若是你想看到更小的轉(zhuǎn)變，那么效應值也相對越小，我們所需的最小樣本量則越大。換而言之，若是你希望發(fā)現(xiàn)較大的差異，那么可以在測試中削減樣本數(shù)目。反之，若是你希望找到細微差異，那么就需要在實驗中增添更多的樣本數(shù)目。
最小樣本量
在界說完顯著性水平，功效和效應值后，你可以通過運行功效剖析來確定實驗所需的最少樣本數(shù)，以此來檢測你所測試的轉(zhuǎn)變是否有意義。
這種測試通常會使用p值來檢測，這是假定零假設建立時考察效果所獲得的概率。在顯著性測試中使用p值時，必須明確指定顯著性水平。若是p值小于顯著性水平，則示意顯著性檢測的效果為“統(tǒng)計上顯著”。這意味著零假設（沒有差異性）被拒絕。
p <= alpha: 拒絕零假設
p > alpha: 無法拒絕零假設
實行與考察
現(xiàn)在你已經(jīng)準備好執(zhí)行你的實驗了！
不要忘記在實驗的每個環(huán)節(jié)舉行質(zhì)量檢查，以確保數(shù)據(jù)正常和每個環(huán)節(jié)中的操作相符你的預期。另外，也需要確保在整個實驗過程中嚴酷監(jiān)控。最主要的是，確保在實驗最先執(zhí)行后的幾小時內(nèi)親切考察，以盡快發(fā)現(xiàn)任何潛在問題。
第四步：剖析并匯報實驗效果
在完成A/B測試后，你需要剖析并清晰地講述實驗效果，不用為實驗中的負面或非負面效果而感應含羞。通常情形下你需要測試多種假設后才氣找到最有影響力的假設。然則，清晰地講述具有可操縱性的實驗效果可以輔助你和所有利益相關(guān)者連續(xù)地為你的KPI帶來正面影響。
剖析實驗效果的第一步是從驗證最先，以確保你的測試正常運行。具體來說，你需要確認以下幾點：
差別實驗組的巨細相同：即每個組的測試分配為50％-50％。若是你決議以差別方式劃分實驗組，則需要確保每個組的巨細都與分配給它的百分比相對應。
實驗組是隨機抽取和分配的：確保檢查實驗組中的子群組，以確保沒有潛在的誤差影響你的實驗效果。例如，你可以按性別或國家/區(qū)域?qū)嶒灲M舉行分組，以確保兩個組的規(guī)模相對相似。
在確認實驗的有效性后，你需要憑據(jù)之前為實驗界說的指標和KPI剖析每個組的顯示。若是其中一組的顯示看起來似乎比另一組更好，然則你必須查看效果是否具顯著，以便能夠確定效果是隨機事宜照樣可再現(xiàn)的效果（會對效果發(fā)生現(xiàn)實影響）。
怎樣判斷實驗效果是否顯著呢？若是你的變量之間的關(guān)系不只是有時發(fā)生，那么就代表它是顯著的！顯著性是以P值（即概率值）權(quán)衡的，它將反映你的效果是否與統(tǒng)計假設磨練中考察到的效果一樣極端。P值會假設你的零假設在一最先就是準確的。
要記著的是，P值取決于測試組的樣本量。P值巨細從0％到100％，但通常寫為十進制。例如，5％的P值為0.05。低P值是優(yōu)越的顯示；它們解釋效果不是有時發(fā)生的。你可以將高P值視為反駁零假設的弱證據(jù)，而將低P值視為反駁零假設的強證據(jù)：
高P值：你的實驗數(shù)據(jù)證實了零假設的真實性（零假設建立）
低P值：你的實驗數(shù)據(jù)無法證實零假設的真實性（零假設不建立）
我已經(jīng)聽過許多次人們試圖注釋“效果幾乎是顯著的”之類的說辭，以充實他們的講述。讓我們清晰一點：
實驗中沒有“幾乎是有意義的”這一回事。你的測試效果只能是顯著的或不顯著的。
除了確定測試效果是否具顯著外，你還需要界說效果的巨細，或零假設和替換假設之間差異的巨細。要確定這一點，你需要舉行磨練統(tǒng)計量。基于零假設中假設的概率模子，差別的假設磨練使用差別的磨練統(tǒng)計量。一些常用的測試包羅：
Z test (Z statistic): Z磨練測試效果低于或高于總體的多少個尺度差。Z分數(shù)也稱為尺度分數(shù)。
T test (T statistic): T磨練會顯示兩組之間的差異有多大；換句話說，它讓你知道這些差異（以均值/平均值權(quán)衡）是否可能是有時發(fā)生的。
ANOVA (F-statistic): 與T磨練類似，ANOVA可以告訴你差別組之間的差異有多嚴重。t磨練用來對照兩組樣本，而ANOVA磨練可以舉行兩組以上的磨練。
Chi-square tests (Chi-square statistic): 可以輔助你找到涉及零假設和替換假設的變量之間的關(guān)系類型。
在舉行剖析時，你需要選擇最適合你的實驗的磨練統(tǒng)計量，并盤算T和P值以評估實驗顯示。Statsmodels庫中包含了一些壯大的功效，可輔助你舉行上述的磨練統(tǒng)計量。
