產品或者設計師在做設計方案時，會有一套方法論來制作多個方案，經過評審之后一般都會得出一個平衡了用戶體驗和業務目標的方案。但往往也存在一種情況：A方案和B方案各有優劣，實在無法主觀判斷兩個方案上線之后數據如何。如果AB方案的實現成本不是很高，就可以使用AB Testing來解決。依據上線之后的數據表現，最終上線數據更好的方案。
1. 原理
數理統計學中有一個概念叫“假設檢驗(Hypothesis Testing）”，其基本的原理是對整體特征做出某種假設，然后通過抽樣研究的統計推理，對此假設應該被拒絕還是接受作出推斷。
在假設檢驗中，存在原假設和備擇假設，以下圖為例。
原假設指改變按鈕樣式會帶來轉化率的提升，備擇假設是改變按鈕樣式不會帶來轉化率的提升。
原假設和備擇假設有且只能有一個為真。
2. 背景
Google是最早將AB Testing應用到互聯網產品的公司，谷歌工程師在2000年進行了他們的第一次AB測試，試圖確定在搜索引擎結果頁面上顯示的最佳結果數量。后來AB測試不斷發展，但基礎和基本原則通常保持不變，2011年，谷歌首次測試后11年，谷歌進行了7,000多次不同的AB測試。
目前像Facebook、LinkedIn等公司都有專門的增長團隊來做AB Testing的實驗（增長團隊的核心就是不斷的進行AB Testing來提升產品數據），并且團隊負責人直接向CEO匯報，最近兩年國內不少公司也越來越重視數據增長。
3. AB Testing越來越被重視的原因
為什么數據增長會在互聯網行業興起，我認為有兩點原因，一是互聯網產品的表現形式趨于成熟，目前市場上主流的智能手機操作系統只有iOS和Android，它們在交互和視覺層面越來越規范和統一；二是互聯網產品設計的方法論逐漸成熟，互聯網公司產品設計流程的分工已經很細，產品經理、交互設計師、視覺設計師，而且每個崗位都有成熟的方法論。由于這兩點原因，導致大家做出來的東西在用戶體驗層面已經拉不開很大的差距，這時候如何在同質化產品中脫穎而出變得更加困難，其中通過科學的方法，采用認知心理學和統計學相關知識的AB Testing展現了它的威力，并為互聯網產品的數據增長帶來了新的動力。
4. 具體方法論：如何做實驗？
①提出想法，設定假設
得出假設的方法有很多，包括福格模型、頭腦風暴、經驗總結、行業借鑒、公司不同部門人員提出建議、用戶調研、數據分析。方法有很多，以后我們會詳細介紹。
②預估成本/設定優先級
有些實驗方案不僅涉及設計和開發成本，還需要額外的資金成本，像增加現金或優惠券獎勵來提升轉化率的實驗，這個時候需要對該類實驗經濟成本預估，并且結合ICE模型來設定優先級，決定哪個實驗先做，哪個實驗后做。
ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每項滿分為十分，ICE總分為三項的平均分，ICE分值越高，對應的優先級也越高。
③設計方案
決定了哪些實驗先做，哪些后做，接下來就要開始進入方案的設計階段了，有些簡單的實驗可能不需要經過設計階段，可以直接開發上線。
主要跟交互設計師，根據第一步提出的假設，提出多種方案，最后選擇一到兩個方案進行AB testing。
著名的資訊公司Upworthy會對每篇即將上線的文章討論出25個標題，最終選擇2個標題進行A B testing。
④確定實驗人數和周期
關于計算實驗人數和周期，有很多工具網站可以使用，例如Evanmiller網站。打開這個網站，你會發現有四個字段需要輸入，一個是Baseline conversion rate，指原有的轉化率，二是Minimum Detectable Effect，指預計會提升的百分比，另外兩個是β和α值，你只要記住設定這兩個值是為了保證實驗結果的準確性。一般β值會設定在5%/10%，α值會取1%~10%之間。
⑤安排開發與測試
這個大家太熟悉了，就不多說。
⑥分析實驗結果
在分析實驗結果的時候要特別注意兩點，一要排除其他因素導致的數據變動，例如你的產品是受季節影響的話，實驗得出的數據要扣除季節對數據產生的影響；二是確保關聯數據也有相應增長，例如你的實驗是要提升活動詳情頁到支付頁的轉化率，實驗結果顯示，轉化率從之前的5%提升到了6%，這相當于增長了20%，但是別高興太早，你要看看這增加的20%的用戶，有沒有成功進入下一步，也就是支付成功，很有可能本次實驗只是把用戶從活動詳情頁吸引到了支付頁，但是吸引來的用戶并沒有去真正下單。
⑦擴大實驗或失敗
分析完實驗結果后，如果判定實驗成功，接下來就擴大實驗范圍，把本次改進覆蓋所有用戶；如果實驗失敗，也不要灰心，畢竟AB Testing的成功率并不是很高，大膽的接受實驗失敗，并開始下一個實驗吧。
5. 注意事項
①確保實驗的變量唯一；
②確保試驗周期不能過長，一般控制在2到3周，最好不要超過一個月；
③確保α和β值在合理的區間內，保證實驗的準確性；
④分析實驗結果時，記得排除其他因素在實驗中的影響。
