大數(shù)據(jù)分析A/B測試優(yōu)化產(chǎn)品功能

　　如何利用大數(shù)據(jù)分析A/B測試優(yōu)化產(chǎn)品功能?無論您是從事產(chǎn)品，設(shè)計還是發(fā)展，您都可能遇到以下問題：
 

　　1)我們?nèi)绾翁岣咿D(zhuǎn)化率?

　　2)我們?nèi)绾胃纳艫ARRR渠道?

　　3)此功能啟動的成功程度如何?

　　4)這些通知是否增加了保留率?
 

　　您可以通過正確設(shè)計，運行和解釋A / B測試來獲得這些問題的答案。
 

　　您開始測試之旅所需要做的就是：
 

　　1)基本統(tǒng)計知識

　　2)準(zhǔn)確且足夠(每月唯一用戶數(shù)量> 1000)的產(chǎn)品數(shù)據(jù)
 

　　采取的方法嚴(yán)格且鼓勵最佳做法，但：
 

　　1)它不會證明常識假設(shè)檢驗背后的數(shù)學(xué)原理。

　　2)它不會涵蓋更高級的方面，例如貝葉斯上下文中的A / B，多元測試或Bonferroni校正。
 

　　準(zhǔn)備?讓我們開始吧!
 

　　一、了解拆分測試是改進(jìn)產(chǎn)品的定量方法，并且很容易弄錯
 

　　從本質(zhì)上講，A / B測試是一種比較用戶流程中流的兩個版本，以確定哪個版本表現(xiàn)最佳的方法。
 

　　為了能夠從測試中獲得洞察力，您將需要每個組(分別稱為對照組和實驗組)中足夠的人員，以及足夠的轉(zhuǎn)化差異。正如您將在第3點中看到的那樣，應(yīng)該在運行測試之前定義兩個值。
 

　　二、從產(chǎn)品渠道中選擇一個重要的轉(zhuǎn)化步驟
 

　　從技術(shù)上講，您可以進(jìn)行任何測試，例如在條款和條件頁面上更改字體。但是，您始終希望選擇對業(yè)務(wù)成果影響最大的步驟。此外，請記住數(shù)據(jù)量的重要性-流量越高，得出結(jié)論的速度越快-以及數(shù)據(jù)質(zhì)量 -垃圾進(jìn)出。
 

　　錯誤的數(shù)據(jù)，錯誤的結(jié)論。數(shù)據(jù)少，結(jié)論慢。
 

　　讓我們開始實踐，我們將在大數(shù)據(jù)分析A/B測試優(yōu)化產(chǎn)品功能中使用該示例。

　　Trana是微博產(chǎn)品總監(jiān)，可為用戶提供額外的運行洞察力。為此，它連接到他們的Strava帳戶。因此，關(guān)鍵時刻就是要求用戶鏈接其帳戶。在本能的基礎(chǔ)之上，讓我們分析一下完整的入職渠道。設(shè)計跟蹤計劃后，可以在諸如Mixpanel之類的工具中完成此操作。

　　我們可以看到，從絕對入職和相對而言，從“ 入職開始”到Strava Connected進(jìn)行帳戶關(guān)聯(lián)都是最有影響力的操作。有自己重要的一步嗎?讓我們繼續(xù)!
 

　　三、分析從此步驟到所需操作的當(dāng)前點擊率
 

　　點擊率(CTP)是給定用戶單擊以進(jìn)入下一步的概率。
 

　　它的值總是因此它是0和1之間不一樣的點擊率(CTR)，這是#點擊/#印象。
 

　　CTP需要從選擇的步驟到關(guān)鍵的行動，而不必到下一步，因為否則您可能會達(dá)到局部最大值。這是一個簡單的示例，可以理解這一點：假設(shè)您現(xiàn)在自動將用戶從主頁重定向到產(chǎn)品的定價/溢價頁面。定價轉(zhuǎn)換的家將成為屋頂，但您可能想評估人們是否反過來更有可能成為高級用戶。
 

　　簡而言之：牢記最終，而不是下一步。

　　從完整的渠道中我們可以看到，CTP為80%。在這種情況下，連接他們的Strava帳戶顯然是一個重要的里程碑，因此我們可以將這種轉(zhuǎn)化概率用作目標(biāo)指標(biāo)。
 

　　四、建立假設(shè)以啟動實驗
 

　　AB測試不過是從方法上評估一種變體(稱為實驗)是否比當(dāng)前狀況(稱為對照)要好。
 

　　實驗從構(gòu)建假設(shè)開始。它可能源于直覺，客戶反饋或團(tuán)隊討論。

　　假設(shè)如下：通過了解微博產(chǎn)品如何幫助他們更智能地運行，用戶將不太愿意連接其產(chǎn)品
 

　　五、確定樣本量
 

　　這是A / B測試的核心，也是大數(shù)據(jù)分析A/B測試優(yōu)化產(chǎn)品功能中最繁瑣的部分。我很樂意回答您在微博上可能提出的任何問題。
 

　　運行A / B測試涉及創(chuàng)建對照和實驗樣本。通過將用戶分為兩組來進(jìn)行抽樣(將每個用戶分配給一個變體)。
 

　　一個用戶應(yīng)該始終看到相同的變化，這意味著采樣是確定性的，而不僅僅是50%的概率。
 

　　我們通常根據(jù)奇/偶ID進(jìn)行采樣，許多工具可以為您解決這些問題。
 

　　一個常見的錯誤是忽略采樣，直接更改產(chǎn)品，并將新的轉(zhuǎn)換概率與舊的轉(zhuǎn)換概率進(jìn)行比較。
 

　　這導(dǎo)致團(tuán)隊得出錯誤的結(jié)論，因為使用您產(chǎn)品的人員在不斷變化。例如，您不能說新的流量(由來自廣告的人使用)比舊的流量(由您的朋友和家人使用)最糟糕，因為看到它的可能性較小，無法承受您的產(chǎn)品首先。
 

　　您的樣本數(shù)量將取決于：
 

　　1)您的基準(zhǔn)轉(zhuǎn)化率

　　2)您選擇的絕對最小可檢測效果(MDE / d min)。這是您將能夠檢測到的對照轉(zhuǎn)化率與實驗轉(zhuǎn)化率之間的最小差。如果您每周的流量很多(相對于最終樣本量)，則選擇您認(rèn)為值得的最小差異。如果您不這樣做，請選擇一個差異，該差異會導(dǎo)致較小的樣本量，但仍然可以實現(xiàn)。

　　3)Alpha(α)：默認(rèn)保持為95%

　　4)Beta(β)：默認(rèn)情況下，keep為20%，這為1-β提供了80%的值

　　測試將一直進(jìn)行到兩個樣品至少觀察到1030次。根據(jù)歷史流量，您可以估算出要行駛多長時間。嘗試使實驗運行少于一個月。它們運行得越快，產(chǎn)品改進(jìn)的速度就越快。
 

　　計算樣本大小，寫下來，然后開始測試。一旦有了足夠的數(shù)據(jù)，您就可以分析結(jié)果。
 

　　六、從結(jié)果中獲得有效的見解
 

　　6.1收集數(shù)據(jù)。
 

　　等待直到兩個變體都有足夠的樣本量，然后進(jìn)行數(shù)據(jù)收集。

　　實驗轉(zhuǎn)換效果更好。這是第一個好兆頭，但我們不能止步于此。因此，讓我們進(jìn)行一些檢查。
 

　　6.2確保抽樣工作按預(yù)期進(jìn)行。
 

　　首先，檢查抽樣是否偏向其中一個小組。這是我們示例的計算：

　　6.3檢查實驗效果是否明顯好轉(zhuǎn)。
 

　　評估實驗是否勝過對照可能會很麻煩。因此，我構(gòu)建了一個小工具來執(zhí)行此操作，將您的圖形插入其中以執(zhí)行這三個檢查。以下是計算的詳細(xì)信息。d min是可檢測到的最小效果，N是樣本量，X是轉(zhuǎn)換計數(shù)，即采取所需行動的人數(shù)。

　　其中d?±m是置信區(qū)間。
 

　　以下是解釋結(jié)果的方法：
 

　　1)d? – m> d