如何利用大數(shù)據(jù)分析A/B測試優(yōu)化產(chǎn)品功能?無論您是從事產(chǎn)品,設(shè)計還是發(fā)展,您都可能遇到以下問題:
1)我們?nèi)绾翁岣咿D(zhuǎn)化率?
2)我們?nèi)绾胃纳艫ARRR渠道?
3)此功能啟動的成功程度如何?
4)這些通知是否增加了保留率?
您可以通過正確設(shè)計,運行和解釋A / B測試來獲得這些問題的答案。
您開始測試之旅所需要做的就是:
1)基本統(tǒng)計知識
2)準(zhǔn)確且足夠(每月唯一用戶數(shù)量> 1000)的產(chǎn)品數(shù)據(jù)
采取的方法嚴(yán)格且鼓勵最佳做法,但:
1)它不會證明常識假設(shè)檢驗背后的數(shù)學(xué)原理。
2)它不會涵蓋更高級的方面,例如貝葉斯上下文中的A / B,多元測試或Bonferroni校正。
準(zhǔn)備?讓我們開始吧!
一、了解拆分測試是改進(jìn)產(chǎn)品的定量方法,并且很容易弄錯
從本質(zhì)上講,A / B測試是一種比較用戶流程中流的兩個版本,以確定哪個版本表現(xiàn)最佳的方法。
為了能夠從測試中獲得洞察力,您將需要每個組(分別稱為對照組和實驗組)中足夠的人員,以及足夠的轉(zhuǎn)化差異。正如您將在第3點中看到的那樣,應(yīng)該在運行測試之前定義兩個值。
二、從產(chǎn)品渠道中選擇一個重要的轉(zhuǎn)化步驟
從技術(shù)上講,您可以進(jìn)行任何測試,例如在條款和條件頁面上更改字體。但是,您始終希望選擇對業(yè)務(wù)成果影響最大的步驟。此外,請記住數(shù)據(jù)量的重要性-流量越高,得出結(jié)論的速度越快-以及數(shù)據(jù)質(zhì)量 -垃圾進(jìn)出。
錯誤的數(shù)據(jù),錯誤的結(jié)論。數(shù)據(jù)少,結(jié)論慢。
讓我們開始實踐,我們將在大數(shù)據(jù)分析A/B測試優(yōu)化產(chǎn)品功能中使用該示例。
Trana是微博產(chǎn)品總監(jiān),可為用戶提供額外的運行洞察力。為此,它連接到他們的Strava帳戶。因此,關(guān)鍵時刻就是要求用戶鏈接其帳戶。在本能的基礎(chǔ)之上,讓我們分析一下完整的入職渠道。設(shè)計跟蹤計劃后,可以在諸如Mixpanel之類的工具中完成此操作。
我們可以看到,從絕對入職和相對而言,從“ 入職開始”到Strava Connected進(jìn)行帳戶關(guān)聯(lián)都是最有影響力的操作。有自己重要的一步嗎?讓我們繼續(xù)!
三、分析從此步驟到所需操作的當(dāng)前點擊率
點擊率(CTP)是給定用戶單擊以進(jìn)入下一步的概率。
它的值總是因此它是0和1之間不一樣的點擊率(CTR),這是#點擊/#印象。
CTP需要從選擇的步驟到關(guān)鍵的行動,而不必到下一步,因為否則您可能會達(dá)到局部最大值。這是一個簡單的示例,可以理解這一點:假設(shè)您現(xiàn)在自動將用戶從主頁重定向到產(chǎn)品的定價/溢價頁面。定價轉(zhuǎn)換的家將成為屋頂,但您可能想評估人們是否反過來更有可能成為高級用戶。
簡而言之:牢記最終,而不是下一步。
從完整的渠道中我們可以看到,CTP為80%。在這種情況下,連接他們的Strava帳戶顯然是一個重要的里程碑,因此我們可以將這種轉(zhuǎn)化概率用作目標(biāo)指標(biāo)。
四、建立假設(shè)以啟動實驗
AB測試不過是從方法上評估一種變體(稱為實驗)是否比當(dāng)前狀況(稱為對照)要好。
實驗從構(gòu)建假設(shè)開始。它可能源于直覺,客戶反饋或團(tuán)隊討論。
假設(shè)如下:通過了解微博產(chǎn)品如何幫助他們更智能地運行,用戶將不太愿意連接其產(chǎn)品
五、確定樣本量
這是A / B測試的核心,也是大數(shù)據(jù)分析A/B測試優(yōu)化產(chǎn)品功能中最繁瑣的部分。我很樂意回答您在微博上可能提出的任何問題。
運行A / B測試涉及創(chuàng)建對照和實驗樣本。通過將用戶分為兩組來進(jìn)行抽樣(將每個用戶分配給一個變體)。
一個用戶應(yīng)該始終看到相同的變化,這意味著采樣是確定性的,而不僅僅是50%的概率。
我們通常根據(jù)奇/偶ID進(jìn)行采樣,許多工具可以為您解決這些問題。
一個常見的錯誤是忽略采樣,直接更改產(chǎn)品,并將新的轉(zhuǎn)換概率與舊的轉(zhuǎn)換概率進(jìn)行比較。
這導(dǎo)致團(tuán)隊得出錯誤的結(jié)論,因為使用您產(chǎn)品的人員在不斷變化。例如,您不能說新的流量(由來自廣告的人使用)比舊的流量(由您的朋友和家人使用)最糟糕,因為看到它的可能性較小,無法承受您的產(chǎn)品首先。
您的樣本數(shù)量將取決于:
1)您的基準(zhǔn)轉(zhuǎn)化率
2)您選擇的絕對最小可檢測效果(MDE / d min)。這是您將能夠檢測到的對照轉(zhuǎn)化率與實驗轉(zhuǎn)化率之間的最小差。如果您每周的流量很多(相對于最終樣本量),則選擇您認(rèn)為值得的最小差異。如果您不這樣做,請選擇一個差異,該差異會導(dǎo)致較小的樣本量,但仍然可以實現(xiàn)。
3)Alpha(α):默認(rèn)保持為95%
4)Beta(β):默認(rèn)情況下,keep為20%,這為1-β提供了80%的值
測試將一直進(jìn)行到兩個樣品至少觀察到1030次。根據(jù)歷史流量,您可以估算出要行駛多長時間。嘗試使實驗運行少于一個月。它們運行得越快,產(chǎn)品改進(jìn)的速度就越快。
計算樣本大小,寫下來,然后開始測試。一旦有了足夠的數(shù)據(jù),您就可以分析結(jié)果。
六、從結(jié)果中獲得有效的見解
6.1收集數(shù)據(jù)。
等待直到兩個變體都有足夠的樣本量,然后進(jìn)行數(shù)據(jù)收集。
實驗轉(zhuǎn)換效果更好。這是第一個好兆頭,但我們不能止步于此。因此,讓我們進(jìn)行一些檢查。
6.2確保抽樣工作按預(yù)期進(jìn)行。
首先,檢查抽樣是否偏向其中一個小組。這是我們示例的計算:
6.3檢查實驗效果是否明顯好轉(zhuǎn)。
評估實驗是否勝過對照可能會很麻煩。因此,我構(gòu)建了一個小工具來執(zhí)行此操作,將您的圖形插入其中以執(zhí)行這三個檢查。以下是計算的詳細(xì)信息。d min是可檢測到的最小效果,N是樣本量,X是轉(zhuǎn)換計數(shù),即采取所需行動的人數(shù)。
其中d?±m是置信區(qū)間。
以下是解釋結(jié)果的方法:
1)d? – m> d
填寫下面表單即可預(yù)約申請免費試聽!怕錢不夠?可先就業(yè)掙錢后再付學(xué)費! 怕學(xué)不會?助教全程陪讀,隨時解惑!擔(dān)心就業(yè)?一地學(xué)習(xí),可推薦就業(yè)!
?2007-2022/ m.5wd995.cn 北京漫動者數(shù)字科技有限公司 備案號: 京ICP備12034770號 監(jiān)督電話:010-53672995 郵箱:bjaaa@aaaedu.cc