運用數(shù)據(jù)檢測看不到的用戶體驗

用戶調(diào)研和可用性測試常淪為“說服”的工具，我們從中只選擇自己想聽的內(nèi)容。如果數(shù)據(jù)正向，但收到好幾個用戶的反彈，如何處理？調(diào)研結(jié)果用戶不買單，但是強推后數(shù)據(jù)非常好，又該如何理解？盤子大了，在線的東西再爛也有人用，要是說不清下線的好處，是不是動不得它分毫？

 

一. 明確商業(yè)目標和用戶體驗?zāi)繕?/span>

一個項目拿到手，要首先確定清楚的就是——商業(yè)目標是什么：是盡可能多的賣貨，還是拉攏更多觀眾，或者宣傳一個新的品牌活動？在考慮用戶需求之前，就要把商業(yè)目標對應(yīng)的數(shù)據(jù)確定好，一方面給自己一個方向，另一方面也讓需求方負起責(zé)任。

要達成商業(yè)訴求，必須同時也命中用戶的體驗?zāi)繕?。所以在商業(yè)目標之后，要想清楚這個項目滿足了什么樣的用戶訴求。體驗?zāi)繕瞬荒芴^籠統(tǒng)，如“買到最合適的商品”是一個大目標，但拆解后還可以得到“高效瀏覽商品信息”、“便捷地做出購買決策”、“享受到更多的優(yōu)惠”等細分目標，這都會是后續(xù)設(shè)計的依據(jù)。

就算是做公益，所有的設(shè)計策略和方案都是建立在商業(yè)、體驗?zāi)繕酥稀＿@會成為后期糾結(jié)、商討時的不二準繩。

 

二. 確定客觀數(shù)據(jù)指標

上面講的是一些主觀描述，但項目中，還是需要拿出每個目標所對應(yīng)的客觀數(shù)據(jù)指標。

“盡可能多的賣貨” 對應(yīng) “銷售額”、“成交轉(zhuǎn)化率”；

“高效瀏覽商品信息” 對應(yīng) “頁面停留時長”、“跳失率”；

“享受到更多優(yōu)惠” 對應(yīng) “優(yōu)惠券模塊點擊率”、“優(yōu)惠券使用率”。

退一萬步講，有些目標可能沒有清晰的數(shù)值，也可以通過用戶調(diào)研、業(yè)務(wù)方好評率等方式主動創(chuàng)造數(shù)據(jù)。如“用戶希望瀏覽高品質(zhì)感的品牌介紹” 可以對應(yīng) “品牌方滿意程度”、“用戶調(diào)研好評率”等。

商討最常見的原因就是牛頭不對馬嘴，你說這個設(shè)計“體驗好”、頁面“設(shè)計精美”，但這話誰都能說，誰也都可以反駁，爭論起來永遠沒有盡頭。

 

三. 測試時控制變量

上過初中就應(yīng)該知道“控制變量”是對照實驗非?；A(chǔ)的一個前提，即兩個實驗組除了被測試項以外，其他條件必須保證完全一致，才能說明測試項的對照結(jié)果。實際 AB 測試時，我們沒有辦法保證兩組用戶“100%相同”，但也要盡可能保證“控制變量”——可惜這常常被忽視。

舉個例子，做測試時常用新舊版本做對比試驗，以此來衡量新設(shè)計方案的效果。但如果僅拿“新版客戶端用戶”和“舊版客戶端用戶”在同一個功能下的行為數(shù)據(jù)做對比，可能就沒什么價值。

為什么？因為主動更新 App 的用戶，本身就比那些后更新、不更新的用戶更加活躍，所有數(shù)據(jù)正向也是理所應(yīng)當(dāng)?shù)摹?/span>

那應(yīng)該怎么做？應(yīng)該在線上做兩個版本同時存在，把更新客戶端的用戶分成2個對照組，分別看到新舊頁面（即部分用戶更新后看到的還是老版本），然后再看數(shù)據(jù)結(jié)果。

四. 獲取數(shù)據(jù)

一般能獲得哪些類型的數(shù)據(jù)？

商業(yè)指標：成交額、注冊用戶數(shù)量、（明確定義后的）活躍用戶數(shù)量等等，可以在服務(wù)端做數(shù)據(jù)記錄，并周期性產(chǎn)出供參考使用；

體驗指標：模塊點擊率、頁面內(nèi)模塊點擊順序、操作性功能觸發(fā)率（左右滑動、長按等），一般是在客戶端埋點記錄。值得注意的是，凡涉及“率”的數(shù)據(jù)，分母和分子必須定義清楚，我見過很多數(shù)據(jù)由于定義不明，導(dǎo)致出來的“率”完全沒有可用性。

舉個例子，某個電商購買頁面，優(yōu)惠券是根據(jù)人群智能發(fā)放的，那優(yōu)惠模塊就不是所有用戶都能看到。在計算點擊率、使用率時，分母必須是能看到的這些用戶，而不能粗暴地使用大盤數(shù)據(jù)。

具體的服務(wù)端、客戶端埋點方法，一般對應(yīng)的開發(fā)同學(xué)都懂。設(shè)計師需要按照前面分析的商業(yè)、體驗?zāi)繕?，把需要的?shù)據(jù)列出來，然后和開發(fā)同學(xué)溝通埋點方案。

至于數(shù)據(jù)呈現(xiàn)，簡單的方法是開發(fā)同學(xué)定期（如每天）拉數(shù)據(jù)報表，然后郵件給大家，當(dāng)然會腳本的設(shè)計師也可以自己去取；體驗最好的，是做一個數(shù)據(jù)報表平臺，可以定期或?qū)崟r的查看數(shù)據(jù)，要能做一些可視化展示以及分析就更好了。

 

五. 數(shù)據(jù)要聯(lián)合起來看

沒有對比，看單個數(shù)據(jù)就沒有價值。這我要分幾種情況來解釋。

a. 單個時間點的數(shù)據(jù)沒有價值。

要衡量設(shè)計方案的好壞，必須要有“前”、“后”兩個數(shù)據(jù)甚至一段時間內(nèi)的很多組數(shù)據(jù)才能有效。這意味著數(shù)據(jù)采集是一個連續(xù)的過程，并且要保證指標定義一致?？雌饋砗孟穹浅；A(chǔ)，但實際工作中很多人做不到；

b. 單個場景的數(shù)據(jù)不是最有價值的。

你把某功能的點擊率從1%提高到了2%牛不牛？牛。但可能競品能做到5%，你的設(shè)計還是很爛。雖然別人家的數(shù)據(jù)往往很難獲得，可一旦有機會，千萬不要放過；（也可以拿自家產(chǎn)品的類似場景數(shù)據(jù)去做對比，比如阿里就可以拿天貓?zhí)詫毜臄?shù)據(jù)做參考。）

c. 數(shù)據(jù)要結(jié)合整個流程。

到本頁面的流量占前一級頁面總量的多少？本頁面的流量來源是哪些頁面，后續(xù)又去了哪里？我們稱之為“流量漏斗”，可以對比出哪個環(huán)節(jié)是真正的短板。另外，如果單看“點擊率”顯然也沒有價值，因為“點擊率”既不是商業(yè)指標也不是體驗指標，點擊率高是否點擊后的場景轉(zhuǎn)化率高？點擊率低是否是因為模塊沒有被露出？都是要考慮的因素。

舉個例子。做了一個改版后，用戶在頁面的“平均停留時長”從60s變?yōu)?5s，請問是好還是不好？

答案是不知道。說好，可以說用戶在頁面的效率高，更快完成任務(wù)，完成決策；說不要，可以說用戶沒有在頁面里逛起來，信息不夠吸引人。

但就像我表述的，沒有商業(yè)、體驗?zāi)繕俗鰷世K，一切數(shù)據(jù)指標都將喪失價值。

 

六. 一些踩過的坑

研究模塊“曝光率”時，以前的做法是模塊只要被服務(wù)端展示，就當(dāng)被看到——這問題在于，像 List 這種長頁面，一次加載20個模塊，排在后面的其實并沒有進入屏幕，但也被計算為曝光，是不合理的。所以有時候，我們會用“翻屏率”說明用戶的訪問深度，而不是依賴靠后模塊的曝光。

客戶端也能做到模塊出現(xiàn)在“屏幕可視范圍內(nèi)”時才統(tǒng)計為被曝光。但問題在于，如果用戶很快地滑動到底部，中間的內(nèi)容是算曝光了，還是沒曝光？所以我們應(yīng)該規(guī)定內(nèi)容在屏幕可視范圍內(nèi)的停留時間，比如超過1s，才開始計算曝光。

項目上線前，最好像創(chuàng)業(yè)一樣，制定“退出策略”。所有規(guī)則提前訂好，不要等上線了再想去改，去下線，那成本遠遠超出你的想象。畢竟有的人，覺得東西做上去，就完成任務(wù)了。

最后，如果可以，請把目標寫紙上貼電腦邊緣，或者像我同事一樣買個桌上的小黑板。時時刻刻提醒自己到底在做什么，為了什么。因為據(jù)我自己體驗，常常做著做著就跑偏了……