摘要: “A/B測試的目的在于通過科學的試驗設計、采樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的試驗結論,并確信該結論在推廣到全部流量可信。”熱云數據增長顧問祁永輝在談到A/B測的概念時說道。
“A/B測試的目的在于通過科學的試驗設計、采樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的試驗結論,并確信該結論在推廣到全部流量可信。”熱云數據增長顧問祁永輝在談到A/B測的概念時說道。
#祁永輝
熱云數據增長顧問。公眾號:AB試驗作者,擅長AB測試應用,長期主義者,成功服務過VIPKID,火花思維,上上簽等眾多企業。
A/B測試驅動線上業務增長
A/B 測試是一種試驗驅動線上業務增長(產品優化、運營優化等)的方法,為同一個優化目標制定兩個以上的方案,讓一部分用戶使用A,同時另一部分用戶使用B方案統計并對比不同方案的轉化率、點擊量、留存率等指標,以判斷不同方案的優劣并進行決策。

A/B測試本質上是個分離式組間試驗,屬于預測型結論,與“后驗”的歸納性結論差別巨大。
A/B測試的目的在于通過科學的試驗設計、采樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的試驗結論,并確信該結論在推廣到全部流量可信。
為什么是A/B測試?
我們在做調查的時候發現,有不少公司會遇到一些問題:
第一是經驗主義決策。依托過往經驗判斷我們當時的情況,就是現在的情況,這樣往往判斷有些偏差。
第二有來自很多非產品經理的需求。比如在常見的網頁設計或者宣傳的文案中,銷售、老板、非相關部門經常會給一些反饋和改版的需求。
第三是會忽略細節的改變。剛才我在來之前,跟保利威的同學交流的時候,他們也有專門的團隊做官網的迭代,其實就是在細節上的改變。
這里是我經常給我用戶說的,引用雷軍老師的話,不服跑個分,把分改成了A/B測試,并不是所有被你淘汰掉的需求和方案一定是最差的,在過往經驗中被我們驗證很多次的。
如何開展一個A/B測試?
數據+目標+假設
+假設
第一,收集數據。得知道官網大概的情況,或者頁面的情況;
第二,要有一個對應的目標。比如嘗試去做一些關于跳出率的優化,減少他的跳出率;
第三,提出假設。通過網頁的迭代和改版,以及文案的修改或者圖片的修改,或者一些流程的修改,來得到相應的結果,在測試這個假設,往后進行結果的分析和得出相應的結論,其實這就是一個增長的閉環。
相信大家很多企業都在做這件事情,我們把閉環都做起來之后,我們可以持續做一些增長。
下面分享一個墨跡天氣的案例,昨天大家經歷過在北京下泥雨,墨跡天氣當時做了一個很有意思的嘗試,嘗試了不同的分享按鈕,上面的分享按鈕,在安卓版本有些不同的區別。
他們的目標是想關注分享的轉化率,假設就是我嘗試了不同的分享按鈕,他的分享轉化能不能有一定提升。
我們來看一下數據,結果會發現我們第三個版本,長的跟屏幕分享很像的按鈕,分享的點擊率提升了18%,我只是做了一個ICON的變化,非常細節的東西,就能有很大的提升,這個就是我們通過A/B測試能得到的常見結果。
如何科學的優化頁面?
使用LIFT模型
如何科學的找到B版,你也可以理解為如何科學的去優化你的頁面。
第一件事情,要達成一個共識,可以去問問設計師,在定任何一個方案稿之前,他還有幾個稿子,不管你的網站也好,還是出的圖也好,一定會有非常多的版本,這是第一件;
第二,我們去翻一翻之前老的版本,它一定就不好嗎?這是一個靈魂深處的問題。我們在去嘗試迭代的時候,這些都可以作為一個B版;
第三,我們在團隊中一定存在著不同的看法的,不是所有人看法都一樣;
第四,來自于非產品經理的需求。比如老板的個人喜好,以及銷售部同學反饋出來的結果,這時候我們發現他們就是很好的B版來源,不服跑個分。
講一個簡單的模型LIFT,中文名叫測試著陸頁影響函數。
這是一架小飛機,核心主體叫價值主張,同時相關性和信息度的提升有助于提升升力,注意力和焦慮感的下降,也有助于減負,飛機飛的更快,緊急度是火藥,催著它往前走。

有一個公式,做一件事情的動力=感知到的好處-感知的成本。做某件事情如果好處大于成本,肯定有動力,如果差值越高,動力越大。可以嘗試用一些積分,免費試用吸引用戶,大家應該都有在用。
LIFT模型的應用主要有價值主張、相關性、清晰度、焦慮感、注意力分散和緊迫性等等。
價值主張優化:我們做實操的時候,可以嘗試多個指標來關注我們真實的方案,就可以用不同指標來輔助,看一些核心指標,以及輔助指標怎么變化,能不能驗證你的猜想,這就是A/B測試的核心。
相關性優化:廣告信息傳遞的價值與著陸頁產品的介紹是有強相關性的,這個著陸頁前面可能有你的廣告,也可能有朋友圈的文案,有可能有各種各樣文案,這些是有強相關性的,并且要跟人相關,你的受眾相關,能帶來一些轉化提升。

清晰度優化:很多企業的著陸頁也好,或者方案也好,大而全,特別大,特別全,但是會發現有的時候并不能清晰的表述出來本身的價值,你的受眾不能清晰了解到這件事情在干嗎,所以清晰度是非常重要的一點。
焦慮感:在招聘場景中,招聘市場專員、銷售等等一些普通的職位,公司會在招聘文案上加一段“工資保障”,發現數據也很有意思,所有模塊的點擊提升了17%,同時轉化人數提升了6%。

注意力分散的優化:我們會有在朋友圈個人私域流量的宣傳和推廣,會有很多轉化環節,不希望分散他的任何注意力,這時候我們去掉多余的元素,掃碼的轉化率提升了7%。
緊迫性優化:如果大家有訂酒店或者用過攜程,會提示一點:有多少人正在瀏覽該房間。跟這個道理一樣,比如可以寫“免費門票僅剩186張”,也是要給用戶一個緊張感,讓他快速下單。
我們做產品優化的時候,可以通過這些點,去找到你真正的優化方向,以及你的版本。有了這些方向之后,我們再用A/B測試的能力,用這樣的方法、工具做一些嘗試。
