營(yíng)銷實(shí)戰(zhàn)丨熱云數(shù)據(jù)祁永輝:如何開展一個(gè)A/B測(cè)試?
摘要: “A/B測(cè)試的目的在于通過科學(xué)的試驗(yàn)設(shè)計(jì)、采樣樣本代表性、流量分割與小流量測(cè)試等方式來獲得具有代表性的試驗(yàn)結(jié)論,并確信該結(jié)論在推廣到全部流量可信。”熱云數(shù)據(jù)增長(zhǎng)顧問祁永輝在談到A/B測(cè)的概念時(shí)說道。
“A/B測(cè)試的目的在于通過科學(xué)的試驗(yàn)設(shè)計(jì)、采樣樣本代表性、流量分割與小流量測(cè)試等方式來獲得具有代表性的試驗(yàn)結(jié)論,并確信該結(jié)論在推廣到全部流量可信。”熱云數(shù)據(jù)增長(zhǎng)顧問祁永輝在談到A/B測(cè)的概念時(shí)說道。
#祁永輝
熱云數(shù)據(jù)增長(zhǎng)顧問。公眾號(hào):AB試驗(yàn)作者,擅長(zhǎng)AB測(cè)試應(yīng)用,長(zhǎng)期主義者,成功服務(wù)過VIPKID,火花思維,上上簽等眾多企業(yè)。
A/B測(cè)試驅(qū)動(dòng)線上業(yè)務(wù)增長(zhǎng)
A/B 測(cè)試是一種試驗(yàn)驅(qū)動(dòng)線上業(yè)務(wù)增長(zhǎng)(產(chǎn)品優(yōu)化、運(yùn)營(yíng)優(yōu)化等)的方法,為同一個(gè)優(yōu)化目標(biāo)制定兩個(gè)以上的方案,讓一部分用戶使用A,同時(shí)另一部分用戶使用B方案統(tǒng)計(jì)并對(duì)比不同方案的轉(zhuǎn)化率、點(diǎn)擊量、留存率等指標(biāo),以判斷不同方案的優(yōu)劣并進(jìn)行決策。

A/B測(cè)試本質(zhì)上是個(gè)分離式組間試驗(yàn),屬于預(yù)測(cè)型結(jié)論,與“后驗(yàn)”的歸納性結(jié)論差別巨大。
A/B測(cè)試的目的在于通過科學(xué)的試驗(yàn)設(shè)計(jì)、采樣樣本代表性、流量分割與小流量測(cè)試等方式來獲得具有代表性的試驗(yàn)結(jié)論,并確信該結(jié)論在推廣到全部流量可信。
為什么是A/B測(cè)試?
我們?cè)谧稣{(diào)查的時(shí)候發(fā)現(xiàn),有不少公司會(huì)遇到一些問題:
第一是經(jīng)驗(yàn)主義決策。依托過往經(jīng)驗(yàn)判斷我們當(dāng)時(shí)的情況,就是現(xiàn)在的情況,這樣往往判斷有些偏差。
第二有來自很多非產(chǎn)品經(jīng)理的需求。比如在常見的網(wǎng)頁(yè)設(shè)計(jì)或者宣傳的文案中,銷售、老板、非相關(guān)部門經(jīng)常會(huì)給一些反饋和改版的需求。
第三是會(huì)忽略細(xì)節(jié)的改變。剛才我在來之前,跟保利威的同學(xué)交流的時(shí)候,他們也有專門的團(tuán)隊(duì)做官網(wǎng)的迭代,其實(shí)就是在細(xì)節(jié)上的改變。
這里是我經(jīng)常給我用戶說的,引用雷軍老師的話,不服跑個(gè)分,把分改成了A/B測(cè)試,并不是所有被你淘汰掉的需求和方案一定是最差的,在過往經(jīng)驗(yàn)中被我們驗(yàn)證很多次的。
如何開展一個(gè)A/B測(cè)試?
數(shù)據(jù)+目標(biāo)+假設(shè)
+假設(shè)
第一,收集數(shù)據(jù)。得知道官網(wǎng)大概的情況,或者頁(yè)面的情況;
第二,要有一個(gè)對(duì)應(yīng)的目標(biāo)。比如嘗試去做一些關(guān)于跳出率的優(yōu)化,減少他的跳出率;
第三,提出假設(shè)。通過網(wǎng)頁(yè)的迭代和改版,以及文案的修改或者圖片的修改,或者一些流程的修改,來得到相應(yīng)的結(jié)果,在測(cè)試這個(gè)假設(shè),往后進(jìn)行結(jié)果的分析和得出相應(yīng)的結(jié)論,其實(shí)這就是一個(gè)增長(zhǎng)的閉環(huán)。
相信大家很多企業(yè)都在做這件事情,我們把閉環(huán)都做起來之后,我們可以持續(xù)做一些增長(zhǎng)。
下面分享一個(gè)墨跡天氣的案例,昨天大家經(jīng)歷過在北京下泥雨,墨跡天氣當(dāng)時(shí)做了一個(gè)很有意思的嘗試,嘗試了不同的分享按鈕,上面的分享按鈕,在安卓版本有些不同的區(qū)別。
他們的目標(biāo)是想關(guān)注分享的轉(zhuǎn)化率,假設(shè)就是我嘗試了不同的分享按鈕,他的分享轉(zhuǎn)化能不能有一定提升。
我們來看一下數(shù)據(jù),結(jié)果會(huì)發(fā)現(xiàn)我們第三個(gè)版本,長(zhǎng)的跟屏幕分享很像的按鈕,分享的點(diǎn)擊率提升了18%,我只是做了一個(gè)ICON的變化,非常細(xì)節(jié)的東西,就能有很大的提升,這個(gè)就是我們通過A/B測(cè)試能得到的常見結(jié)果。
如何科學(xué)的優(yōu)化頁(yè)面?
使用LIFT模型
如何科學(xué)的找到B版,你也可以理解為如何科學(xué)的去優(yōu)化你的頁(yè)面。
第一件事情,要達(dá)成一個(gè)共識(shí),可以去問問設(shè)計(jì)師,在定任何一個(gè)方案稿之前,他還有幾個(gè)稿子,不管你的網(wǎng)站也好,還是出的圖也好,一定會(huì)有非常多的版本,這是第一件;
第二,我們?nèi)シ环袄系陌姹?/span>,它一定就不好嗎?這是一個(gè)靈魂深處的問題。我們?cè)谌L試迭代的時(shí)候,這些都可以作為一個(gè)B版;
第三,我們?cè)趫F(tuán)隊(duì)中一定存在著不同的看法的,不是所有人看法都一樣;
第四,來自于非產(chǎn)品經(jīng)理的需求。比如老板的個(gè)人喜好,以及銷售部同學(xué)反饋出來的結(jié)果,這時(shí)候我們發(fā)現(xiàn)他們就是很好的B版來源,不服跑個(gè)分。
講一個(gè)簡(jiǎn)單的模型LIFT,中文名叫測(cè)試著陸頁(yè)影響函數(shù)。
這是一架小飛機(jī),核心主體叫價(jià)值主張,同時(shí)相關(guān)性和信息度的提升有助于提升升力,注意力和焦慮感的下降,也有助于減負(fù),飛機(jī)飛的更快,緊急度是火藥,催著它往前走。

有一個(gè)公式,做一件事情的動(dòng)力=感知到的好處-感知的成本。做某件事情如果好處大于成本,肯定有動(dòng)力,如果差值越高,動(dòng)力越大。可以嘗試用一些積分,免費(fèi)試用吸引用戶,大家應(yīng)該都有在用。
LIFT模型的應(yīng)用主要有價(jià)值主張、相關(guān)性、清晰度、焦慮感、注意力分散和緊迫性等等。
價(jià)值主張優(yōu)化:我們做實(shí)操的時(shí)候,可以嘗試多個(gè)指標(biāo)來關(guān)注我們真實(shí)的方案,就可以用不同指標(biāo)來輔助,看一些核心指標(biāo),以及輔助指標(biāo)怎么變化,能不能驗(yàn)證你的猜想,這就是A/B測(cè)試的核心。
相關(guān)性優(yōu)化:廣告信息傳遞的價(jià)值與著陸頁(yè)產(chǎn)品的介紹是有強(qiáng)相關(guān)性的,這個(gè)著陸頁(yè)前面可能有你的廣告,也可能有朋友圈的文案,有可能有各種各樣文案,這些是有強(qiáng)相關(guān)性的,并且要跟人相關(guān),你的受眾相關(guān),能帶來一些轉(zhuǎn)化提升。

清晰度優(yōu)化:很多企業(yè)的著陸頁(yè)也好,或者方案也好,大而全,特別大,特別全,但是會(huì)發(fā)現(xiàn)有的時(shí)候并不能清晰的表述出來本身的價(jià)值,你的受眾不能清晰了解到這件事情在干嗎,所以清晰度是非常重要的一點(diǎn)。
焦慮感:在招聘場(chǎng)景中,招聘市場(chǎng)專員、銷售等等一些普通的職位,公司會(huì)在招聘文案上加一段“工資保障”,發(fā)現(xiàn)數(shù)據(jù)也很有意思,所有模塊的點(diǎn)擊提升了17%,同時(shí)轉(zhuǎn)化人數(shù)提升了6%。

注意力分散的優(yōu)化:我們會(huì)有在朋友圈個(gè)人私域流量的宣傳和推廣,會(huì)有很多轉(zhuǎn)化環(huán)節(jié),不希望分散他的任何注意力,這時(shí)候我們?nèi)サ舳嘤嗟脑兀瑨叽a的轉(zhuǎn)化率提升了7%。
緊迫性優(yōu)化:如果大家有訂酒店或者用過攜程,會(huì)提示一點(diǎn):有多少人正在瀏覽該房間。跟這個(gè)道理一樣,比如可以寫“免費(fèi)門票僅剩186張”,也是要給用戶一個(gè)緊張感,讓他快速下單。
我們做產(chǎn)品優(yōu)化的時(shí)候,可以通過這些點(diǎn),去找到你真正的優(yōu)化方向,以及你的版本。有了這些方向之后,我們?cè)儆肁/B測(cè)試的能力,用這樣的方法、工具做一些嘗試。
