
PayPal 勝率虛高案例:量測紀錄出了錯
PayPal 的資料科學家曾回報 55% 到 60% 的實驗勝率,實驗平台 GrowthBook 文中寫的業界平均是 11% 到 14%。追查下去,問題出在紀錄方式:使用者一進站就被分組,系統卻沒記下他有沒有看到改動。
這篇訪談的主角是 Gaurav Sethi,職稱是 PayPal 的 Group Product Manager。他接手時,PayPal 的實驗平台一年跑 700 到 800 個實驗。平台叫 Elmo,全名是 Experiment Lifecycle Management and Optimization,是 PayPal 自己開發的系統。
勝率高,聽起來是好消息。一半以上的改版都贏,團隊每季的報告一定很好看。問題是 GrowthBook 引的業界平均只有 11% 到 14%。PayPal 的數字是業界的四到五倍,這種差距通常代表量尺壞了,很少代表團隊特別厲害。
GrowthBook 文中的描述很具體。使用者打開 paypal.com 的那一刻,就被分到對照組或實驗組。系統記下了「分組」,卻沒有記下「看到」。沒看到改動的人也被算進樣本,結果就被稀釋了。
GrowthBook 文中寫到,PayPal 的實驗當時帶有 25% 到 30% 的稀釋。修正紀錄方式之後,實驗結果在 24 小時內就能讀取。同一套實驗計畫一年跑到 2,587 個實驗,文中記錄的可量測影響約 1.8 億美元(原文寫 $180 million)。
稀釋和勝率虛高,在原文裡是前因與後果。GrowthBook 文中解釋,資料被稀釋時,樣本被根本沒參與實驗的人填滿,信賴區間跟著收窄,很快就達到統計顯著,原本持平的結果就被判定為贏。從這個案例讀到的教訓很單純:勝率高到不合理時,先查紀錄,再談慶祝。
放到台灣的投放與電商團隊,最接近的情境是什麼?以落地頁改版為例,假如追蹤碼在頁面載入時就把訪客分組,而改動的區塊在頁面下半部,那麼沒滑到下半部的人,也會被算進實驗組。這是「分組」和「曝光」脫鉤的典型樣子。
紀錄寫對之後,下一個問題才浮上來:到底要收多少人,結果才有意義?
統計功效分析是什麼:四個輸入決定樣本數
統計功效分析是在測試開跑前,先算出要收多少樣本,才抓得到你在意的差距。AI 模擬使用者研究平台 Articos 的樣本數指南用 95% 顯著水準對應 z 值 1.96,80% 功效對應 z 值 0.84。
統計功效(statistical power)指的是:如果改版真的有效,測試能偵測到效果的機率。功效設在 80%,代表改版真的有效時,每 10 次測試大約有 2 次會漏掉。
要算樣本數,需要四個輸入。第一個是轉換率的基準值,也就是現在這個頁面每 100 位訪客有幾位完成目標。第二個是最小可偵測效果,英文縮寫 MDE,意思是你在意的最小差距。
第三個是顯著水準 α,代表你能容忍多少「誤判有效」。雲端服務平台百度智能雲上的樣本量教學文寫得很直接:α 通常取 0.05。第四個就是統計功效,Articos 的範例用 80%。
| 輸入 | 代表什麼 | 誰來決定 |
|---|---|---|
| 基準轉換率 | 頁面現在的表現 | 查自家過去的數據 |
| 最小可偵測效果(MDE) | 值得行動的最小差距 | 商業判斷 |
| 顯著水準 α | 誤判有效的容忍度 | 百度智能雲寫「通常取 0.05」 |
| 統計功效 | 真有效時抓到的機率 | Articos 範例用 80% |
四個輸入裡,只有基準轉換率查得到。另外三個都要靠商業判斷來定。最難的是 MDE。舉例來說,一個客單價 3,000 元的電商頁面,轉換提升 2% 可能已經值得改版;一個月只賣 20 單的 B2B 頁面,同樣 2% 的提升幾乎看不出差別。
功效設定也一樣。功效拉高,漏判的機率降低,但樣本數會跟著暴增。Articos 指南估計,功效從 80% 拉到 90%,樣本大約要多 25%。顯著水準收緊,誤判有效的機率降低,代價同樣是樣本。每一個「更嚴格」,都要用流量去換。
所以統計功效分析的價值,在於把這些取捨攤在檯面上。開跑前用 Evan Miller 的線上樣本數計算器算一次,你就知道自家流量撐不撐得起這場測試。撐不起的話,要改的是測試設計。硬跑到某一天出現顯著再停,只會得到一個看起來像贏的結果。
那麼,每一個取捨到底要付出多少樣本?我們實際代數字算了一次。
統計功效分析的代價:目標差距砍半,樣本約變四倍
我們用 Articos 指南列的 z 值自己試算:基準轉換率 2%,想偵測 20% 的相對提升,每組約需 21,082 人;目標改成 10% 的相對提升,每組約需 80,587 人,接近四倍。
試算的條件是我們自己假設的:顯著水準 95%、功效 80%、雙組各半分流。基準轉換率 2% 提升 20%,就是從 2% 變成 2.4%。目標改成提升 10%,就是從 2% 變成 2.2%。差距只縮小一半,樣本卻多出將近三倍。
原因在公式本身。樣本數和「差距的平方」成反比,差距砍半,分母就變成原本的四分之一。具體來說,每少一點野心,就要多付好幾倍的人流。
把人數換成天數更有感。我們假設一個落地頁每天有 1,000 位訪客,平分兩組,每組每天 500 位。偵測 20% 的相對提升,要跑約 43 天;偵測 10% 的相對提升,要跑約 162 天。
功效設定的代價,資料之間有落差。Articos 指南寫的是功效從 80% 拉到 90%,樣本大約要多 25%。我們用同一套公式,把 90% 功效對應的 z 值 1.28 代進去,算出來約多 34%。兩個數字不一樣,可能是近似方式不同。不管採用哪一個,拉高功效都要付出明顯的樣本成本。
流量撐不起的時候,有幾條路可以走。第一條是放大 MDE,只測「改了就該看得出來」的大改動。第二條是換到流量更大的頁面先測。第三條是換指標,前提是你的指標是數值型的。
A/B 測試實驗平台 Optimizely 的 Misha Datsenko 在介紹 CUPED 的文章裡寫明,CUPED 適用於營收、互動次數這類數值型指標,對「轉換了沒」「點了沒」這種是非型指標效果較差。CUPED 是用實驗前的歷史數據來降低變異的方法。如果你的主指標是轉換率,CUPED 幫不上太多忙。
算清楚要跑多久之後,最常見的破功方式只有一種:還沒收滿,就忍不住打開報表。
提早偷看讓勝率變好看:三種方法論怎麼選
Articos 引述 Evan Miller 的研究指出,提早停止測試可能把偽陽性率推高到 26%。統計功效分析算出來的樣本數,要收滿才算數,中途看到顯著就停,等於自己把勝率灌水。
Research from Evan Miller found that stopping tests early can inflate false positive rates to as high as 26%
這和 PayPal 的案例是同一個方向。偷看和紀錄錯誤,都會讓「贏了」的次數變多。差別在於紀錄錯誤是系統問題,偷看是人的問題。實際案例常見的情境是:第三天報表跳出顯著,主管說「那就上線吧」,樣本數還差一大截。
GrowthBook 另一篇比較方法論的文章,把三種主流做法的取捨講得很清楚。頻率學派最熟悉,但要守住樣本數和不偷看的紀律。貝氏方法給出比較直觀的機率說法,但仍然需要明確的停止規則。序貫測試允許邊跑邊看,代價是信賴區間比固定樣本的測試更寬。
Frequentist tests are familiar but require discipline around sample size and peeking.
| 方法論 | 怎麼判讀 | 要付的代價 |
|---|---|---|
| 頻率學派 | 看 p 值與顯著性 | 要守住樣本數,不能中途偷看 |
| 貝氏方法 | 看「B 比 A 好」的機率 | 仍需事先訂好停止規則 |
| 序貫測試 | 允許邊跑邊監控 | 信賴區間比固定樣本更寬 |
三種方法都不是免死金牌。換成貝氏方法,偷看的問題不會自動消失,只是換成「停止規則訂得好不好」。換成序貫測試,你換來了中途看報表的權利,交出去的是精準度。
工具的速度也在加快。電子郵件測試與設計平台 Litmus 的 State of Email 報告寫到,進階的 AI 採用者達成 45:1 以上投資報酬率的機率高出 75%,領先團隊把 AI 用在分眾、主旨行測試與發送時間最佳化。測試跑得越快越多,偷看的機會也越多,紀律反而更重要。
前提是,這些方法論討論都建立在「紀錄正確」與「樣本夠多」之上。這兩件事沒做好,換哪一種統計方法都救不回來。
銷波快觀點:先確認量尺會不會自己晃
我們自己踩過一次量尺的坑。幫客戶規劃 SEO 成效對照時,原本打算用施作前後 30 天的關鍵字總數與 ETV 當主指標。先花 0.16 美元實打 API 看資料,才發現同一個網站在完全沒施作的情況下,半年內關鍵字數在 34 到 55 之間跳,ETV 在 183 到 455 之間,差了 2.5 倍。30 天前後差 20%,完全落在自然波動裡。
這件事和統計功效分析講的是同一個道理。不知道指標本來會晃多大,就算不出要收多少樣本。也分不出「改版有效」和「本來就會這樣」。我們後來的修正是三件套:設對照組、前後各量 3 次取中位數、把查詢參數凍結並保存原始資料。
我們在 Pre-銷 EP.2 講過 3×3 測試法:固定同一組素材、文案、CTA,分別投給三個受眾,每組每天約 15 美金,從點擊率和 ROAS 判斷廣告跑不跑得動。核心是控制變因,只讓受眾變動,才做得出歸因判斷。放到今天的脈絡,我們會補一個前提:每天 15 美金能買到的樣本有限,三組點擊率的差距如果很小,可能只是雜訊。3×3 適合當方向性的初篩,正式的勝負判定還是要回到樣本數。
勝率本身也要看定義。「什麼算贏」「從哪裡開始算」的口徑不一樣,勝率就不能直接比較。拿自家勝率去比別人的勝率之前,先問清楚對方怎麼算。
選指標時,我們也犯過「用代理指標當判準」的錯。挑影片素材時,我們一度把判準寫成「行銷主題加長片」,後來才發現真正要的是「值得分享的知識或案例」,類別與片長只是代理。回頭看,雜訊有一半是判準本身造成的。A/B 測試也一樣,點擊率是代理,營收才是目的,選錯指標,統計做得再漂亮也是在量錯的東西。
最後是心態。一次測試贏了,也只是一次。能重現的結果,才值得寫進 SOP。
結論:樣本數算好再開跑,勝率太漂亮先查紀錄
把四節濃縮成三個動作。第一,開跑前做統計功效分析,用基準轉換率、MDE、顯著水準 α 與功效四個輸入,算出每組要收多少人,再換算成天數。第二,確認追蹤紀錄的是「看到改動」,而不只是「被分組」。第三,收滿樣本之前不做決策。
如果算出來要跑 162 天,那不是壞消息,是提早告訴你這場測試不值得用這個設計跑。放大 MDE、換頁面、換數值型指標,都比硬跑到某天剛好顯著來得誠實。
反過來,如果你家的勝率長期在五成以上,先別急著寫成功案例。PayPal 那樣規模的團隊都曾經被紀錄方式騙過,回頭檢查一次事件埋點,成本遠低於一整年的錯誤決策。
資料來源
- PayPal’s $180 Million Experimentation Wingrowthbook.io
- Comparing A/B Testing Methodologiesgrowthbook.io
- A/B Testing Sample Sizearticos.com
- CUPED in A/B Testing and Experimentationoptimizely.com
- AB 實驗最小樣本量計算cloud.baidu.com
- State of Email Reportslitmus.com
