統計功效分析沒做,A/B 測試勝率反而更好看

知識情報行銷數據分析
桌上手機顯示 PayPal 藍色畫面,旁邊一把彎曲刻度錯位的直尺,尺端的小獎盃被陰影歪斜罩住
AI 生成示意圖

PayPal 勝率虛高案例:量測紀錄出了錯

PayPal 的資料科學家曾回報 55% 到 60% 的實驗勝率,實驗平台 GrowthBook 文中寫的業界平均是 11% 到 14%。追查下去,問題出在紀錄方式:使用者一進站就被分組,系統卻沒記下他有沒有看到改動。

這篇訪談的主角是 Gaurav Sethi,職稱是 PayPal 的 Group Product Manager。他接手時,PayPal 的實驗平台一年跑 700 到 800 個實驗。平台叫 Elmo,全名是 Experiment Lifecycle Management and Optimization,是 PayPal 自己開發的系統。

勝率高,聽起來是好消息。一半以上的改版都贏,團隊每季的報告一定很好看。問題是 GrowthBook 引的業界平均只有 11% 到 14%。PayPal 的數字是業界的四到五倍,這種差距通常代表量尺壞了,很少代表團隊特別厲害。

GrowthBook 文中的描述很具體。使用者打開 paypal.com 的那一刻,就被分到對照組或實驗組。系統記下了「分組」,卻沒有記下「看到」。沒看到改動的人也被算進樣本,結果就被稀釋了。

GrowthBook 文中寫到,PayPal 的實驗當時帶有 25% 到 30% 的稀釋。修正紀錄方式之後,實驗結果在 24 小時內就能讀取。同一套實驗計畫一年跑到 2,587 個實驗,文中記錄的可量測影響約 1.8 億美元(原文寫 $180 million)。

稀釋和勝率虛高,在原文裡是前因與後果。GrowthBook 文中解釋,資料被稀釋時,樣本被根本沒參與實驗的人填滿,信賴區間跟著收窄,很快就達到統計顯著,原本持平的結果就被判定為贏。從這個案例讀到的教訓很單純:勝率高到不合理時,先查紀錄,再談慶祝。

放到台灣的投放與電商團隊,最接近的情境是什麼?以落地頁改版為例,假如追蹤碼在頁面載入時就把訪客分組,而改動的區塊在頁面下半部,那麼沒滑到下半部的人,也會被算進實驗組。這是「分組」和「曝光」脫鉤的典型樣子。

紀錄寫對之後,下一個問題才浮上來:到底要收多少人,結果才有意義?

統計功效分析是什麼:四個輸入決定樣本數

統計功效分析是在測試開跑前,先算出要收多少樣本,才抓得到你在意的差距。AI 模擬使用者研究平台 Articos 的樣本數指南用 95% 顯著水準對應 z 值 1.96,80% 功效對應 z 值 0.84。

統計功效(statistical power)指的是:如果改版真的有效,測試能偵測到效果的機率。功效設在 80%,代表改版真的有效時,每 10 次測試大約有 2 次會漏掉。

要算樣本數,需要四個輸入。第一個是轉換率的基準值,也就是現在這個頁面每 100 位訪客有幾位完成目標。第二個是最小可偵測效果,英文縮寫 MDE,意思是你在意的最小差距。

第三個是顯著水準 α,代表你能容忍多少「誤判有效」。雲端服務平台百度智能雲上的樣本量教學文寫得很直接:α 通常取 0.05。第四個就是統計功效,Articos 的範例用 80%。

統計功效分析的四個輸入
輸入 代表什麼 誰來決定
基準轉換率 頁面現在的表現 查自家過去的數據
最小可偵測效果(MDE) 值得行動的最小差距 商業判斷
顯著水準 α 誤判有效的容忍度 百度智能雲寫「通常取 0.05」
統計功效 真有效時抓到的機率 Articos 範例用 80%

四個輸入裡,只有基準轉換率查得到。另外三個都要靠商業判斷來定。最難的是 MDE。舉例來說,一個客單價 3,000 元的電商頁面,轉換提升 2% 可能已經值得改版;一個月只賣 20 單的 B2B 頁面,同樣 2% 的提升幾乎看不出差別。

功效設定也一樣。功效拉高,漏判的機率降低,但樣本數會跟著暴增。Articos 指南估計,功效從 80% 拉到 90%,樣本大約要多 25%。顯著水準收緊,誤判有效的機率降低,代價同樣是樣本。每一個「更嚴格」,都要用流量去換。

所以統計功效分析的價值,在於把這些取捨攤在檯面上。開跑前用 Evan Miller 的線上樣本數計算器算一次,你就知道自家流量撐不撐得起這場測試。撐不起的話,要改的是測試設計。硬跑到某一天出現顯著再停,只會得到一個看起來像贏的結果。

那麼,每一個取捨到底要付出多少樣本?我們實際代數字算了一次。

統計功效分析的代價:目標差距砍半,樣本約變四倍

我們用 Articos 指南列的 z 值自己試算:基準轉換率 2%,想偵測 20% 的相對提升,每組約需 21,082 人;目標改成 10% 的相對提升,每組約需 80,587 人,接近四倍。

試算的條件是我們自己假設的:顯著水準 95%、功效 80%、雙組各半分流。基準轉換率 2% 提升 20%,就是從 2% 變成 2.4%。目標改成提升 10%,就是從 2% 變成 2.2%。差距只縮小一半,樣本卻多出將近三倍。

原因在公式本身。樣本數和「差距的平方」成反比,差距砍半,分母就變成原本的四分之一。具體來說,每少一點野心,就要多付好幾倍的人流。

把人數換成天數更有感。我們假設一個落地頁每天有 1,000 位訪客,平分兩組,每組每天 500 位。偵測 20% 的相對提升,要跑約 43 天;偵測 10% 的相對提升,要跑約 162 天。

功效設定的代價,資料之間有落差。Articos 指南寫的是功效從 80% 拉到 90%,樣本大約要多 25%。我們用同一套公式,把 90% 功效對應的 z 值 1.28 代進去,算出來約多 34%。兩個數字不一樣,可能是近似方式不同。不管採用哪一個,拉高功效都要付出明顯的樣本成本。

流量撐不起的時候,有幾條路可以走。第一條是放大 MDE,只測「改了就該看得出來」的大改動。第二條是換到流量更大的頁面先測。第三條是換指標,前提是你的指標是數值型的。

A/B 測試實驗平台 Optimizely 的 Misha Datsenko 在介紹 CUPED 的文章裡寫明,CUPED 適用於營收、互動次數這類數值型指標,對「轉換了沒」「點了沒」這種是非型指標效果較差。CUPED 是用實驗前的歷史數據來降低變異的方法。如果你的主指標是轉換率,CUPED 幫不上太多忙。

算清楚要跑多久之後,最常見的破功方式只有一種:還沒收滿,就忍不住打開報表。

提早偷看讓勝率變好看:三種方法論怎麼選

Articos 引述 Evan Miller 的研究指出,提早停止測試可能把偽陽性率推高到 26%。統計功效分析算出來的樣本數,要收滿才算數,中途看到顯著就停,等於自己把勝率灌水。

Research from Evan Miller found that stopping tests early can inflate false positive rates to as high as 26%

— Samir Yawar,Articos 樣本數指南(2026 年 9 月更新版)

這和 PayPal 的案例是同一個方向。偷看和紀錄錯誤,都會讓「贏了」的次數變多。差別在於紀錄錯誤是系統問題,偷看是人的問題。實際案例常見的情境是:第三天報表跳出顯著,主管說「那就上線吧」,樣本數還差一大截。

GrowthBook 另一篇比較方法論的文章,把三種主流做法的取捨講得很清楚。頻率學派最熟悉,但要守住樣本數和不偷看的紀律。貝氏方法給出比較直觀的機率說法,但仍然需要明確的停止規則。序貫測試允許邊跑邊看,代價是信賴區間比固定樣本的測試更寬。

Frequentist tests are familiar but require discipline around sample size and peeking.

— GrowthBook,A/B 測試方法論比較
三種 A/B 測試方法論的取捨(依 GrowthBook 方法論比較整理)
方法論 怎麼判讀 要付的代價
頻率學派 看 p 值與顯著性 要守住樣本數,不能中途偷看
貝氏方法 看「B 比 A 好」的機率 仍需事先訂好停止規則
序貫測試 允許邊跑邊監控 信賴區間比固定樣本更寬

三種方法都不是免死金牌。換成貝氏方法,偷看的問題不會自動消失,只是換成「停止規則訂得好不好」。換成序貫測試,你換來了中途看報表的權利,交出去的是精準度。

工具的速度也在加快。電子郵件測試與設計平台 Litmus 的 State of Email 報告寫到,進階的 AI 採用者達成 45:1 以上投資報酬率的機率高出 75%,領先團隊把 AI 用在分眾、主旨行測試與發送時間最佳化。測試跑得越快越多,偷看的機會也越多,紀律反而更重要。

前提是,這些方法論討論都建立在「紀錄正確」與「樣本夠多」之上。這兩件事沒做好,換哪一種統計方法都救不回來。

銷波快觀點:先確認量尺會不會自己晃

我們自己踩過一次量尺的坑。幫客戶規劃 SEO 成效對照時,原本打算用施作前後 30 天的關鍵字總數與 ETV 當主指標。先花 0.16 美元實打 API 看資料,才發現同一個網站在完全沒施作的情況下,半年內關鍵字數在 34 到 55 之間跳,ETV 在 183 到 455 之間,差了 2.5 倍。30 天前後差 20%,完全落在自然波動裡。

這件事和統計功效分析講的是同一個道理。不知道指標本來會晃多大,就算不出要收多少樣本。也分不出「改版有效」和「本來就會這樣」。我們後來的修正是三件套:設對照組、前後各量 3 次取中位數、把查詢參數凍結並保存原始資料。

我們在 Pre-銷 EP.2 講過 3×3 測試法:固定同一組素材、文案、CTA,分別投給三個受眾,每組每天約 15 美金,從點擊率和 ROAS 判斷廣告跑不跑得動。核心是控制變因,只讓受眾變動,才做得出歸因判斷。放到今天的脈絡,我們會補一個前提:每天 15 美金能買到的樣本有限,三組點擊率的差距如果很小,可能只是雜訊。3×3 適合當方向性的初篩,正式的勝負判定還是要回到樣本數。

勝率本身也要看定義。「什麼算贏」「從哪裡開始算」的口徑不一樣,勝率就不能直接比較。拿自家勝率去比別人的勝率之前,先問清楚對方怎麼算。

選指標時,我們也犯過「用代理指標當判準」的錯。挑影片素材時,我們一度把判準寫成「行銷主題加長片」,後來才發現真正要的是「值得分享的知識或案例」,類別與片長只是代理。回頭看,雜訊有一半是判準本身造成的。A/B 測試也一樣,點擊率是代理,營收才是目的,選錯指標,統計做得再漂亮也是在量錯的東西。

最後是心態。一次測試贏了,也只是一次。能重現的結果,才值得寫進 SOP。

結論:樣本數算好再開跑,勝率太漂亮先查紀錄

把四節濃縮成三個動作。第一,開跑前做統計功效分析,用基準轉換率、MDE、顯著水準 α 與功效四個輸入,算出每組要收多少人,再換算成天數。第二,確認追蹤紀錄的是「看到改動」,而不只是「被分組」。第三,收滿樣本之前不做決策。

如果算出來要跑 162 天,那不是壞消息,是提早告訴你這場測試不值得用這個設計跑。放大 MDE、換頁面、換數值型指標,都比硬跑到某天剛好顯著來得誠實。

反過來,如果你家的勝率長期在五成以上,先別急著寫成功案例。PayPal 那樣規模的團隊都曾經被紀錄方式騙過,回頭檢查一次事件埋點,成本遠低於一整年的錯誤決策。

資料來源

  • A/B 測試
  • 統計功效
  • 樣本數計算
  • 最小可偵測效果
  • 實驗設計
  • CUPED
吳宗翰 Jayden Wu

吳宗翰 Jayden Wu

ClassOn 雙捷數位有限公司 共同創辦人 | 銷波快 Podcast 主持人

2008 年從線下行銷做起,活動、連鎖加盟那一類。2014 年轉數位,做亞馬遜和 eBay,後來自己出來做聯盟行銷與 dropshipping。現在在臺北城市科技大學、TeSA 與經濟部的培訓計畫教課。做過的事讓他篩情報時說得出為什麼。

關於 Jayden →

LinkedIn | Facebook | 收聽 Podcast