為什麼 A/B 測試提前停測會做出假贏家
A/B 測試提前停測的問題在於機率被重算。把信心水準設在 95%，意思是每 20 次顯著結果裡，容許一次是誤判。測試途中每看一次數據就考慮停一次，等於把這個容許額度反覆消耗。
信心水準 95% 從來不等於「有 95% 的機率是真的」。它說的是另一件事：在兩個版本其實沒有差別的前提下，觀察到眼前這種差距的機率低於 5%。這是一個關於犯錯頻率的約定。它不保證你手上這個結果為真。
頻率論的測試設計有一個前提常被忽略：樣本量要先算好，停止點要先訂好。整套誤判率的計算，建立在「只判讀一次」這個假設上。
實際操作往往相反。測試上線第二天就開後台，第三天再看一次，第五天發現 B 版領先 8%，當下就收工。每一次查看都是一次獨立的判讀機會，每一次都帶著自己的誤判機率。看了十次才決定停手，實際承擔的誤判率已經遠遠不是 5%。
Convertize 的樣本量指南把標準設定寫得很直白：信心水準 95%、統計效力 80% 到 90%。這兩個數字是計算樣本量的輸入值，要在測試啟動前填進去。很多團隊把它們當成事後對照的及格線，順序剛好顛倒。先算完才知道要跑多久，跑完才有資格判讀。
同一份指南還標出另一個上限，很容易被忽略：測試跑超過 30 天，結果的可靠度會下降，因為 Cookie 在這段期間被刪除的比例夠高，足以污染分組。所以測試被夾在兩邊，下限是樣本量，上限是 30 天。中間那段時間，是唯一能收數據的窗口。
窗口的寬度不是每個網站都一樣。月流量低於 10,000 的網站，窗口窄到幾乎不存在。
A/B 測試提前停測之前，先看流量夠不夠
A/B 測試提前停測之所以誘人，常常是因為測試本來就跑不完。Convertize 的難度矩陣顯示，月流量低於 10,000 的網站，要看到 30% 的提升才測得出來；流量規模大的網站，門檻可以降到 2% 到 9%。
30% 是什麼概念？那是整頁重做等級的改動。把一個結帳頁從勉強堪用改到脫胎換骨，才摸得到這種幅度。多數改版做不到。
小流量網站的處境比「測得慢一點」嚴重得多。很多題目根本測不了。改一行副標、換一個按鈕文案，這類小幅度的效果，在月流量低於 10,000 的網站上幾乎不可能達到顯著。跑到第 31 天，Cookie 問題又開始侵蝕數據。
流量規模直接決定可測題目的大小。月流量低於 10,000 的網站，需要 30% 的提升才看得出差別；流量充足的網站門檻落在 2% 到 9%。同樣一個改版，在兩種網站上是兩種命運。
知道這件事之後，決策會變得乾脆。流量不足時，把資源放在幅度夠大的改動上，例如整頁重寫、報價結構調整、把表單從五欄砍到兩欄。小幅度的文案微調先不要排進測試佇列。這是物理限制，跟紀律無關。
另一條路是換方法。MDE 訂不下來的時候，與其硬跑一個註定不顯著的頻率論測試，不如用質化方式驗證：使用者訪談、錄影回放、客服問題分類。這些方法給不出 p 值，但也不會給出假的 p 值。
算清楚門檻之後，還有一個問題要問：就算測得動，贏面到底有多大。
真實的提升幅度有多小
多數人對測試結果的期待值偏高。Convert.com 彙整歷年測試數據後發現，60% 的測試提升不到 20%，84% 不到 50%，其中 39.8% 的提升幅度落在 10% 以下。
把這組數字和上一節的門檻擺在一起，畫面就完整了。六成的測試提升不到 20%，而月流量低於 10,000 的網站需要 30% 才測得出來。兩個數字互相對照，小網站測不出結果的原因很具體：真實效果的分佈，本來就落在偵測門檻以下。
這也解釋了提前停測為什麼那麼容易發生。如果真實提升大多在 10% 上下，測試過程中那些一度衝到 30%、40% 的領先，幾乎都是樣本量不足時的正常波動。數字會回來的，只是很多人沒等到那一刻。
| 提升幅度區間 | 佔完成測試比例 | 對決策的意義 |
|---|---|---|
| 10% 以下 | 39.8% | 最常見的真實效果，低流量網站偵測不到 |
| 20% 以下 | 60% | 多數測試的落點，需要足量樣本才看得出 |
| 50% 以下 | 84% | 超過這條線的結果稀少，出現時要先懷疑分組 |
期待值調整之後，測試的意義才回得來。單次幅度不大的轉換率提升看起來不起眼，但一年累積多個成功測試，漏斗整體的改善幅度相當可觀。複利要靠次數，次數要靠每次都跑完。提前停測換來的是速度的錯覺。它把一個能累積的機制，換成一串無法複製的偶然。
既然單次幅度有限，選題就變成關鍵。只有 13% 的測試走得到顯著，選題決定你在不在這 13% 裡面。
測什麼，比怎麼測更決定勝率
不同元素的勝率差距，比多數人以為的還大。Flint 的著陸頁統計彙整指出，只有 13% 的測試達到統計顯著；標題、主視覺、CTA 與表單這類元素的顯著勝出比例是 24%，折線以下的文案、按鈕顏色或細部排版，勝出比例低於 6%。
24% 對 6%，差距是四倍。同樣的流量、同樣的測試週期、同樣的統計方法，只因為選了不同的測試對象，得到有效結論的機會就差四倍。
原因不難理解。同一份彙整指出，80% 的訪客只讀標題和副標題的第一句，就決定要不要留下來。決策集中在畫面最上面那一小塊，測試也應該集中在那裡。把資源花在按鈕圓角和折線以下的第三段文案上，多數訪客根本沒看到。
基準值同樣值得記下來。著陸頁的中位數轉換率是 4.02%，表現前 25% 的頁面達到 11.45%。這個差距不是靠按鈕顏色拉開的。
選題的順序可以很簡單：先動標題與主視覺，再動 CTA 與表單，最後才輪到折線以下的內容。這個順序同時符合勝率分佈和閱讀行為，兩邊指向同一個答案。
就算把勝率從 6% 拉到 24%，還有一個更前面的問題沒回答：這個管道值不值得投資源進去測。
先確認管道有效，再回頭優化素材
A/B 測試回答的是「哪個版本比較好」。incrementality testing 回答的是另一個問題：這個管道帶來的是額外的銷售，還是本來就會發生的訂單。順序錯了，優化的可能是一個不該存在的管道。
增量測試的設計有四種常見做法。鬼廣告（Ghost Ads）讓對照組看公益廣告、測試組看真實廣告，再比較兩組的轉換差異。地理切割（Geo-Holdout）按地區分組，一部分地區停投、一部分照常。合成控制（Synthetic Control）用統計方法組出一個對照組。斷點回歸（Regression Discontinuity）利用政策或預算的變動時點，當成自然實驗來讀。
在 Meta 的廣告環境裡，這件事有對應的內建功能。廣告後台的實驗工具提供轉換提升測試，做法是保留一部分受眾不看真實廣告，改以相同頻率看公益性質的替代廣告，再比較兩群人的轉換差異。對照組比例與週期要看帳戶規模：增量測試的常見建議是，每週轉換 500 到 2,000 的帳戶，對照組約 10% 到 15%、跑兩到四週；規模越小，對照組比例要越大，週期也越長。帳戶規模太小時跑不動，這是官方訂的規模門檻，調設定解決不了。
我們的推論是，演算法投放讓這件事變得更重要。系統會把預算推向它認為容易轉換的人。兩組受眾的組成，本來就不對等。在這種條件下比較兩組素材，讀到的很可能是受眾品質，素材好壞反而被蓋住。
順序建議：先用增量測試確認管道帶得動額外銷售。確認之後，再用 A/B 測試比較管道內的素材。反過來做，等於在一條沒有增量的管道裡精雕細琢。
兩種測試回答不同層級的問題，也需要不同的樣本量與週期。搞混了，數字再漂亮也推不出決策。
銷波快觀點：停測紀律的本質是控制變因
我們自己跑廣告驗證時用的是 3×3 測試法：固定同一組素材、文案和 CTA，分別投放三個受眾族群，每組每天大約 15 美金。重點不在預算小，在於變因被鎖死。三組點擊率都低於基準線，問題出在素材或文案；三個元素都確認沒問題還是跑不動，問題就在產品本身。提前停測破壞的正是這個結構，它讓「時間」偷偷變成一個沒被控制的變因。
有人把希望放在工具上。AI 多變量測試確實比傳統 A/B 快，實測數據給到快 31%、精準度高 22%。這對迭代速度有幫助，但它縮短的是排程時間，不是樣本量。基準轉換率低、流量不足的網站，換一套工具也還是要等同樣多的人走過。
兩個來源的基準值對不上，這件事本身就值得拿出來講。我們手上一份跨行業資料寫的中位數轉換率是 2.35%，Flint 的著陸頁資料寫的是 4.02%，差了將近一倍。差異來自取樣範圍：前者算的是跨行業的整站表現，後者只算著陸頁。有趣的是頂標數字幾乎一致，兩邊都落在 11.45%。基準值要看口徑，不然拿別人的數字對自己的成績，方向會整個錯掉。
有一個教訓很直接。我們有兩篇文章的目標關鍵字是猜的，實際查 Search Console 才發現，猜的那個詞一次曝光都沒有，真正在排名的詞完全沒寫進文章。兩篇都因此重做。這條規則後來被提到流程最前面：先量，再決定做什麼。A/B 測試也適用。先把 95% 和 80% 這兩個參數填進去，才知道第幾天可以判讀，算樣本量是第一步，不是報告的最後一欄。
最後一個實務提醒跟指標選擇有關。我們在做電子報主旨行測試時，衡量標準放在點擊率，不放在開信率。手上的資料顯示，20 字以內的主旨行開信率可以到 41.56%，但開信率容易被隱私保護機制灌水，數字好看卻推不出決策。同樣的邏輯放回廣告測試：選一個不會被系統自動膨脹的指標，比選一個漂亮的指標重要。
結論：先算出樣本量，再決定什麼時候可以看數據
把整件事收攏成三個動作。
- 測試上線前先算樣本量。基準轉換率、最小可接受提升幅度、信心水準 95%、統計效力 80%，四個參數填完才知道要跑多久。
- 停測條件寫進啟動文件。跑滿才判讀，中途查看只做異常排除。上限抓 30 天。
- 選題排序照勝率分佈走。標題和主視覺這類 24% 勝率的元素優先，折線以下的細節最後。
流量不足的網站需要另一套答案。月流量低於 10,000 時，30% 的提升門檻幾乎排除了所有微調型測試。與其跑一堆註定不顯著的實驗，不如把資源集中在幅度夠大的改版，或改用質化方法取得方向。
紀律聽起來像是要你忍住不看數據。實際上它給的是一個能重複的機制。一年跑滿多個測試，即使每個提升幅度都不大，疊起來的幅度也遠勝一次假贏家。差別在於前者下次還能再來一遍，後者連原因都說不清楚。
喜歡這篇？讓行銷變好懂，訂閱銷波快。
資料來源
- A/B Testing & CRO Stats Every Optimizer Should Knowconvert.com
- 30 條著陸頁標題測試統計數據與最佳實踐flint.com
- AB Testing Sample Size: The 4 Levels of Difficultyconvertize.com
- A/B Testing Statistics: An Easy-to-Understand Guidecxl.com
- Bayesian vs Frequentist A/B Testingcxl.com
- 增量測試（Incrementality Testing）方法論指南adlibrary.com
- 繞不過去的 AB 實驗基本功：樣本量計算與顯著性判斷實戰zhuanlan.zhihu.com
- 深度講解 A/B 實驗：從統計假設到實驗平台工業化應用zhuanlan.zhihu.com
