A/B 測試中途停手有多危險？貝氏勝出機率怎麼看

看到顯著就停手，最壞情境下假陽性率可達 26.1%

Evan Miller 在 2010 年 4 月 18 日發表的〈How Not To Run an A/B Test〉裡設定了一個情境：原本轉換率 50%，測試新 logo 會不會讓轉換率偏離 50%，一出現 5% 顯著就停止實驗，沒有的話就在第 150 筆觀察後結束。

假設新 logo 其實毫無作用，他算出這個實驗誤判為顯著的比例是 26.1%。他也說明，這算是一種最壞情境，因為每進來一筆觀察就做一次顯著性檢定。

Try 26.1% – more than five times what you probably thought the significance level was.

中譯：答案是 26.1%，比你原本以為的顯著水準高出五倍以上。

Miller 也提到，A/B 測試儀表板通常把顯著水準的補數（例如 95% 或 99%）標成勝過原版的機率。問題出在顯著性計算的前提：他指出，這套計算假設樣本量事先固定；如果改成跑到出現顯著差異為止，回報的顯著水準就失去意義。重複做顯著性檢定只會讓人把不顯著的結果誤當成顯著，不會反過來。

偷看的次數越多，偏差越大。他舉例，中途看了十次，你以為的 1% 顯著水準實際上只有 5%。下表是他列出的對照：想讓實際顯著水準維持在 5%，儀表板回報的顯著水準要壓到多低。

他給的解法是事先決定樣本量，等實驗結束才相信軟體給的數字。只要能忍住不在實驗跑完前停止，中途看資料本身沒有問題。

貝氏方法方面，Miller 在同一篇文章寫道，貝氏實驗設計可以隨時停止實驗並做出有效推論。不過他是把貝氏設計和序列實驗設計（sequential experiment design）並列，當作醫學實驗設計裡值得移植到網路實驗的做法來介紹；序列設計是事先設定檢查點來決定要不要繼續，並給出正確的顯著水準。他的結論是，在軟體實作序列或貝氏實驗設計之前，跑網路實驗的人應該只跑事先固定樣本量的實驗。

樣本量要多大，牽涉到統計功效。Kees Schippers 在 2025 年 5 月 1 日發表於 Wingify 部落格的樣本量文章中提到，該公司一份名為〈Visitors needed for A/B testing〉的簡報把 0.8 的功效當作常規水準。

他在文中先示範固定功效 0.80 的做法：原頁面轉換率 4%、預期新頁面 5%，在 alpha 0.05、功效 0.80 的單尾檢定下，Gpower 建議兩組各 5313 筆樣本；接著質疑 0.8 為什麼應該是可接受的規則，並提出依需求設定功效與信賴水準的做法。

Wingify 的貝氏引擎怎麼呈現結果：勝出機率與 p 值的對照

Nida Zehra 在 2026 年 5 月 15 日發表於 Wingify 部落格的文章，把貝氏方法描述為以信念為基礎的做法：先有既有信念（先驗），再隨新的證據資料更新成新的信念（後驗）。

這篇文章用 Wingify 自家部落格的離開意圖橫幅測試當例子。頻率派的算法得出 p=0.042，結論是對照組（不放橫幅）勝出；文章認為這樣的 p 值很難放進商業情境解讀。

同一個測試用貝氏方式看，勝過基準的機率在測試初期接近 50%，累積約 1000 名訪客後達到 95%，判定對照組勝出。

Wingify 稱自家的 SmartStats 引擎採用無資訊先驗，也就是假設所有轉換率的可能性相同。同一家公司的樣本量文章也寫道，平台回報的是「probability to win」（勝出機率），使用者不必去查 p 值。以上都是該公司對自家工具的說法。

該公司稱，這個橫幅測試一達到顯著就做了決定，理由是減少機會指標（此例為 MQL）的損失。

電商 A/B 測試的勝率與時長：DRIP Agency 的說法

電商 CRO 代理商 DRIP Agency 共同創辦人 Fabian Gmeindl 在 2026 年 2 月 26 日的文章中稱，業界大約每 5 個 A/B 測試有 1 個勝出，文中沒有列出這個數字的出處。

他也稱 DRIP 自己的測試勝率超過 50%，理由是每個假設在建置前都先經過研究；同一篇文章另寫到，他們 2024 年的勝率是 27%，最近一季是 55%。這些是 DRIP 對自家成績的說法。

該公司提醒，計算勝率時要把每個上線的測試都算進分母，包括沒有結論的測試。文章的問答段落另稱，勝率低於 20% 通常代表假設產出薄弱，高於 40% 則代表研究流程扎實。

效果大小方面，該公司稱多數勝出的電商測試效果很小，頂多幾個百分點。

時長方面，文章主張以事先算好的樣本量為主要依據，並至少涵蓋一個完整的商業週期，通常是 14 天以上；測試跑了 8 週以上還沒有結論，就該重新檢視設定。文中也寫道，事先選定的顯著門檻與固定的樣本量才讓勝出有意義，看儀表板好看就停止則不然；該文並表示，他們採頻率派的固定期限解讀：事先定好樣本量、避免依偷看結果決定停止，在預定期程結束時才評估顯著性。

測試次數方面，文中寫道，在勝率穩定的前提下，勝出的數量會隨測試數量增加，但速度只有在假設品質不下降時才有幫助。

Meta 廣告 A/B 測試：Ryze AI 指南建議的天數、轉換數與預算

廣告自動化管理平台 Ryze AI 的部落格上，一篇由 Ira Bodnar 撰寫、2026 年 5 月 7 日發布的 Meta 廣告 A/B 測試入門指南，建議依每日流量把測試期設在 7 到 14 天。

指南稱 Meta 建議每個版本至少累積 100 次轉換才算達到統計顯著。這是業者轉述 Meta 的建議，文中沒有附上出處，無法核實。

預算方面，指南建議每個測試版本每天至少 10 美元，兩個版本合計每天至少 20 美元。指南也稱 Meta 的演算法需要 3 到 5 天才會穩定，兩天就看到 20% 的提升，並不代表已經找到贏家。

測試期長度上，Ryze AI 針對 Meta 廣告建議 7 到 14 天，另寫多數活動的最佳區間是 7 到 10 天，並稱超過 14 天可能受節日、競爭者變動等外部因素影響；DRIP 針對電商網站測試則主張至少一個完整商業週期，通常 14 天以上。

停手規則上，這份指南在問答段落寫道，在至少跑 7 到 14 天的前提下，每天監看信心水準，達到 95% 顯著且每個版本有 100 次以上轉換時停止。

Stella：incrementality testing 與 A/B 測試回答不同問題

Stella 共同創辦人 Brenden DelaRua 在 2026 年 6 月 15 日的文章中描述，incrementality testing 是把對照組完全排除在行銷之外，再比較看過與沒看過的兩組差距。他這樣區分兩者：A/B 測試回答「which version?」，incrementality test 回答「should this spend exist?」。

中譯：前者問哪個版本比較好，後者問這筆支出該不該存在。

他把 A/B 測試歸為執行面的決策，例如素材、到達頁、行動呼籲、受眾與優惠；incrementality test 則用於投資面的決策，例如要不要投入、刪減、擴大、暫停或重新分配某個管道的預算。

他稱 B 版可以贏 A 版 20%，卻仍然沒有創造任何增量營收，並主張先證明管道有因果效果，再在管道內做最佳化。

成本上，文章的比較表把 incrementality test 列為成本與工作量較高，需要保留組與乾淨的設計。他也提醒，保留組本身不等於證據，設計良好的保留組才是。Stella 本身提供代為執行 incrementality 測試的服務，以上是這家廠商的觀點。

銷波快觀點：先量出波動區間，再談顯著

我們在做網站成效前後對照時吃過一次虧。初版規劃把網域關鍵字總數與 ETV 當成主要對照指標，打算施作後 30 天撈一次來比。實際打 API 看資料之後才發現，同一個站在完全沒有施作的情況下，半年內關鍵字數在 34 到 55 之間跳，ETV 在 183 到 455 之間，落差 2.5 倍。30 天前後差 20%，完全落在自然波動裡面。

後來定下來的做法是三件套：留對照組、前後各量 3 次取中位數、凍結查詢參數並保存原始回應。你要先知道什麼都不做的時候數字會怎麼晃，才有資格說某個改動有效。

另一次教訓是同一種錯連犯 3 次。建主題群的時候用了「取搜尋量最高的詞當錨點」這條自動規則，連續選錯 3 次，而每一次的表面成因都不同：第 1 次是同名詞，第 2 次是賞析詞，第 3 次是被誤分類。到第 3 次才看懂，問題出在排序依據本身，不在那 3 個詞。實驗也會這樣。連續幾個測試都做不出結果時，先懷疑設計，不要急著換素材。

還有一條更基本的：驗證要驗對對象。我們曾經憑猜測填了文章的目標關鍵字，事後看搜尋後台才發現，猜的那個詞一次曝光都沒有，真正在排名的是一個根本沒寫進文章的詞。資料源看起來權威、欄位也都填得滿滿的，它回答的卻不是你要問的那個問題。

如果預算很小，可以先用 3×3 的做法練手感。固定素材、文案與行動呼籲，只換受眾，分三組投，每組每天大約 15 美元。三組點擊率都低，問題在素材那一側；三個元素都確認過還是跑不動，問題就回到產品身上。控制變因這件事，跟你用哪一派統計完全沒有關係。

我們的判斷是，不論選哪一派統計，停手條件都應該在開跑前寫下來。幾個來源對停手時機的寫法不同：Evan Miller 與 DRIP 主張事先定好樣本量、期滿才評估；Ryze AI 建議在至少 7 到 14 天的前提下，達 95% 且每版 100 次轉換即停；Wingify 文章描述的橫幅測試則是一達顯著就做了決定。團隊更需要事先講好自己採用哪一套規則，而不是邊看邊決定。

結論：先把停手條件寫下來，再挑統計方法

Evan Miller 的 26.1% 是每筆資料都檢定的最壞情境，它指出的是：看到顯著就停，回報的顯著水準就不再可信。

他另外寫道，貝氏實驗設計可以隨時停止並做出有效推論，但他也主張在軟體實作這類設計之前，先固定樣本量。

可以先做的有兩件。第一，翻出最近一個宣告勝出的測試，看看當時停手的理由是什麼。第二，下一個測試開跑前，把最短天數、最低轉換數與判定門檻寫進文件。另外，我們建議：如果手上的工具用貝氏方式呈現結果，先拿低風險的改動試跑，熟悉勝出機率的讀法，再用到重要的改版上。

資料來源

• How Not To Run an A/B Testevanmiller.org
• How to Calculate A/B Testing Sample Sizes?wingify.com
• What is a Bayesian statistical engine in A/B testing?wingify.com
• A/B Testing Statistics: What E-Commerce Experiments Revealdripagency.de
• Meta Ads A/B Testing Basics: Beginner’s Guideget-ryze.ai
• Incrementality Experiments vs A/B Tests in Marketingstellaheystella.com