
範圍先講清楚。這裡談的是投放端的實驗設計:A/B 測試與增量性測試各自回答什麼、門檻多高、讀數怎麼解讀。媒體組合模型只在比較時帶過,不展開。
A/B 測試與增量性測試回答的是兩個問題
A/B 測試比較兩個版本誰表現好,增量性測試比較有廣告與沒廣告差多少。AI 廣告素材生成工具 AdStellar 的 2026 年指南把兩者分得很清楚:歸因只記錄平台把功勞分給誰,增量性測試估的是因果差距。
先看 A/B 測試。受眾切成兩半,一半看素材 A,一半看素材 B。兩組都看得到廣告,差別只在版本。所以它能告訴你哪個文案、哪個 CTA 比較好,卻沒辦法告訴你這整個管道有沒有用。
incrementality testing,中文多譯為增量性測試,做法是把一部分受眾刻意排除在廣告之外。對照組完全看不到廣告,測試組照常投放。兩組在同一段時間內的轉換差距,就是廣告真正多帶來的那一塊。
“Attribution tells you where a platform assigned credit. Incrementality testing estimates the causal difference between advertising and a credible no-ad counterfactual.”
翻成白話:歸因告訴你功勞記在誰頭上,增量性測試告訴你少了廣告會差多少。兩件事都有用,用途完全不同。
| 比較項目 | A/B 測試 | 增量性測試 |
|---|---|---|
| 回答的問題 | 哪個版本表現較好 | 有廣告和沒廣告差多少 |
| 對照組看到什麼 | 另一個版本的廣告 | 完全看不到廣告,英文稱 holdout |
| 適合的決策 | 素材、文案、CTA | 管道值不值得花錢 |
| 執行週期 | 依流量而定,通常較短 | 成長行銷代理商 Stackmatix 建議至少 2 到 4 週 |
那麼巨量引擎的廣告主手上有哪一種工具?答案比想像中完整。
巨量引擎把廣告 A/B 實驗接進投放後台
科技媒體品玩 PingWest 在 報導,源自字節跳動內部工具的 A/B 測試產品火山引擎 DataTester 上線新版廣告 A/B 實驗,深度打通巨量引擎,並適配巨量 2.0 廣告投放。
依品玩的報導,廣告主可以在 DataTester 後台直接建立廣告落地頁。實驗報表會列出每個實驗對象的點擊率、轉換率的波動範圍,以及獲勝機率。巨量引擎的使用者可以快速授權並關聯廣告帳戶,一鍵開啟實驗。
這是標準的版本比較。它回答「哪支素材贏」,而且用機率表達,比單看後台數字誰大誰小嚴謹得多。在巨量 2.0 這種素材換得很快的投放環境,這套流程省下很多人工比對的時間。
火山引擎自己的開發者文章還提到另一種實驗。分享者在文中這樣描述:
「其次还有增效度量实验,就是我们的 CIA 实验,通过将广告是否曝光作为变量,然后结合多媒体广告投放的能力度量广告曝光提升转化量。」
火山引擎把這種實驗命名為增效度量。它的變數是「有沒有曝光」,跟前面的素材比較是兩回事。底層做法就是英文圈說的 holdout 對照,名字是火山引擎自己取的。
同一篇火山引擎文章還提到,推送實驗支援 MAB 智能調優的文案賽馬功能。這屬於推送情境的版本比較,不是廣告實驗,目的是盡快拿到最大的收益。
所以巨量引擎的工具箱兩種都有。問題在於廣告主實際用了哪一種,又拿它來回答哪個問題。
增量性測試的兩種設計與樣本門檻
增量性測試常見兩種設計:使用者層級的 holdout 與地理區域的 geo lift。AdStellar 引述 Analytical Alley 的方法建議,使用者層級的對照組佔 5% 到 20%,地理測試則要涵蓋 20% 到 30% 的可觸及營收。
第一種是使用者層級。Stackmatix 的指南寫得很直接:把受眾名單隨機切開,對照組那一側壓掉廣告。好處是隨機分組乾淨,缺點是平台要支援名單層級的排除。
第二種是地理層級。Stackmatix 的描述是挑選條件相近的地區,測試區照常投放,對照區暫停。Amazon 與 Meta 廣告代理商 Skale Strategy 的 Meta 增量測試指南給了更具體的規模,建議暫停的市場約佔受測營收的 20% 到 30%。
樣本門檻是多數廣告主卡關的地方。Stackmatix 的經驗法則是每一組在測試期間至少要有 100 到 200 次轉換。Skale 則提到測試組大約要累積 5,000 次轉換,讀數才可靠。
兩個數字差了好幾十倍,原因在於它們談的情境不同。前者是能否看出差距的最低門檻,後者針對 Meta 平台的 Conversion Lift 讀數。小預算品牌先參考前者,判斷自己能不能做。
時間也要算進去。Stackmatix 指出多數測試至少需要 2 到 4 週,才能涵蓋轉換延遲與星期效應。前面 Analytical Alley 那份建議給的執行窗口更長,是 4 到 8 週。
統計標準方面,廣告資料庫平台 AdLibrary 的 holdout 測試文章採用 80% 統計檢定力與 95% 信心水準。AdStellar 同樣以 80% 檢定力作為規劃基準。
具體來說,月轉換只有幾十筆的帳號,使用者層級 holdout 很難在一個月內看出結果。這種情況改用地理測試,或拉長測試期,比硬跑一個沒有結論的實驗實際。
門檻搞懂之後,最後一步是讀結果。
平台 ROAS 與增量 ROAS 的落差怎麼讀
Stackmatix 把增量 ROAS 定義為增量營收除以廣告花費。對攔截既有需求的廣告活動,增量 ROAS 往往遠低於平台歸因後台報的數字,兩者的差距就是沒帶來成長的那筆花費。
Stackmatix 的原句是:
“For campaigns that intercept existing demand, this number is often far lower than what the platform’s attribution dashboard reports.”
哪些活動屬於攔截既有需求?品牌字搜尋廣告與再行銷都是典型例子。這些人本來就打算買,廣告只是剛好出現在結帳前。平台照樣把轉換記在廣告頭上,所以 ROAS 看起來很漂亮。
增量性測試的價值就在這裡。它讓你把預算從「後台看起來最好」的活動,移到「真的多帶來訂單」的活動。以 Stackmatix 的公式為例,假設平台報的 ROAS 很高,但對照組的轉換幾乎一樣多,增量營收就接近零,增量 ROAS 也跟著接近零。
AdStellar 的觀察是這種落差推動了做法的轉變:
“That gap is why incrementality testing has moved from an advanced measurement exercise to an operating discipline.”
前提是測試設計站得住。以 Stackmatix 的門檻為例,每組轉換不到 100 次、測試不到 2 週,得出的增量數字一樣不可靠。這時候寧可承認結果不確定,也不要拿一個雜訊很大的數字去砍預算。
回到巨量引擎的情境。素材對比實驗選出贏家之後,下一個問題才是這個管道值不值得加碼。
銷波快觀點:先固定變因,再問廣告有沒有用
我們在節目裡講過一個 3×3 測試法。素材、文案、CTA 三樣固定,只換三組不同受眾,每組每天約 15 美金。三組點擊率都偏低,問題出在素材或文案;三元素都確認過還是跑不動,那就是產品本身的問題。核心只有一個:一次只動一個變因。
增量性測試是同一套邏輯往上推一層。3×3 固定素材、換受眾;holdout 固定一切,只拿掉廣告本身。我們也說過,FB 廣告的成效有六成看素材數量與多元性,投放技術只佔三成。這兩個判斷放在一起看並不衝突。素材決定同一個管道裡誰贏,增量性測試決定這個管道該不該繼續花錢。
我們幫優慢解壓所看 Google 地圖排名時,遇過一個很像的情境。永和相關的字,自然排名已經在第 1 到第 2 名,再買廣告等於左手打右手,我們直接砍掉。中和按摩那組字掃到第 80 名都沒收錄,月搜尋 3,600、CPC 只要約 NT$6,廣告是唯一入口,改列主力。這其實就是增量的直覺:已經會來的人,不需要再付一次錢。
另一個教訓來自關鍵字研究。我們曾拿 related 展開的鄰近詞,去推斷一個詞的搜尋結果長什麼樣,結論整個錯。related 回答「還有誰搜過類似的字」,SERP 回答「Google 認為這個查詢要什麼」,兩者測的不是同一件事。A/B 測試和增量性測試也是這樣,拿前者的贏家去回答後者的問題,工具沒錯,是問題問錯了。
結論:先用對照組確認管道有用,再讓素材互相比賽
巨量引擎已經提供版本比較與曝光對照兩種實驗,Meta 也有 Conversion Lift 這類對照測試。要做的事情很單純:問素材就用 A/B,問預算就用 holdout。先挑一個你懷疑「本來就會買」比例很高的活動,例如品牌字或再行銷,照 Stackmatix 的門檻估算一次轉換量夠不夠。夠的話就排一次 2 到 4 週的對照測試,不夠就改用地理測試或拉長時間。
資料來源
- Incrementality Testing Ads: How to Measure True Campaign Lift (2026)stackmatix.com
- Incrementality Testing in 2026: A Practical Playbookadstellar.ai
- Meta Ads Incrementality Testingskalestrategy.com
- Holdout Testadlibrary.com
- 火山引擎AB测试:广告实验深度打通巨量引擎,高效测试广告素材pingwest.com
- 分享实录|一文了解A/B测试与业务增长的底层逻辑developer.volcengine.com
