下面分 4 段來談:先看措辭偏差的類型,再看樣本數能解決什麼、不能解決什麼,接著談訪談對象怎麼挑,最後談發問卷前的試答,以及自己做與委外的分界。
問卷設計偏差的五種常見類型
Kantar 旗下 Profiles 團隊的問卷指南,列出五種常見的問卷偏差類型:引導性問題、預設立場問題、雙重問題、模糊措辭、不平衡量表。
問卷設計偏差依 Kantar 的定義,是題目的措辭、結構或情境影響了受訪者的回答,使回答無法準確反映他們真實的看法或行為。
先看最好認的引導性問題。Kantar 的定義是:暗示或鼓勵受訪者給出特定答案的問題,有時會夾帶情緒性的字眼。該文舉的反面範例是:
“Don’t you agree that our new survey tool is much easier to use?”
中譯大致是:你不同意我們的新問卷工具好用很多嗎?Kantar 說明,這題已經暗示工具比較好用,把受訪者推向同意;比較中性的寫法,是請受訪者替新工具的易用度評分。
預設立場問題含有未必為真的假設,受訪者得先接受這個前提才能作答。雙重問題則是一題問了兩件以上的事,卻只給一個答案。Kantar 的例子是同一題問客服與價格的滿意度,建議拆成兩題,因為受訪者對兩者的感受可能不同。
模糊措辭的題目不夠清楚,受訪者會依自己的背景或情境做出不同解讀。不平衡量表則在某一側放了較多選項或較極端的字眼。Kantar 的例子是「不重要」只有兩級、「重要」有三級,這樣會高估正面感受,可能拉高平均分數,給出誤導的重要性印象。
我們把五種類型整理成一張表。左欄的類型名稱來自 Kantar,中間與右邊兩欄的問法範例由我們自己撰寫,方便對照日常出題的情境。
| 偏差類型 | 有偏差的問法 | 比較中性的改法 |
|---|---|---|
| 引導性問題 | 你不覺得新包裝更好看嗎? | 你對新包裝的第一印象是什麼? |
| 預設立場問題 | 你多久喝一次手搖飲? | 先問過去一個月有沒有買過手搖飲 |
| 雙重問題 | 店員服務快速又親切嗎? | 拆成速度與親切兩題 |
| 模糊措辭 | 你常常網購嗎? | 過去一個月你網購了幾次? |
| 不平衡量表 | 非常滿意、滿意、普通 | 滿意與不滿意兩側選項數量對稱 |
以表中的手搖飲題為例,「你多久喝一次」先假設了對方有喝,沒喝的人只能硬選一個最低頻率。這正是 Kantar 所說,受訪者得先接受前提才能作答的情況。
Kantar 對這類偏差的後果是這樣寫的:
“…biased questions can distort data, leading to misleading conclusions and poor decision-making.”
樣本數多,不等於數據可靠
問卷工具商 QuestionPro 稱,來自相符樣本庫、目標明確的較小樣本,通常比較大但不聚焦的樣本更可靠;研究平台 The Alchemic 則點名一種樣本數再大也修不好的偏差:拿朋友當受訪者。
QuestionPro 在 DIY 市調文章裡寫道:
“A DIY survey needs the same rigor as an agency-run study, since the mode of data collection, question order, and format all shape the quality of the results.”
該文並稱,跳過這些基本功,是 DIY 研究數據不可靠最常見的原因;線上問卷特別依賴題目措辭與設計,電話或面訪則受訪員的語氣與用詞影響。對樣本,該文的說法是:問卷設計得再好,也彌補不了回答者不代表實際目標市場的問題。這篇文章同時在推廣 QuestionPro 自家的受訪者樣本服務,讀的時候要把這層立場考慮進去。
The Alchemic 把問朋友就當作研究列為常見錯誤,理由是朋友出於好意作答,這是樣本數再大也修不好的偏差。我們的理解是,受訪者本身帶著傾向時,多收回來的答卷也帶著同一個傾向,份數增加不會把它抵銷。
措辭之外還有題目順序。QuestionPro 把題目順序列為影響結果品質的因素之一。
另一個角度來自小型行銷代理商 Beefed Up。它的創辦人 Kael Broersma 在給小型企業的市調文章裡寫道:
“The insight from 5 real customer conversations beats a 200-respondent survey because you can probe, ask follow-ups, and get to the why behind the what.”
他給的理由是對話可以追問:每個答案之後都追問一句為什麼,或請對方多說一點,他稱真正的洞察在追問裡。
訪談對象怎麼挑、要談幾個人
在兩份寫給美國小型企業的指南中,Beefed Up 建議打電話給 5 位最好的客戶;The Alchemic 則建議訪談 12 人,其中 6 人不是你的客戶。兩家對 5 人夠不夠的看法正好相反。
Beefed Up 對「最好的客戶」的定義是最賺錢、合作最愉快的客戶。該文的 FAQ 稱,5 次深度訪談(每次 15 到 30 分鐘)是看出規律的下限,到第 4 或第 5 次會開始聽到重複的主題;超過 10 次,對小型企業來說新增的洞察會急遽下降。
The Alchemic 的分法是三群人:
“Six current or past customers, three who considered you and chose otherwise, three who have the problem and buy nothing.”
也就是 6 位現有或過去的客戶、3 位考慮過你卻選了別家的人、3 位有這個問題卻什麼都不買的人,每人 30 分鐘、用同一份大綱並錄音。該文另外寫到,過去的客戶、詢問過卻沒買的人、已流失的客戶是三個不同群體,其中流失客戶最有用。
對訪談人數,The Alchemic 把訪談 5 人就停列為常見錯誤,原話是 “Five gets the vocabulary, not the pattern.”,意思是 5 人只能聽到用語,看不出規律。這和 Beefed Up 認為 5 次是看出規律下限的說法互相衝突。The Alchemic 在同一篇文章裡也轉引了 Hennink、Kaiser 與 Marconi 的飽和度研究:在一組 25 場深度訪談中,到第 9 場時所有主題類型都已出現,但要到 16 到 24 場,研究者才說理解了這些議題。那份研究分析的是亞特蘭大單一診所 HIV 患者的訪談。
The Alchemic 把整個流程排成四週,一週一個階段:第 1 週估市場規模,第 2 週讀需求,第 3 週訪談 12 人,第 4 週把訪談編碼並做決定。The Alchemic 談第 3 週的客戶訪談時寫道,訪談與焦點團體的提問順序造成的傷害比措辭更大。
訪談題目一樣有措辭的問題。The Alchemic 把一開口就講自己的點子列為常見錯誤,建議先描述問題,否則收集到的是客套,不是需求。Beefed Up 的訪談腳本第 1 題則從過去的行為問起:
“When you first realized you needed [our service], what did you do? Walk me through the first hour.”
腳本第 3 題是:如果我們不存在,你會改用誰或什麼?Beefed Up 在談「如果你明天不存在,客戶的次佳選擇是什麼」這類問題時稱,答案常常出乎意料,不是你以為的競爭對手,常見的是全國連鎖、DIY 產品,或乾脆什麼都不做。
試答與自己做市調的邊界
Kantar 建議正式發送問卷前先用小樣本試答。至於什麼時候該花錢委外,The Alchemic 列了三種情況:超過一個市場、不會說的語言、數字要拿給投資人、放款方或董事會看。
Kantar 的原文是:
“Before launching your full survey, test your questions with a small sample of respondents.”
依該文的說明,試答可以找出措辭問題、不清楚的概念或無意間造成的偏差,也能順便調整題目順序、選項與流程。研究平台 CleverX 的市調指南也有同樣的建議:措辭保持中立,不把受訪者引向期望的答案,正式發送前先找一小群人試答。
試答要找誰?CleverX 同一份指南在談有偏差的題目時建議,找團隊以外、會指出措辭問題的人來試答。
那什麼時候自己做就夠了?研究軟體公司 Simporter 在自家的 DIY 研究供應商排名頁(把 Simporter 自己排在第 1 名)稱,DIY 做法常常為了速度犧牲深度與準確度,最適合迭代回饋、概念測試或短期脈搏調查,也就是速度與省錢比統計嚴謹更重要的情況。該頁也寫道:
“Organizations with complex, nuanced research objectives should avoid relying solely on DIY Research Market Research; the lack of methodological depth can lead to inaccurate insights.”
Simporter 另外提到,沒有專職研究人才的團隊,即使工具好用,仍有誤讀數據或設計出有偏差問卷的風險。QuestionPro 的看法相近:DIY 研究適合持續追蹤、快速脈搏調查與一般的顧客或員工研究,複雜、高風險的研究可能仍能從代理商在方法或進階統計上的專業獲益。
The Alchemic 給的委外判準看的是用途:
“Three triggers justify the spend: more than one market, a language you do not speak, and a number that will be quoted to an investor, a lender or a board of directors.”
該文接著寫,沒有碰到這三種情況就不要雇任何人;只服務單一城市、拿自家名單測一個概念的企業,用免費表單加十通電話得到的答案,比任何供應商都好,作者強調這也包括他們自己。The Alchemic 本身是賣研究服務的平台,同一節接著也在介紹自家服務。
銷波快觀點:先問這題在量誰的什麼
我們最近改自己的問卷時,踩到一個很具體的坑。原本第一題寫的是「報告裡有沒有哪一段,你打算動手處理?」改來改去都在修語氣,修預設前提、修二元選項。後來才發現這題問錯了對象。它問的是受訪者的承諾,我們真正想量的卻是報告好不好用。
改成「你覺得自己可不可以動手調整」之後,題目量的變成報告的性質。回答「我自己做不了」是在評價報告,不必承認自己懶,壓力也小很多。順帶還分出兩種人:勾「這段我自己來」的代表報告夠清楚,勾「都要找人做」的就是需要協助的名單。措辭層的偏差修得再乾淨,測量對象選錯了一樣白做。
另一個教訓跟「查無結果」有關。我們幫客戶查關鍵字時,第一反應常是「量測失敗,換個字再查」。後來才改過來:沒有結果本身可能就是答案。問卷也一樣,某一題大家都跳過或都選中間值,那個結果是在提醒你,題目沒打中受訪者平常用的說法。
這裡有一個看起來互相打架的地方。我們談顧客畫像時說過,畫像的關鍵在「預設」一個真實的人,讓目標客群看到廣告時覺得說的就是自己。可是在 EP17 談 Customer Avatar 與同理心地圖時,我們也說 AI 可以幫你快速生成初版,最終驗證必須回到真實使用者訪談。
兩句話講的是先後順序。畫像是假設,訪談是驗證。問卷設計偏差最常發生在把假設直接寫進題目,然後用問卷「證明」它。畫像可以預設,題目不能。
我們在 EP32 也提過三條低成本的前端路徑:用 Google 關鍵字工具讀需求趨勢、到論壇挖目標族群的抱怨、用小額 A/B 廣告看哪個訴求點擊率高。這三條路徑有個共同優點,它們觀察的是人的行為,沒有讓人回答題目。題目寫不好之前,先看行為是比較安全的起點。
結論:發問卷前先用小樣本試答
Kantar 列的五種常見偏差,來自題目的措辭、結構或選項設計,而 Kantar 建議用送出前的小樣本試答把措辭問題找出來。訪談要談幾個人、找哪些人,Beefed Up 與 The Alchemic 的建議不同,前者從 5 位最好的客戶開始,後者主張 12 人並納入沒買的人。
如果只能做一件事,就挑你手上最近一份問卷,逐題對照上面那張表,再找幾位團隊以外的人試答,看他們卡在哪裡。
喜歡這篇?讓行銷變好懂,訂閱銷波快。
資料來源
- Kantar — Unbiased Survey Questionskantar.com
- Beefed Up — How to Do Market Research for Small Businessgetbeefedup.com
- The Alchemic — Market Research for Small Businessthealchemic.com
- QuestionPro — DIY Market Researchquestionpro.com
- Simporter — Best DIY Market Research Toolssimporter.com
- CleverX — How to Conduct Market Research in 2026cleverx.com