下面分 4 段來談:先看措辭偏差的類型,再看樣本數能解決什麼、不能解決什麼,接著談訪談對象怎麼挑,最後談發問卷前的試答,以及自己做與委外的分界。

問卷設計偏差的五種常見類型

Kantar 旗下 Profiles 團隊的問卷指南,列出五種常見的問卷偏差類型:引導性問題、預設立場問題、雙重問題、模糊措辭、不平衡量表。

問卷設計偏差依 Kantar 的定義,是題目的措辭、結構或情境影響了受訪者的回答,使回答無法準確反映他們真實的看法或行為。

先看最好認的引導性問題。Kantar 的定義是:暗示或鼓勵受訪者給出特定答案的問題,有時會夾帶情緒性的字眼。該文舉的反面範例是:

“Don’t you agree that our new survey tool is much easier to use?”

— Kantar,問卷去偏差指南中標示為「有偏差」的問法

中譯大致是:你不同意我們的新問卷工具好用很多嗎?Kantar 說明,這題已經暗示工具比較好用,把受訪者推向同意;比較中性的寫法,是請受訪者替新工具的易用度評分。

預設立場問題含有未必為真的假設,受訪者得先接受這個前提才能作答。雙重問題則是一題問了兩件以上的事,卻只給一個答案。Kantar 的例子是同一題問客服與價格的滿意度,建議拆成兩題,因為受訪者對兩者的感受可能不同。

模糊措辭的題目不夠清楚,受訪者會依自己的背景或情境做出不同解讀。不平衡量表則在某一側放了較多選項或較極端的字眼。Kantar 的例子是「不重要」只有兩級、「重要」有三級,這樣會高估正面感受,可能拉高平均分數,給出誤導的重要性印象。

我們把五種類型整理成一張表。左欄的類型名稱來自 Kantar,中間與右邊兩欄的問法範例由我們自己撰寫,方便對照日常出題的情境。

問卷設計偏差五種類型對照(類型依 Kantar 指南,問法範例為銷波快自擬)
偏差類型 有偏差的問法 比較中性的改法
引導性問題 你不覺得新包裝更好看嗎? 你對新包裝的第一印象是什麼?
預設立場問題 你多久喝一次手搖飲? 先問過去一個月有沒有買過手搖飲
雙重問題 店員服務快速又親切嗎? 拆成速度與親切兩題
模糊措辭 你常常網購嗎? 過去一個月你網購了幾次?
不平衡量表 非常滿意、滿意、普通 滿意與不滿意兩側選項數量對稱

以表中的手搖飲題為例,「你多久喝一次」先假設了對方有喝,沒喝的人只能硬選一個最低頻率。這正是 Kantar 所說,受訪者得先接受前提才能作答的情況。

Kantar 對這類偏差的後果是這樣寫的:

“…biased questions can distort data, leading to misleading conclusions and poor decision-making.”

— Kantar,問卷去偏差指南

樣本數多,不等於數據可靠

問卷工具商 QuestionPro 稱,來自相符樣本庫、目標明確的較小樣本,通常比較大但不聚焦的樣本更可靠;研究平台 The Alchemic 則點名一種樣本數再大也修不好的偏差:拿朋友當受訪者。

QuestionPro 在 DIY 市調文章裡寫道:

“A DIY survey needs the same rigor as an agency-run study, since the mode of data collection, question order, and format all shape the quality of the results.”

— QuestionPro,DIY 市場調研指南

該文並稱,跳過這些基本功,是 DIY 研究數據不可靠最常見的原因;線上問卷特別依賴題目措辭與設計,電話或面訪則受訪員的語氣與用詞影響。對樣本,該文的說法是:問卷設計得再好,也彌補不了回答者不代表實際目標市場的問題。這篇文章同時在推廣 QuestionPro 自家的受訪者樣本服務,讀的時候要把這層立場考慮進去。

The Alchemic 把問朋友就當作研究列為常見錯誤,理由是朋友出於好意作答,這是樣本數再大也修不好的偏差。我們的理解是,受訪者本身帶著傾向時,多收回來的答卷也帶著同一個傾向,份數增加不會把它抵銷。

措辭之外還有題目順序。QuestionPro 把題目順序列為影響結果品質的因素之一。

另一個角度來自小型行銷代理商 Beefed Up。它的創辦人 Kael Broersma 在給小型企業的市調文章裡寫道:

“The insight from 5 real customer conversations beats a 200-respondent survey because you can probe, ask follow-ups, and get to the why behind the what.”

— Beefed Up,小型企業市場調研指南

他給的理由是對話可以追問:每個答案之後都追問一句為什麼,或請對方多說一點,他稱真正的洞察在追問裡。

訪談對象怎麼挑、要談幾個人

在兩份寫給美國小型企業的指南中,Beefed Up 建議打電話給 5 位最好的客戶;The Alchemic 則建議訪談 12 人,其中 6 人不是你的客戶。兩家對 5 人夠不夠的看法正好相反。

Beefed Up 對「最好的客戶」的定義是最賺錢、合作最愉快的客戶。該文的 FAQ 稱,5 次深度訪談(每次 15 到 30 分鐘)是看出規律的下限,到第 4 或第 5 次會開始聽到重複的主題;超過 10 次,對小型企業來說新增的洞察會急遽下降。

The Alchemic 的分法是三群人:

“Six current or past customers, three who considered you and chose otherwise, three who have the problem and buy nothing.”

— The Alchemic,中小企業市場調研指南

也就是 6 位現有或過去的客戶、3 位考慮過你卻選了別家的人、3 位有這個問題卻什麼都不買的人,每人 30 分鐘、用同一份大綱並錄音。該文另外寫到,過去的客戶、詢問過卻沒買的人、已流失的客戶是三個不同群體,其中流失客戶最有用。

對訪談人數,The Alchemic 把訪談 5 人就停列為常見錯誤,原話是 “Five gets the vocabulary, not the pattern.”,意思是 5 人只能聽到用語,看不出規律。這和 Beefed Up 認為 5 次是看出規律下限的說法互相衝突。The Alchemic 在同一篇文章裡也轉引了 Hennink、Kaiser 與 Marconi 的飽和度研究:在一組 25 場深度訪談中,到第 9 場時所有主題類型都已出現,但要到 16 到 24 場,研究者才說理解了這些議題。那份研究分析的是亞特蘭大單一診所 HIV 患者的訪談。

The Alchemic 把整個流程排成四週,一週一個階段:第 1 週估市場規模,第 2 週讀需求,第 3 週訪談 12 人,第 4 週把訪談編碼並做決定。The Alchemic 談第 3 週的客戶訪談時寫道,訪談與焦點團體的提問順序造成的傷害比措辭更大。

訪談題目一樣有措辭的問題。The Alchemic 把一開口就講自己的點子列為常見錯誤,建議先描述問題,否則收集到的是客套,不是需求。Beefed Up 的訪談腳本第 1 題則從過去的行為問起:

“When you first realized you needed [our service], what did you do? Walk me through the first hour.”

— Beefed Up,客戶訪談腳本第 1 題

腳本第 3 題是:如果我們不存在,你會改用誰或什麼?Beefed Up 在談「如果你明天不存在,客戶的次佳選擇是什麼」這類問題時稱,答案常常出乎意料,不是你以為的競爭對手,常見的是全國連鎖、DIY 產品,或乾脆什麼都不做。

試答與自己做市調的邊界

Kantar 建議正式發送問卷前先用小樣本試答。至於什麼時候該花錢委外,The Alchemic 列了三種情況:超過一個市場、不會說的語言、數字要拿給投資人、放款方或董事會看。

Kantar 的原文是:

“Before launching your full survey, test your questions with a small sample of respondents.”

— Kantar,問卷去偏差指南

依該文的說明,試答可以找出措辭問題、不清楚的概念或無意間造成的偏差,也能順便調整題目順序、選項與流程。研究平台 CleverX 的市調指南也有同樣的建議:措辭保持中立,不把受訪者引向期望的答案,正式發送前先找一小群人試答。

試答要找誰?CleverX 同一份指南在談有偏差的題目時建議,找團隊以外、會指出措辭問題的人來試答。

那什麼時候自己做就夠了?研究軟體公司 Simporter 在自家的 DIY 研究供應商排名頁(把 Simporter 自己排在第 1 名)稱,DIY 做法常常為了速度犧牲深度與準確度,最適合迭代回饋、概念測試或短期脈搏調查,也就是速度與省錢比統計嚴謹更重要的情況。該頁也寫道:

“Organizations with complex, nuanced research objectives should avoid relying solely on DIY Research Market Research; the lack of methodological depth can lead to inaccurate insights.”

— Simporter,DIY 研究供應商排名頁

Simporter 另外提到,沒有專職研究人才的團隊,即使工具好用,仍有誤讀數據或設計出有偏差問卷的風險。QuestionPro 的看法相近:DIY 研究適合持續追蹤、快速脈搏調查與一般的顧客或員工研究,複雜、高風險的研究可能仍能從代理商在方法或進階統計上的專業獲益。

The Alchemic 給的委外判準看的是用途:

“Three triggers justify the spend: more than one market, a language you do not speak, and a number that will be quoted to an investor, a lender or a board of directors.”

— The Alchemic,中小企業市場調研指南

該文接著寫,沒有碰到這三種情況就不要雇任何人;只服務單一城市、拿自家名單測一個概念的企業,用免費表單加十通電話得到的答案,比任何供應商都好,作者強調這也包括他們自己。The Alchemic 本身是賣研究服務的平台,同一節接著也在介紹自家服務。

銷波快觀點:先問這題在量誰的什麼

我們最近改自己的問卷時,踩到一個很具體的坑。原本第一題寫的是「報告裡有沒有哪一段,你打算動手處理?」改來改去都在修語氣,修預設前提、修二元選項。後來才發現這題問錯了對象。它問的是受訪者的承諾,我們真正想量的卻是報告好不好用。

改成「你覺得自己可不可以動手調整」之後,題目量的變成報告的性質。回答「我自己做不了」是在評價報告,不必承認自己懶,壓力也小很多。順帶還分出兩種人:勾「這段我自己來」的代表報告夠清楚,勾「都要找人做」的就是需要協助的名單。措辭層的偏差修得再乾淨,測量對象選錯了一樣白做。

另一個教訓跟「查無結果」有關。我們幫客戶查關鍵字時,第一反應常是「量測失敗,換個字再查」。後來才改過來:沒有結果本身可能就是答案。問卷也一樣,某一題大家都跳過或都選中間值,那個結果是在提醒你,題目沒打中受訪者平常用的說法。

這裡有一個看起來互相打架的地方。我們談顧客畫像時說過,畫像的關鍵在「預設」一個真實的人,讓目標客群看到廣告時覺得說的就是自己。可是在 EP17 談 Customer Avatar 與同理心地圖時,我們也說 AI 可以幫你快速生成初版,最終驗證必須回到真實使用者訪談。

兩句話講的是先後順序。畫像是假設,訪談是驗證。問卷設計偏差最常發生在把假設直接寫進題目,然後用問卷「證明」它。畫像可以預設,題目不能。

我們在 EP32 也提過三條低成本的前端路徑:用 Google 關鍵字工具讀需求趨勢、到論壇挖目標族群的抱怨、用小額 A/B 廣告看哪個訴求點擊率高。這三條路徑有個共同優點,它們觀察的是人的行為,沒有讓人回答題目。題目寫不好之前,先看行為是比較安全的起點。

結論:發問卷前先用小樣本試答

Kantar 列的五種常見偏差,來自題目的措辭、結構或選項設計,而 Kantar 建議用送出前的小樣本試答把措辭問題找出來。訪談要談幾個人、找哪些人,Beefed Up 與 The Alchemic 的建議不同,前者從 5 位最好的客戶開始,後者主張 12 人並納入沒買的人。

如果只能做一件事,就挑你手上最近一份問卷,逐題對照上面那張表,再找幾位團隊以外的人試答,看他們卡在哪裡。

喜歡這篇?讓行銷變好懂,訂閱銷波快。

資料來源

  • 問卷設計
  • 引導性問題
  • 客戶訪談
  • 市場調查方法
  • DIY 市調
吳宗翰 Jayden Wu

吳宗翰 Jayden Wu

ClassOn 雙捷數位有限公司 共同創辦人 | 銷波快 Podcast 主持人

2008 年從線下行銷做起,活動、連鎖加盟那一類。2014 年轉數位,做亞馬遜和 eBay,後來自己出來做聯盟行銷與 dropshipping。現在在臺北城市科技大學、TeSA 與經濟部的培訓計畫教課。做過的事讓他篩情報時說得出為什麼。

關於 Jayden →