571 人實驗:AI 主持訪談與標準化問卷的對照
arXiv 2606.20064 於 提交,研究把 AI 主持的訪談與一份移民政策的標準化問卷結合,透過 Prolific 與 Payback Panel 招募 571 位受訪者。
論文標題是 AI Conversational Interviewing: Scaling Up Semi-Structured and In-depth Interviews,作者為 Alexander Wuttke、Max Melchior Lang、Christopher Klamm、Quirin Würschinger 與 Frauke Kreuter。
摘要從一個老問題講起:民意研究長期在深度與規模之間取捨。標準化問卷能大規模測量,但把受訪者限制在研究者定義的類別裡;對話式訪談能靠開放式追問拿到更豐富的內容,卻因為依賴受過訓練的人工訪員而難以放大規模。
研究同時用實驗比較了三種訪談模式:語音、文字聊天,以及讓受訪者自己選。
“Among respondents who completed the interview, evaluations of the AI interview were at or above those of the standardized survey across modes, although completion itself varied by condition”
中譯:在完成訪談的受訪者中,各模式對 AI 訪談的評價都等於或高於標準化問卷,但完成率本身因實驗條件而異。這句話的評價只涵蓋完成訪談的人,完成率則隨條件不同。
摘要也寫到,對話逐字稿浮現了完整標準化題組捕捉不到的考量與推理,例如態度水準相近的次群體,對移民抱持明顯不同的心智模型。研究團隊同時釋出開放資料與開源流程材料。作者在摘要中稱,研究結果確立 AI 對話式訪談是社會科學工具箱裡可行且有價值的新增方法。
問卷與訪談各自擅長什麼
人人都是產品經理刊出的一篇 Adam Fard 譯文(交譯所翻譯,)這樣區分:訪談可以提出一連串後續問題,深挖受訪者的產品體驗,問卷則不能;問卷的優勢是在有限時間內覆蓋面更廣、性價比更高。
同一篇譯文稱,使用者訪談的優勢是快捷、直觀又具體。
小黑哥 發表在人人都是產品經理的文章,則主張使用者調研的第一步是定量研究,也就是定量先行。他的總結是:問卷調查靠數量,訪談調研靠深度,定量和定性結合才是真洞察。
SpotTrender(市場調查工具商)的部落格也舉了混合做法的例子:用問卷蒐集量化資料,用深度訪談蒐集質化資料,藉此深入理解問卷資料,並追查意外的發現。
對開放式問題,各方說法不同。小黑哥談問卷設計時稱,多選題和開放式問題容易引發困惑,甚至讓受訪者敷衍作答。arXiv 2606.20064 的摘要則指出,標準化問卷把受訪者限制在研究者定義的類別裡,而對話式訪談靠開放式追問拿到更豐富的內容。
問題怎麼問:避開引導題與假設題
Adam Fard 的譯文建議,訪談避免只能回答是或否的問題、引導性問題與模糊的問題,並依研究目的,替受訪者不同方向的回答先預設後續問題。
Koji(AI 訪談工具商)發布的 JTBD 訪談指南稱,假設性問題只會得到假設性答案,而假設性答案預測不了真實的購買行為。指南的開場題範例是請受訪者回想上一次開始使用某產品或方案,大約是什麼時候。
問卷這一側,小黑哥建議題目控制在 20 題以內,讓受訪者 5 分鐘內填完,題型以單選為主。SpotTrender 則建議先從簡單直接的問題開始,再逐步問到較複雜的問題。
SpotTrender 對研究範圍的看法是:排定研究問題時,目標不是蒐集所有能蒐集的資訊,而是找出最能推動決策的關鍵資料點。特贊 Tezign 在數英網發表的 David Sherwin 譯文()也有類似的提醒:研究目標不是問句,而是簡單的陳述,用來替研究劃定範圍。
Sherwin 那篇介紹的是 Frog(青蛙設計)的「研究學習螺旋」,由 Erin Sanders 提出,共五步:目標、假設、方法、執行、整合。
游擊式研究與 JTBD 訪談的人數與做法
Koji 的游擊式使用者研究指南引述 Jakob Nielsen 2000 年的研究〈Why You Only Need to Test with 5 Users〉,稱測試 5 位參與者約可揭露 85% 的可用性問題。同一份指南的開頭則寫成 5–8 位參與者約可揭露 85% 的主要可用性問題,並標註出自 Nielsen Norman Group;這個數字是 Koji 轉引,無法另行核實。
這份指南把游擊式研究定義為在可用性實驗室或排定的視訊會議以外進行的非正式、低成本研究,做法是到人們已經在的地方找人:咖啡店、共同工作空間、圖書館、Reddit 社群、Slack 工作區。指南列的時程是一個下午、5–8 位參與者、每人 10 分鐘。
指南建議訪完 5 場後,跨所有觀察找出模式,再轉成具體的設計修改。指南也提醒,Nielsen 的發現只適用於相似的使用者;產品服務的使用者類型明顯不同時,要各類型分開跑。
Koji 寫明游擊研究的邊界:拿為放射科醫師、企業資安團隊或物流主管設計的工具,去找隨機參與者測試,產出的是雜訊而非訊號。指南也稱游擊研究給的是方向性訊號,正式研究才是定論性的。
想往動機層挖,Koji 的 JTBD 指南把每項工作分三層:功能性工作是實際要完成的任務,情感性工作是做這件事時想有的感受,社交性工作是想被怎麼看待。
招募對象方面,JTBD 指南建議訪三類人:近 30–90 天開始使用的轉入者、轉去競品的前客戶,以及評估過但沒有轉換的人。人數上,這份指南稱在一個界定好的客群內做 10–15 場轉換訪談,可以看出主要模式,不同客群各做一組。
工具商怎麼描述 AI 主持訪談
AI 調研工具商 TheySaid 在部落格(最後更新 )這樣描述語音問卷:
“Voice surveys let you scale personal interviews to hundreds or thousands of respondents, without losing the human touch”
中譯:語音問卷能把一對一訪談規模化到數百甚至數千位受訪者,而不失去人味。這是廠商對自家產品類別的描述。
Koji 在游擊式研究指南裡也稱,自家 AI 會像熟練的主持人一樣追問,而且沒有排程的麻煩。
對照之下,arXiv 2606.20064 的摘要給的是有條件的結果:評價等於或高於標準化問卷的,是完成訪談的受訪者,而完成率本身因實驗條件而異。
銷波快觀點:AI 能主持訪談,題目還是你出的
我們自己用 AI 的方式,剛好就是訪談的形狀。先講目標跟現況,請它給方向,再從回答裡挑關鍵字跟專有名詞深入追問,問完再挑,挑完再問。這個反覆深挖的動作才是本體。AI 對話式訪談把這套流程反過來套在受訪者身上,底層的能力要求沒變,仍然是問問題的能力。
實際改過題目的人會知道,最貴的錯誤發生在測量對象這一層。我們在一份 6 題的問卷裡寫過第一題「報告裡有沒有哪一段,你打算動手處理」,被指出太絕對。那句話問的是受訪者的承諾,我們真正想量的是報告的性質,也就是他覺得自己動不動得了。形狀換掉之後壓力也不同,回答「我自己做不了」是在評價報告,而不是承認自己懶。這一層 AI 追問幫不上忙,因為它會忠實地把你設定的測量對象問到底。
The Mom Test 那條「問已經發生的事,不要問假設」的規則,我們也用錯過。問卷第四題從「你會轉給誰看」改成「你有沒有拿給別人看過」,看起來很守規矩。問題是報告交付才第三天,三天內幾乎沒有人會轉給別人看。收到一整排「沒有」不是訊號,是題目問早了。規則有前提,那就是行為必須已經有機會發生。同一個錯我們在第一題又犯了一次,代表被指正時只修那一題並不夠。
還有一個跟 AI 追問直接衝突的判斷。我們後來把 6 題問卷裡的 5 題改成點選,2 個文字框都設為選填,理由是開放題讓人不好回答。尊重受訪者的意見,跟逼他打字,是兩件事。這件事一開始被我們混在一起。AI 追問的價值正好落在開放題那一側,所以導入之前要先想清楚,這題留白是為了拿到意外的答案,還是只是懶得設計選項。
工具層面也早就有現成的骨架。Customer Avatar 決定你要跟誰說話,Empathy Map 從想、看、聽、說與做、痛點、收穫六個維度還原情境,把痛苦與期待這兩個槓桿攤開。AI 可以很快生出初版,但最終驗證必須回到真實使用者訪談。少了這步,所有文案都是「我覺得消費者會喜歡」的自嗨。
最後一件值得記住的事。我們做過一次校準,請客戶在看到資料之前先寫下自己的判斷。他猜自動挑字會挑到「品牌設計」,實際上排名裡含「品牌」兩個字的關鍵字一筆都沒有。研究的價值經常就在這個落差上。你認為自己在做什麼,跟別人怎麼找到你,本來就是兩件事,而只有問出去才量得到。
結論:先把題目問對,再看要不要交給 AI 主持
arXiv 2606.20064 的 571 人實驗中,完成訪談的受訪者對 AI 訪談的評價,在各模式下都等於或高於標準化問卷,但完成率因實驗條件而異。
論文摘要也指出,對話逐字稿浮現了標準化題組捕捉不到的考量,例如態度相近的次群體對移民有不同的心智模型。
我們的判斷是,AI 能把追問跑得更多次,但問什麼仍由人決定。Adam Fard 的譯文要人避開引導題,Koji 的 JTBD 指南要人問已經發生過的事,這兩件事在交給 AI 之前就要先在題目裡做好。
喜歡這篇?讓行銷變好懂,訂閱銷波快。
資料來源
- AI Conversational Interviewing: Scaling Up Semi-Structured and In-depth Interviewsarxiv.org
- Guerrilla User Research: The Complete Guide to Fast, Low-Cost Feedbackkoji.so
- The Complete Guide to Jobs-to-Be-Done Interviews (JTBD Framework 2026)koji.so
- 用戶調研避坑指南:問卷和訪談到底怎麼做才對?woshipm.com
- 如何選擇正確的用戶調研方法?先了解這 2 種方式woshipm.com
- 邏輯解答:如何僅用 5 步高效完成用戶調研?digitaling.com
- How to Conduct Lean Market Research for Maximum Efficiencyspottrender.com
- AI Voice Surveys: Capture Honest and Detailed Customer Feedbacktheysaid.io