幾個數據告訴您為什麼民調不準

楊雅惠

(典通股份有限公司總經理、浚鴻(Dataa)數據開發股份有限公司總經理)

emma@statinc.com.tw

 

2016年的美國總統大選結果跌破各界眼鏡,也狠狠打了民調產業、選舉市場預測產業一巴掌,使世人對民意調查結果的信賴度降到了谷底,可說是壓倒民眾對民調信任的最後一根稻草。頓時網路上充斥著大量文章討論民調不準確的問題,其中大部分指向「電話訪問的涵蓋率出問題(抽樣母體的代表性問題)」以及「民眾不表態」兩大問題。

 

其實,世人對於民調的質疑不是今天才產生的,尤其近2、3年來各界對民調的質疑聲音不斷,但都缺乏明確的證據證明民調結果真的有問題。幾次重要的選舉下來,包含2014年的台北市長選舉,都透露出民調作為選情預測的最重要工具似乎有失靈的現象。而政府所公布的各項施政滿意度數據,動輒突破八成的滿意度被各界抨擊為無感民調、嚴重與民眾感受脫節,也引起各界對於「電話訪問這個方法是否仍有效、準確」的廣泛討論。

 

實際的狀況是,隨著科技發展及國人生活型態的改變,市內電話正逐漸從我們的生活中消失,電話訪問的代表性面臨極大挑戰。典通及Dataa大數據研究中心在多年前察覺這個現象,並花了兩年的時間著手研究造成失準現象的原因並評估其嚴重性、同時開發新的調查工具及資料整合分析工具來解決這個問題,目前已經在許多客戶的專案中應用這些工具。

 

下方圖表是我們的眾多發現之一,電話訪問(CATI)對於39歲及以下的族群涵蓋率不到六成,這應該是CATI調查不準確的重要原因,但不可諱言的,CATI同時也是調查50歲以上族群的最佳工具,不宜輕言廢棄。我們得到的主要結論如下:

 

唯手機族,電話訪問失準的主要原因

根據典通及Dataa的研究結果,我國約有3成左右的民眾無法透過市內電話接觸,這些人的生活中沒有市內電話,仰賴手機或行動網路與外界溝通,稱之為「唯手機族」。其中包含越來越多家中沒有安裝市內電話的「狹義唯手機族」,以及因為作息時間特殊、不愛接電話、有固定休閒活動(如假日愛外出抓寶)的「廣義唯手機族」。

研究更發現,這群被電話訪問遺漏的人以年輕人居多。從圖中可以看出,CATI對於50歲以上的民眾涵蓋率接近九成,對於40-49來說也不算差,但對於39歲以下的年輕族群電話訪問法能接觸得到的比率不到六成,這使得電話訪問法所得到的結果無法充分反應年輕人的聲音。

15000867_10208923171809711_5159700723934845552_o

其實,「唯手機族現象」不是台灣獨有的現象,在美國更為嚴重。根據美國疾病管制局(Centers for Disease Control and Prevention, CDC)的調查數據,2014年全美有45%的家戶家中沒有安裝市內電話,許多人無法透過市內電話接觸得到,尤其以18 至34 歲的年輕成人更為明顯,也是造成這次美國大選民調預測失準的重要因素。

 

傳統方法無法解決唯手機族問題

典通及Dataa團隊進一步發現,前述電話訪問遺漏的現象是「不隨機的」,CATI問得到的年輕人和問不到的年輕人對很多事物的看法不一樣,民調機構無法用傳統的加權技術來解決這個問題。那麼,針對這個問題該如何解呢?網路社群分析、網路輿情分析、行動電話調查、行動網路調查都是可能的答案,我們大致可以從「取代」與「互補」兩個面向思考,「取代」是直接進行方法上的替代,「互補」則是仍以電話調查為主體(畢竟它經濟、快速、有完整的方法論),設法用其他方法去彌補電話訪問法的缺陷。

我國的行動電話普及率很高,行動電話調查有沒有機會取代傳統電話調查成為民調的新主流?機會是有的!但行動電話調查要作為主流民調工具,仍需克服成本高、小區域抽樣困難(例如沒有辦法針對縣市抽樣及推估)、較不容易接觸到老人等問題。此外,行動電話受訪的使用者經驗不佳也是推動行動電話調查的阻礙之一。因為不夠舒適、有害健康、行動中受訪容易發生危險等問題,受訪者較容易拒訪或不願意接受太長時間的訪問,因而提高了行動電話調查的非抽樣誤差。行動電話蓄電力不足、通訊死角沒訊號等問題也會造成一定的誤差,目前也有許多學者及業者開始針對這些問題研究解決方案。但作為電話訪問的「互補」工具,行動電話是較不適合的選擇!行動電話必須耗費龐大的資源才能篩選出電話訪問所欠缺的唯手機族,且篩選相當不易。

如前面提到,電話訪問法目前最大的問題是:蒐集不到一群有特殊生活型態、特殊價值觀的年輕人的意見,只要能補齊這塊遺漏的拼圖,就能拼湊出完整的圖像。那哪裡可以蒐集得到這群年輕人的意見呢?答案在「雲端」,Facebook、PTT等社群網站、網路論壇、部落格…充斥著年輕人的聲音!雖然因為代表性的問題(偏年輕人、都會地區)不適合全面替代電話訪問,但網路社群分析、網路輿情分析都是能與電話訪問互補的好方法。只是現階段將結構化與非結構化數據整合分析的技術仍未成熟,短時間內只能各自解讀再融會貫通,較難用網路社群分析、網路輿情分析的結果直接與電話調查的量化結果整合分析得到一個預測結果。

既然結構化與非結構化數據的結合技術仍待研究,現階段最快能與電話訪問「互補」的方法,應該是同為量化調查方法的行動網路調查法了。根據典通及Dataa團隊的研究數據顯示,行動網路調查法和電話調查法在涵蓋率上有互補的現象,電話訪問難以觸及的39歲以下民眾,有超過九成有智慧手機且行動上網,加上行動網路調查相對成本低、篩選唯手機族容易、機動性較網路調查高、可透過手機號碼或手機驗證杜絕一人多帳號的情形等優點,是現階段較為經濟、可行的互補解決方案。

當然,行動網路調查也並非完全沒有缺點。行動網路調查屬於自願性樣本,自然不具有統計抽樣中所要求的隨機性。雖然有研究顯示當樣本數足夠大時隨機性的相對重要性會下降,但仍需建構在具有代表性的抽樣框之下,也就說要有足夠代表性的抽樣母體名冊,從名冊中隨機抽取樣本進行訪問,才能獲得具有代表性的調查結果。

 

被動受訪+自願填寫,間接解決未表態的問題

「沉默螺旋」現象是另一個造成民調偏誤的重要原因。當社會上的主流媒體(或多數人)偏向某一陣營,很容易讓支持其他陣營的民眾選擇緘默,反之,和主流媒體(或多數人)有相同意見的人,會更願意表達自己的態度。面對這個問題,讓受訪者自填問卷往往比訪員詢問更能得到真實的答案,表態率也較高,這也是行動網路調查法作為電話訪問法互補工具的優點之一。

整體來說,現階段沒有一項調查工具可以同時涵蓋不同屬性的所有民眾,電話訪問有問題,但還不到該被棄置的時候,多元調查方法整合應是現階段精準民調的有效解決方向。世界及社會持續快速轉變,人們的生活型態也持續變化著,像電話訪問法一般稱霸2、30年的光榮景象往後很難再見,民意研究者及機構必需要能即時掌握社會的變遷及脈動,迅速調整調查研究工具,方能準確預測民意。

 

 

【關於楊雅惠】

典通股份有限公司總經理、浚鴻(Dataa)數據開發股份有限公司總經理、中華R軟體開發暨應用協會理事。20年民調、數據分析經驗,參與多次選舉民調研究,累積超過50個不同產業的行銷研究經驗,主持超過120個中大型政府委託調查研究案。致力於大數據與厚數據的整合應用,以及網路輿情的決策支援應用。

 

【關於EZchoice】

「EZchoice」是全國首創的行動調查平台,以App調查方式針對唯手機族主動蒐集不同年齡、性別、地區民眾對各項議題的價值態度與偏好數據。針對20~39歲會員唯手機族,行動網路調查法的覆蓋率達9成以上。

 

【關於典通】

典通股份有限公司(Statinc Company)是一間以統計分析及調查為核心的顧問公司,為客戶提供民意調查、市場調查、統計分析、Data Mining及決策分析等服務,同時也提供調查、分析、企劃及決策所需之內訓或公開培訓課程。官方網站:http://www.statinc.com.tw

 

【關於Dataa】

浚鴻數據開發股份有限公司(Dataa Development Co. Ltd.)為典通關係企業,專精大數據的蒐集、分析,以及大數據應用產品的開發,公司成立的宗旨為:「讓大數據變得白話!」。「EZchoice」為Dataa所開發之行動調查平台,提供厚數據專業量化資訊,與輿情大數據結合形成最佳的資訊解決方案。官方網站:http://www.dataa.com.tw

 

Leave Comment