선거게시판에 한 보수후보의 지지율 예측에 대한 논의가 있었습니다.
그 중에 일부 근거로 11월 당시 조사간 국정지지율에서 5%이상씩 차이나는 것을 보니 갤럽조사가 전화면접이라 샤이층을 제대로 잡지 못한다였고,
전화면접과 ARS간에도 샤이층에 의한 영향이 이정도니 여론조사 자체의 샤이층에 의한 영향까지 더하면 실제 차이는 10% 이상일 것이다를 바탕으로 논지를 펴나갔습니다.
실제로 갤럽의 조사가 11월~12월9일 당시 국정운영 지지율 5% 4회, 4% 2회였는데 리얼미터 조사는 9.7%~11.5%였습니다.
갤럽의 경우는 전화면접 100%고 리얼미터는 ARS가 일부 섞여있음에 불과함에도 5%이상씩 차이나는 것이 아니냐로 부터 출발하는데
당시 TV에서 많은 패널들이 샤이층의 영향을 너무 과다한거 아닌가 싶게 부풀렸죠.

이 글에선 여론조사에 대한 이해를 돕기 위해 간단한 분석부터 시작해보려 합니다.
1.전화면접조사는 실제로 ARS에 비하여 어느 한측의 과다하게 숨은 샤이층때문에 왜곡이 심각한 정도인가
2.여론조사는 실제로 샤이층의 영향때문에 10% 이상씩 보정해야할 정도로 편향되어있는가

일단 샤이층의 영향에 자체에 대해선 부정하진 않습니다.
뭐 딱히 부끄러워서 뿐 아니라 그냥 프라이버시니까 말하기 꺼려하는 사람도 어느 측에나 있는 것이고 여론조사에선 이를 잡아내기 어렵다는 것은 사실이며,
다만 그게 여론조사가 무의미할 정도로 어느 한쪽으로 쏠린채로 1/5,1/10씩 되는가와 추정불가하기에 대충 막 떠벌려도 되는 것인가가 중요한거겠죠.
이를 분석하기 위해서 여론조사 심의위원회의 홈페이지에 가서 3월부터 최근 한달여간 조사들을 살펴봅니다.
샤이층의 영향을 분석하기 위한 가장 강력하고도 유일한 단서는 18대 대선 투표후보 질문인데요,
누구를 지지한다,지지했다,찍었었다 등을 말하는게 부끄럽다에서 출발하는게 샤이층 영향에 대한 논리이기 때문이죠.
약 40일간의 조사만 일일이 통계분석표를 보는데도 시간이 꽤 걸립니다. 10개 정도씩 12페이지던가였으니 120개정도 열어서 살펴봤더니,
최근에 좀 더 집중되게 11개가 나오더군요. 2배쯤 되었으면 그 정도로 분석하겠는데 좀 아쉽네요.
이전으로 갈 수록 빈도는 적어지겠으나 어차피 다 열어서 확인해봐야 하니 11월~2월 4배되는 기간을 다 열어보는데는 4배 가까운 시간이 더 걸릴겁니다.
이는 비효율적이라 판단하여 40일간 18대 대선질문 있던 조사기관으로 검색하여 11~2월의 자료들을 모아봅니다.
혹시 모르니 해당조사업체들의 작년 5~10월 조사결과들까지 다 살펴봅니다.
이리하여 엑셀에 조사일시,조사업체,무선비율,ARS비율,당시A후보,당시B후보,그외(기타,비투표,무응답등)으로 테이블을 작성하여 총 29개(9,10월조사 제외 26개)를 모았습니다.

직관적으로 이해하실 수 있도록 18대 대선후보 투표 질문 자료수가 많고 무선비율도 다양한 편인 한 업체의 데이터 몇개를 보여드리겠습니다.

3/24~25 한국사회여론연구소(무선 80% 전화면접 100%) A후보 364 B후보 396 기타 79 비투표/무응답등 170
3/10~11 한국사회여론연구소(무선 78% 전화면접 100%) A후보 399 B후보 364 기타 74 비투표/무응답등 191
2/24~25 한국사회여론연구소(무선 77% 전화면접 100%) A후보 391 B후보 409 기타 65 무응답등 182
2/17~18 한국사회여론연구소 (무선 58% 전화면접 100%) A후보 402 B후보 360 기타 84 무응답등 167
2/3~4 한국사회여론연구소 (무선 62% 전화면접 100%) A후보 392 B후보 376 기타 93 비투표/무응답등 198

언뜻 봐도 무선비율에 의해 크게 좌우되며, 한쪽으로 극히 편향되어 있지 않습니다.
이제 통계분석할 차례인데요, ARS에 대해선 한업체의 무선ARS 100%에 완전 집중되어 있는데다 데이터수도 적어서 다원분석해도 무용해 보입니다.
그러니 다른 통계프로그램까진 필요없고, 그냥 엑셀로 회귀분석해보면 되겠네요.
오차항column=0.518-A후보/(A후보+B후보)을 만들어 y로 현재 정례조사를 활발히 하는 조사업체의 무선비율(0.85)과의 차이를 x로 놓고 돌립니다.



무선조사 비율에 대해 유의하고, 18대 대선 후보투표비율과 3.28%정도 차이나는 결과가 나오네요.

ARS의 영향도 살펴봐야 하니 무선ARS 100%의 영향을 빼고 한번 보죠, 해당하는 4개의 데이터를 빼고 다시 회귀분석해봅니다.



여전히 무선조사 비율에 대해 유의한데, 유의한 정도가 좀 줄었고 18대 대선 후보투표비율과 차이도 좀 줄은 2.89% 결과가 나오네요.
유의도가 줄은 것은 명확한 차이를 보여주는 무선100%의 점들이 빠졌기 때문이며,
y절편이 줄을 수 있는 이유는 두가지입니다, 무선조사를 100%로 하면 영향이 급격해지거나 ARS조사는 예상했던것과 달리 샤이층을 잡아주는 영향이 아닌 반대영향을 갖는다.
저는 후자는 존재한다 단정할 수 없고, 만일 있다해도 상대적으로 미미하며, 전자의 영향이 훨씬 크다 봅니다.
후자에 대해서 제대로 분석하려면 무선ARS 100%에 밀집된 소수가 아닌 고르게 분포된 더 많은 데이터들을 필요로 하는데, 이건 현재 그만큼 존재하질 않습니다.
어찌되었건 여기까지 실제민심-유무선복합전화면접이 2.89% 수준임을 알 수 있게 되었네요.
이는 현재 무선85% 전화면접 조사일 경우 18대 대선때 A후보에 투표했던 유권자가 51.8%가 아닌 49%정도로 잡힌다는 뜻입니다.

한가지 더, 그럼 무선조사비율 몇%일때 18대 대선투표의 실제결과와 가장 근접하겠는가,
오차항을 x로 무선조사비율을 y로 놓고 회귀분석합니다.



57%일 때 가장 근접한다는 결과가 나왔네요.
무선비율을 더 높여야 한다는 소리가 많음에도, 요즘 무선비율 60%정도인 조사들 또한 꽤 있는 것은 다 이유가 있는 것입니다.
그럼 57%일 때 가장 정확한 선거결과 예측을 할 수 있다는 것인가,
그렇진 않습니다. 선거예측에 필요한 표본은 투표의욕도 포함되기 때문에 보수측의 숨기는 비율이 더 많다해도 그것에 집중할 필요는 없습니다.
평시 표본구성에 가장 자연스러운 비율로 구성하는게 더 정확한 선거결과 예측이 가능하고,
이와 같은 분석으로 상대적인 샤이층의 폭이 얼마나 되는가를 무선비율이 다른 조사들을 봐가며 같이 파악해주면 되는 것이죠.

그럼 11월 이후로 원래는 진보샤이층이 더 많은게 정상(?)인건데, 보수샤이층이 급증한 것은 사실인가, 아쉽게도 그걸 분석하는데 필요한 조사결과가 별로 없습니다.
딱 3개 있는데요, 일단 리서치뷰의 2개를 보면

10/31 리서치뷰(무선ARS 100%) A후보 54.0%
9/28~29 리서치뷰(무선ARS 100%) A후보 58.7%

급증한 것처럼 보입니다, 헌데 2개뿐이라서 진짜 그런건지 신뢰도를 부여하기엔 턱없이 부족하죠.
헌데 이를 보면 오히려 ARS조사가 샤이층을 더 잘 잡아내는 것이 맞긴 한 것인지 의구심이 듭니다.
물론 이 역시도 이것만으론 알 수는 없으며, 나머지 1개를 보면 또 별 차이 없습니다.

10/29~30 엠브레인 (무선 51% 전화면접 100%) A후보 49.1%

결론을 정리하자면, 최근 7개월~1년의 상대적 샤이층을 파악할 수 있는 조사들을 바탕으로 분석해본 결과
1.전화면접조사라 해서 ARS에 비해 샤이층이 5%p이상씩 차이나지 않으며, 현 통계상으론 데이터 부족으로 그에 대한 상관관계를 찾을 수 없다. 4개 데이터만으로도 무선 2~40%증가에 의한 편향증가는 두드러지는데 반해 ARS 100% 증가의 영향은 보이지 않는다. ARS가 샤이층을 잡아내는데 설령 효과가 있더라도 몇%p를 논할 정도는 아닌것으로 보인다.
2.실제민심과 전화면접조사간 역시 10%p이상씩 차이나는 것은 아니며, 무선비율에 따라 크게 좌우되는데
무선 85%를 기준으로 18대 대선 당시 A후보를 찍었던 보수층은 51.8%가 아닌 49%정도로 잡힌다.
무선 85%가 표본구성상 가장 적절한 비율이 맞다면 현재 샤이층은 약간이지만 보수쪽에 더 많이 존재하는 것은 사실이다.
3.그렇다해서 무선비율 57%가 정확하다는 것은 아니며, 선거결과 예측을 위해선 투표의욕까지도 포함되어야하니
현재 진보보다 보수의 샤이층이 다소 더 많음을 인정한다면 무선비율 57%는 절대적 기준이 아닌 무선비율이 최소한 이정도는 되는게 좋겠다는 기준이 될 수 있다.

그 다음 얘기할 것은 그럼 갤럽조사는 왜 11월에 5%넘게 차이났는가와 여론조사를 대하는 자세 등인데,
11월에 차이난 이유까진 설명해야 의문에 대해 일단락 되지만, 너무 길어져서 그건 다음으로 넘겨야겠네요.