1. 개요2. 방법3. 정확한가?
3.1. 선거 여론조사에는 어떤 변수가 있는가?3.2. 오해와 진실
4. 여론조사 회사는 무엇으로 돈을 버는가?5. 선거 전 여론조사 공표 금지기간은 적정한가?6. 선거여론조사심의위원회3.2.1. 1,000명을 조사해서 응답한 수십 명의 인원만으로 여론을 판단한다? (X)3.2.2. 응답률이 낮은 여론조사는 믿을 수 없다? (X)3.2.3. 유선전화 비율이 높을수록 조사 결과가 왜곡된다? (O)3.2.4. 장노년층 응답자가 전화 받으면 여론조사기관이 끊어버린다? (X)3.2.5. 표본 수가 1,000명으로 적어서 의미가 없다? (X)3.2.6. 특정 정당의 지지층만이 주로 응답한다? (X)
3.3. 여론조사 표본 편의 및 불법 여론조사3.4. 주의할 점6.1. 선거여론조사의 공표와 보도
7. 여론조사업체 (가나다순)7.1. 기타
8. 관련 문서1. 개요
여론조사(輿論調査, Public Opinion Poll)는 어떤 사회 집단의 정치적 사회적 등의 여론을 알아보는 조사를 말한다. 전체 구성원 모두에게 여론을 알아볼 수는 없으므로 표본을 뽑아 조사하게 된다. 표본 내에서도 나이, 성별, 지역, 종교, 직업, 학력, 소득 등의 요소에 따라 성향이 달라질 수 있기 때문에 조사 목적에 맞게 표본의 구성을 조정하는 절차를 거친다.여론조사는 사람이 직접 대상을 만나서 인터뷰를 진행하여 결론을 도출하는 대면 조사 방식과 통신망을 활용한 비대면 조사 방식으로 나뉜다. 대면 조사 방식은 일정한 표본을 모집하여 조사를 하거나, 혹은 직접 가가호호 방문을 하거나, 거리나 특정 구역 내에서 무작위로 인터뷰를 진행하여 자료를 수집하는 등의 방식으로 이뤄진다. 선거 당일에 투표소를 나서는 유권자들을 무작위로 선택하여 조사하는 방식인 선거 출구조사 또한 일종의 대면 조사에 속한다. 상대적으로 시간과 비용이 많이 들며, 조사원들에게 조사 방법론에 관한 일정 수준 이상의 훈련이 필요하다.
통신망을 이용한 비대면 조사는 근현대 이후로 정착된 방식이다. 전화가 충분히 보급되기 전 시대의 과거에는 우편을 이용한 여론조사를 사용하기도 했지만, 통신망이 널리 보급된 현대 사회에서는 전화 조사를 기본적으로 사용한다. 한편 최근에는 몇몇 여론조사에서 제한적으로 모바일이나 인터넷을 통한 표본 모집을 하는 경우도 있는데, 표본 자체의 무작위성이나 신뢰성 문제에서 자유롭지 못하기 때문에 아직까지는 널리 받아들여지지 못하는 형편이다.
2. 방법
2.1. 대면 조사
조사원이 표본으로 선정된 응답자를 상대로 직접 대면하여 조사하는 방법이다. 여론조사의 가장 기본적이고 근본적인 방법으로 꼽힌다. 대면 조사를 수행하기 위해서는 조사원에 대한 고도의 훈련과 감독이 중요하다. 면접조사는 면접 대상의 규모에 따라 개별 면접조사, 집단 면접조사[1]로 나눌 수 있고, 면접의 내용 구성에 따라 많은 응답자가 똑같은 객관식 질문을 받는 표준화 조사, 숙련된 조사원들이 대략적인 방향성만 가지고 조금씩 질문을 변형시키는 비표준화 조사, 표준화 조사와 비표준화 조사를 적절히 절충하는 방식인 반표준화 조사 등으로 구분할 수도 있다. 조사자가 설문지를 배포한 후 응답자를 보조하는 형식으로 조사가 진행될 수 있으며, 혹은 조사자가 응답자에게 설문지를 주고 나중에 가지러 오는 경우도 있다. 참고로 2010년대 중반부터는 대면 조사에서 기존의 설문지 대신 태블릿 PC가 적극적으로 활용되고 있다.장점으로는 응답률이 여러 조사 방식들 가운데 가장 높다는 점, 조사자가 면접상황을 적절히 통제할 수 있다는 점, 시각이나 청각적인 보조물을 사용할 수 있다는 점, 질문이 내용이 조금 복잡하거나 응답의 내용이 분명하지 않을 경우 추가로 설명을 해주거나 더 자세하게 질문을 할 수 있다는 점, 글을 읽지 못하는 사람이나 통신 기기 사용에 익숙지 않은 노인들을 상대로 얼마든지 조사가 가능하다는 점, 특정 집단이나 직업군, 지역 등에 대한 세밀한 접근이 용이하다는 점, 긴 설문이 가능하다는 점 등이 있다.
단점으로는 조사원이 응답자와 직접 대면해야 하므로 일반적으로 조사비용과 조사시간, 조사기간 등이 대단히 많이 소요된다는 점, 충분히 숙달되지 않은 조사원에게서 발생하는 오차가 크다는 점, 조사원의 의도에 따라 결과의 편향이 크게 발생할 가능성이 높다는 점, 응답자가 옆 사람의 의견에 직접적으로 영향을 받을 수 있다는 점, 다른 조사에 비해 익명성을 유지하기가 훨씬 어렵다는 점, 사생활 침해 등의 이유가 발생하기 쉽다는 점, 바쁜 현대인들에게 긴 시간 동안의 심층 조사를 요구하기 어렵다는 점 등이 있다.
2.2. 전화면접 조사
조사원이 직접 전화를 걸어 전화를 받는 사람에게 설문조사를 하는 방식이다. 보통의 전화 통화처럼 질문자가 전화를 걸어 정해진 질문 순서에 따라 조사원이 차례대로 질문을 하고 응답자는 질문에 따른 응답을 하는 방법으로 진행이 된다. 가장 보편적인 여론조사 방식으로 꼽힌다.[2]장점으로는 보편적이고 일반적인 인식에 대한 조사가 가능하다는 점, 특정 이슈의 관심도가 상대적으로 낮은 계층이나 무관심층에게도 얼마든지 조사가 가능하다는 점, 사람과 직접 문답을 주고 받는 조사형식상, 기계 녹음으로 질문하는 ARS 조사방식에 비해 응답자가 쉽게 전화를 거절하지 못하게 되어 상대적으로 응답률이 높게 나온다는 점, 응답자가 통화 상태를 계속 유지하는 경향성이 높으므로 조사의 중도 탈락률이 낮다는 점, 이런 특징 때문에 길고 복잡한 문항에 대한 조사도 얼마든지 가능하다는 점 등이 있다.
단점으로는 전화조사원이 질문할 때 조사원의 성별, 말의 뉘앙스, 발음의 정확성, 사투리 등의 요인을 완벽히 통제하기 불가능하기 때문에 이것이 응답자의 편향으로 이어질 수 있다는 점, 사람이 직접 물어보기 때문에 응답자가 자신의 속마음을 쉽게 숨길 수 있다는 점[3], 애매한 응답에 대한 분류가 쉽지 않다는 점, 무관심이나 저관심 계층의 응답에 의미를 부여하기 쉽지 않다는 점,[4] 조사의 비용[5]이나 시간이 많이 소요된다는 점 등이 있다.
2.3. ARS 조사
미리 녹음된 음성을 활용한 자동응답 시스템으로 진행하는 조사이다. 전화면접 조사가 상담원 질문에 대해 직접 사람이 말로 응답하는 방식인 것에 반해, ARS 조사는 자동응답 시스템이 불러주는 음성에 대해 응답자가 전화 버튼을 눌러서 답변을 입력하는 방식이다.[6] 영어로는 상담원이 직접 걸어서 질문하는 전화면접 조사를 실황면접(live interview)이라고 이름 붙이고, ARS 자동응답 시스템을 활용하는 조사를 로보콜(robocall)이라고 이름 붙여서 구분하기도 한다.장점으로는 특정 이슈에 대해 관심도가 높은 계층을 중점적으로 조사할 수 있다는 점[7], 버튼을 눌러 답변을 입력하므로 비밀이 보장되어 응답자가 속마음을 쉽게 드러낼 수 있다는 점[8] 질문 자체의 문항, 성별, 뉘앙스, 발음, 사투리 등의 요소를 모든 응답자에게 완벽하게 동일한 방식으로 통제할 수 있다는 점, 조사의 시간이나 비용이 적게 든다는 점 등이 있다.[9]
단점으로는 응답자 선정 과정에서 응답자의 거짓 응답을 검증할 방법이 없기 때문에 비표본 오차가 크게 발생할 수 있다는 점,[10] 이슈의 관심도가 낮은 계층이나 보편적인 모집단에 대한 조사가 어렵다는 점, 전화면접 조사에 비해 통화의 중도 탈락 비율이[11] 높다는 점, 이런 특징 때문에 길고 복잡한 문항에 대한 조사가 불가능하며, 몇 개 되지 않는 소수의 문항 위주로 조사할 수밖에 없다는 점, 이슈 고관여층의 여론을 과잉 대표한다는 점, 소수 응답층의 여론을 과잉 대표한다는 점[12], 근본적으로 기계음에 대한 거부감이 강한 사람들은 응답에 응하지 않는다는 점 등이 있다.[13]
2.4. 모바일 패널 조사
여론조사 기관들이 자체적으로 보유한 대량의 온라인 패널 가입자들을 활용한 여론조사 방식이다. 자체적으로 충분히 많은 수의[14] 패널을 확보한 여론조사 기관들이 이 패널을 성별, 세대별 인구 구성비에 따라 가공하여 모집단을 조직한 뒤, 이 모집단에 대해 스마트폰 문자, 스마트폰 앱, 이메일 등을 통해 랜덤으로 접촉하여 여론조사를 수행한다. 가공된 모집단에 대해 문자를 보내서 여론조사용 웹페이지의 접속을 유도한 후 조사를 하기도 하고, 자체 스마트폰 앱의 알림 기능을 활용하거나 이메일을 통해 접촉하여 조사를 수행하기도 한다. 온라인 패널 조사, 웹 패널 조사, 모바일 패널 조사, 스마트폰 앱 조사, 스마트폰 패널 조사 등등 다양한 이름으로 불리지만, 결국 유사한 분류이다.장점으로는 조사의 비용과 시간이 전화 조사에 비해 상대적으로 적게 든다는 점,[15] 웹페이지 링크나 앱을 통한 온라인 답변을 수행하므로 매우 긴 질문의 복잡한 조사도 얼마든지 수행할 수 있다는 점, 질문에서 사진이나 동영상, 음성, 소리 정보 등을 활용하는 방법이 가능하다는 점, 여론조사 기관들의 자체적 노하우에 따른 다양한 형태의 가중치 부여가 수월하다는 점 등이 있다.
단점으로는 충분한 패널을 보유하지 못한 업체는 시도하지 못한다는 점[16], 일반적인 RDD나 안심번호 전화조사에 비해 표본의 대표성과 신뢰성이 아직은 충분히 검증되지 않았다는 점[17], 통신 환경에 익숙하지 못한 계층[18]에 대한 조사가 어렵다는 점, 아직은 역사적으로 충분히 검증되지 않은 조사라는 점[19] 등이 있다.
2.5. 우편물 조사
조사 대상자에게 우편을 통해 설문지를 발송하여 질문에 응답하도록 한 후 회수하는 방법이다. 과거 통신이 발달하기 전에는 널리 쓰이던 방법이었으나, 현재에는 몇몇 특수한 경우가 아니면 거의 쓰이지 않는다. 한 때는 서비스나 제품 만족도 조사의 방법으로 주로 쓰이기도 했으나, 요즘은 이것 마저도 전화 조사나 인터넷 조사로 대체된 지 오래되었다.우편물 조사의 장점으로는 비용이 매우 적게 든다는 점, 조사원의 개입에 의한 영향을 최소화할 수 있다는 점, 익명성이 강하게 보장되는 방법이라는 점, 조사 시간이나 길이 등에 별 다른 제약을 받지 않는다는 점 등이 있다.
단점으로는 강제성이 없으므로 응답률이나 질문지의 회수율이 매우 낮다는 점, 질문지 회수 시점까지 시간이 매우 오래 걸린다는 점, 응답자의 답변 성실도를 가늠할 수 없다는 점, 대리 응답을 통제할 수 없다는 점, 대리 응답으로 인한 모집단의 오염이 빈번하게 발생한다는 점, 답변의 품질을 균등화할 수 없다는 점 등이 있다.
일본에서는 아직도 언론 공표용 정치 여론조사에서 이 우편물 조사 방식이 가끔 사용된다. 물론 일본도 여론조사의 메인스트림은 전화면접 방식 조사다.
3. 정확한가?
여론조사는 축적된 데이터와 과학적 근거를 가지고 조사하는 것이기 때문에, 과학적으로 설계만 되었다면 당연히 상당한 신뢰성이 있다. 하지만, 전수조사가 아닌만큼 오차범위가 존재하고, 따라서 정말로 그 확률로 틀릴 수도 있다. 다만 진짜 오차범위 내의 정확한 여론을 알 수 있는가에 대해선 제법 논란이 있는 것도 사실이다.우선 표본 선정 과정에서 편향적이기 쉬운 문제가 있다. 예를 들어 정치 여론조사의 경우 중장년층이 주로 응답하는 집전화(유선) 조사는 가중치를 조절한다 치더라도 그 비율이 높을수록 결과가 보수 정당에 유리하게 나오기 쉽다. 때문에 연령대 가리지 않고 많이들 쓰는 휴대폰으로 하는 무선조사의 경우 좀 더 편향성을 줄일 수 있는 장점이 있으나, 정치/사회 현안에 대한 견해나 대선처럼 전국 단위 여론 분석이 가능한 조사가 아닌 지역구 선거 관련 조사 같은 경우는 유무선 조사의 비율을 조정하기 쉽지 않다는 한계도 있다. 이 때문에 후술되는 무선전화 안심번호 여론조사 제도가 도입되었다. 다만 비용이 많이 드는 한계점이 있어서 자금력이 부족한 영세한 조사기관의 경우에는 적극적으로 활용하지 못하는 점도 존재한다.
그 외에도 접촉 방법, 조사 기간, 조사 시간, 문항 설계, 질문 방식 등의 설계가 합리적으로 되지 않으면 정확도나 신뢰도가 떨어지는 결과가 도출되기도 한다. 그리고 이런 조사 방법론 외에도 연령, 소득, 직업, 학력, 지역 등의 인구 구성 변수도 크며, 같은 연령대라고 할 지라도 정보화가 된 사람이 상대적으로 진보적이거나 개혁적인 성향을 가지는 경향이 높은 등 계층적인 측면에서도 여러 오차 변수가 있다. 심지어 이러한 오차 변수에다가 각각 어느 정도로 가중을 두느냐에 따라서 조사의 결과가 상당히 달라지 수도 있다.
질문방식의 경우 미세한 차이에 따라 조사 내용이 달라지고 결과가 바뀌기도 한다. 선거 후보자에 대한 선호도를 조사할지, 적합도를 조사할지 아니면 지지도(투표 의향)을 조사할지 논란이 된다. "어느 후보가 대통령 후보로 되어야 한다고 생각하십니까?" 이 설문은 후보 선호도를 묻는다. "누가 후보로 적합하다고 생각하십니까?"라고 묻는다면 적합도를 묻는 질문이다. 이에 반해 지지도를 묻는 설문은 "당장 내일 투표를 한다면 어느 후보를 찍겠습니까?"라고 묻는다.[20]
소설가 김훈은 2019년 9월 19일 고려대학교에서 있었던 강의에서 현재 한국 사회가 직면한 문제에 대해 "사람들의 생각이 당파성에 매몰된 바람에, 자기가 가지고 있는 당파성을 정의 · 진리라고 말하고, 그렇게 의견과 사실을 구별하지 않은 말들이 매일 쏟아진다. 자신의 의견을 사실인 것처럼 말하고, 사실을 자신의 의견인 것처럼 말하면서, 말을 할 때 그것이 사실인지, 근거가 있는지 아니면 개인의 욕망인지 구별하지 않고 마구 쏟아내기 때문에 아무도 알아 들을 수 없는 말이 됐다.”고 지적하면서 여론조사를 현시대 최고의 권력으로 들었는데, 김훈은 그러면서 "여론조사는 의견과 사실이 혼재되어 있는 건데[21]그 대답을 내놓은 각각의 사람들이 '그 사안을 그렇게 보고 있다'는 것 이상의 의미는 되지 못하며, 그 대답을 내놓은 사람들이 그러한 대답을 도출하기까지의 사고 과정이나 근거라는 것이 반드시 객관적이거나 과학적이고 합리적인 판단에서 나온 것이라는 보장도 없고, 그 대답이 도출되기까지 그 사람의 판단 계기며 사고 과정의 옳고 그름까지 여론조사가 모두 검증할 수도 없다. 당연한 이야기이지만, 대중이 언제나 옳은 것은 절대로 아니다.] 그것이 마치 정의이고 진리인 것처럼 떠받들어지는 것은 '무지몽매한 세상으로 가는 지름길'이 된다"고 단언하기까지 했다. #1, #2, #3, #4
20대 대선에서 다수의 여론조사 업체가 최종 결과에서 한참 벗어난 수치를 예측해 논란이 일 것으로 보인다. 세대별, 성별 응답률과 투표율 사이의 괴리가 그 원인으로 보이는데, 추가 분석이 필요하다.
3.1. 선거 여론조사에는 어떤 변수가 있는가?
여론조사는 다양한 변수에 의해 영향을 받는다. 특히 선거 여론조사의 경우에는 일련의 조사들이 되려 선거 결과에까지 큰 영향을 끼칠 수 있기 때문에, 선거 여론조사 자체에 대한 연구는 정치학의 현실 정치 관련 분과에서 활발히 연구되는 주제 중 하나이다.주된 조사 방법의 차이[22], 표본 접촉 방법의 차이[23], 표본 종류의 차이,[24] 조사 기간의 차이[25], 유무선 전화 비율의 차이[26], 접촉 시간에 대한 차이[27], 접촉 횟수의 차이,[28] 질문 방식의 차이[29], 내용 구성의 차이[30], 질문 순서의 차이[31], 질문 길이의 차이, 질문 자체에서 제시한 프레임의 차이[32] 등 다양한 변수가 존재한다. 이러한 다양한 요소들이 종합되어 언제나 여론조사 회사에 따른 일정한 편향이 발생하는데,[33] 이를 하우스 이펙트(House Effect)라고 한다.
심지어는 여론조사 의뢰처에 따라서도 조사 결과가 달라진다. 보수적인 기관이나 언론에서 여론조사를 의뢰하면 진보적 성향의 유권자들은 자신의 마음을 감추고, 반대로 진보적 기관이나 언론에서 여론조사를 의뢰하면 보수적 성향의 유권자들이 감춘다. 다시말해 국민의힘이나 조중동, 경제신문사 의뢰 여론조사인가, 더불어민주당이나 한경오, 지상파 3사 의뢰 여론조사인가에 따라서도 조사의 결과가 달라질 수 있는 것이다.[34] 다만 이 점은 질문에 들어가기 전에 특정 언론사를 언급하지 않음으로써 예방할 수 있고, 실제로 대부분 언론사 의뢰 여론조사들 설문지 문항을 보면 언론사를 구체적으로 명시하지 않는다.
이러한 하우스 이펙트를 평가하는 것은 선거 여론조사나 현실 정치의 오랜 숙제이다. 정치적 환경은 시시각각 바뀌고, 여론조사에 응답하는 표본들의 심리변화를 완전히 제어하기도 쉽지 않기 때문이다. 늘 "OOO 조사는 보수 편향적이다", "XXX 조사는 진보 편향적이다" 등의 온갖 주장이 난무하기 마련이지만, 이런 주장을 완전히 부정하기도 힘들고, 그렇다고 또 완전히 긍정하기도 힘들다. 큰 선거가 한 번씩 끝나면 "어느 회사의 선거 여론조사가 가장 중립적이었는가?"라는 주제로 연구서가 활발히 발표되곤 하지만,[35] 이 또한 늘 일정하지는 않다. 어떤 선거에서는 A 여론조사 기관이 가장 중립적으로 평가받다가도, 다른 선거에서는 B 여론조사 기관이 가장 중립적으로 평가받게 되는 일이 다반사이다.
여론조사의 정확성 향상을 위해 고려해야 하는 두 요인으로 모집단과 가중 방식이 있다.
- 모집단 : 여론조사는 어디까지나 여론조사에 응하는 사람이 모집단인 반면, 선거의 결과는 분명히 선거에 참여하는 사람이 모집단이다. 이 둘은 분명 서로 성격이 다른 모집단이다. 여론조사에 응한다고 해서, 그 사람이 선거에도 반드시 참여한다는 보장도 없고, 어떤 정당이나 후보에 대해 호감을 가지거나 지지한다는 답변을 한다고 해서 반드시 투표장에 가서 그 정당이나 후보에게 투표한다는 보장도 없다.[36] 다시 말해, 여론조사와 투표는 엄연히 다르다는 것이다. 이 차이를 조금이라도 보정하기 위해서 '투표 참여 의향'에 관한 조사를 병행하기도 하지만, 이 또한 정밀한 방법은 아니다. 투표를 할 것이냐 안 할 것이냐는 질문은 어디까지나 '도덕적 질문'이기 때문에 대부분 '투표할 것이다'라고 대답하는 경향이 있기 때문이다.[37] 그리고 투표에 참여할 의사가 있다고 하더라도, 해당 응답자가 어느 정도로 절실하게 투표 참여 의지가 있는지 가늠하는 것도 쉽지 않다. 투표 의향의 강도를 4점 척도[38]로 묻는다고 해도, 응답자 개개인마다 선택지의 차이를 받아들이는 정도가 각각 다르다. 어쨌든 현실적으로 이런 여러 차이를 계량하고 보정할 수 있는 방법은 딱히 없다. 그럼에도 불구하고 선거 여론조사가 선거 결과 예측에 동원되는 이유는, 선거를 예측하는 여러 방법들 중에 그나마 현실적이고 합리적인 추론 수단이 여론조사 정도이기 때문이다.
3.1.1. 가중 방식
현재 선관위의 중앙여론조사심의위원회에서는 선거 여론조사의 가중 방식으로 셀가중(Cell weighting)과 림가중(Rim weighting) 두 가지만 허용하고 있다. 그런데 여기서 문제는 어떤 가중 방식을 채택하느냐에 따라서 여론조사의 결과가 상당히 달라질 수 있다는 점이다.선관위에서는 성, 연령, 지역 등 3개의 변수를 정해주고 있는데, 변수를 모두 반영하여 세부 구분마다 각각 다른 가중치를 부여하는 방식이 셀가중[39]이고, 전체 표본에서 기본적인 변수에 한해 가중치를 부여해 가는 방식이 림가중이다.[40] 두 방식에는 각각의 장단점도 있고, 어느 쪽이 더 좋은 방식이라는 정답도 없다.[41] 또한 어느 쪽이 더 현실과 부합하는 결과를 내는지의 여부도 판단하기 어렵다. 어쨌든 이런 가중 방식은 여론조사 회사마다, 발표하는 여론조사마다 각각 다르게 채택하고 있는데,[42] 이 때문에 하우스 이펙트(House Effect)가 더 뚜렷하게 발생하기도 한다.[43]
3.1.2. RDD 방식 vs 가상번호 방식
휴대전화 가상번호는 일종의 1회용 가상 전화번호다. 안심번호라고도 한다. 누군가가 인터넷 쇼핑몰에서 물건을 구매할 때, 개인정보 보호 차원에서 택배 송장에 사용될 자신의 실제 휴대폰 번호를 숨기는 용도로 1회용으로 050으로 시작되는 가상번호를 만들 수 있는데, 이것이 바로 이른바 안심번호이다.선거 여론조사를 할 때, 전국단위의 조사에서는 휴대전화 번호 무작위 걸기(RDD)를 통하여 얼마든지 조사가 가능하지만,[44] 작은 단위의 지방자치단체를 조사할 때는 해당 지역에 거주하는 유권자의 번호를 따로 구분해 내는 것이 사실상 불가능하다. 지역을 특정할 수 있는 전화번호라고는 유선전화뿐인데, 유선전화에 전적으로 의존하는 조사는 결과의 왜곡과 편향성 때문에 현대적 여론조사에서는 사실상 폐기된 방법론이므로 사용할 수 없다. 이런 문제의식에서 도입된 것이 가상번호인 것이다. 가상번호에는 성별, 연령, 거주지 정보가 담겨 있어, 특정 지역이나 세대, 성별을 특정한 여론조사를 용이하게 할 수 있다. 선거법 개정을 통해 2016년 총선 때는 정당의 비공개 자체조사에서만 활용할 수 있게 되었고,[45] 2017년 대선 때부터는 외부의 일반 여론조사 업체에서도 사용할 수 있게 다시 법이 바뀌었으나 전국 선거라는 측면에서 활용은 많지 않았다. 2018년 지방선거 때가 되어서야 비로소 일반적이고 보편적으로 활용되기 시작했다.
가상번호를 활용한 조사를 위해서는 먼저 여론조사 업체들이 선관위 산하의 선거여론조사심의위원회를 통해 SKT, KT, LGT 등의 각 통신사로부터 조사를 원하는 특정 지역에 거주하는 유권자들의 규모와 세대 비율을 참조한 휴대전화 가상번호를 대량으로 구입한다. 이때 구입한 번호는 050으로 시작하는 1회용 가상번호이므로, 각 여론조사 업체는 실제 존재하는 전화번호를 알지 못한다. 다시 말해 가상번호 제공자는 자신의 실제 전화번호가 외부에 노출되지 않으므로 개인정보는 보장된다. 이때 활용된 가상번호는 일정 기간이 지난 후에 자동으로 소멸된다.
가상번호 조사의 장점은 정확도와 신뢰도가 높은 여론조사가 가능하다는 점, 얼마든지 지역이나 세대를 특정한 조사가 가능하다는 점, 유효한 전화번호 위주의 조사가 이뤄지므로 전반적으로 여론조사 응답률이 높아진다는 점 등이다. 휴대전화 가상번호는 2018년 지방선거의 여론조사부터 각광을 받았는데, 최종 선거 결과를 대부분 적중하는 놀라운 결과를 보였다. 단점으로는 기존의 RDD 방식 조사에 비해 조사비용이 많이 든다는 점, 표본에서 알뜰폰 사용자는 제외된다는 점 등이 있다. 참고로 전화번호 단가는 20일간 사용되는 가상번호는 전화번호 건당 330원 정도, 하루 동안 사용되는 가상번호는 건당 17원 정도 소요된다. 만약 1000명 표본으로 가상번호 전화 여론조사를 수행한다고 가정하면, 일반적으로 최소 20~30배수 가량의 가상번호 표본 구성을 하게 되므로, 조사원 인건비와 전화요금을 제외하고라도 벌써 가상번호 번호 구입 비용만으로도 이미 회당 최소 660~990만 원 가량이 소요되는 것이다.[46]
가상번호 방식은 알뜰폰 사용자들을 표본에서 아예 제외해 전체 여론을 온전히 반영할 수 없다는 단점을 가지고 있다는 지적에 대하여, 한국갤럽에서는 자체 분석 자료를 통해 알뜰폰 사용자는 2021년 12월 현시점 기준 이동통신 3사 이용자와 알뜰폰 이용자 간 인구적 특성, 정치적 성향 차이가 크지 않으므로, 알뜰폰이 제외된다고 하더라도 가상번호 표본 추출의 신뢰도에는 별 문제가 없다고 분석하고 있다.[47]
또, RDD 방식에서 발생하는 전화번호 표본 신뢰도가 가상번호 방식에 비해 떨어진다는 의견이 있다. 이는 유효한 전화번호 리스트 유무에 따른 차이를 근거로 삼는다. 가상번호 방식은, 리스트에 알뜰폰 가입자가 포함되어 있지 않는 문제가 있지만 비율상 절대 다수를 차지하는 통신 3사에서 성별, 지역별, 연령별 인구 구성을 정확히 맞춰서 표본을 뽑을 수 있다는 장점이 있다. 그러나 RDD 방식은, 말 그대로 임의 걸기 방식이기 때문에, 공용, 법인용, 영업용 등의 휴대전화 번호 노이즈를 걸러낼 수 없다. 여론조사 분석의 핵심적 문제인 '무응답 편향 분석' 과정에서 막대한 노이즈가 끼게 되므로, 유효하지 않은 전화번호가 대거 무응답에 포함되는 것 자체가 여론조사의 품질을 크게 하락시킨다는 지적을 받을 수 있다.
일부에서는 RDD 방식으로도 대표성이 높은 표본 추출을 할 수 있다는 주장도 있다. 접촉횟수를 늘리고 조사가 완료된 셀[48]에 대한 표집은 거절함으로써 주어진 할당량에 크게 벗어나지 않는 표본을 구성할 수 있기 때문이다. 비용적인 문제가 있지만, 여론조사의 목표가 모집단의 정확한 여론 포착이라고 한다면, RDD 방식의 여론조사의 문제점으로 지적되는 과도한 가중치를 억제하는 이익이 상대적으로 더 크다는 것. 일례로 2016년 제20대 총선에서 RDD 방식을 이용하여 조사한 A사, 다른 업계와 달리 더불어민주당 우위를 예측, 실제 결과를 적중시켰다[49]. 2021년 재보궐선거에서 RDD 방식을 이용하여 조사한 B사도 마찬가지다[50]. 그러나 RDD 방식을 활용한 모든 여론조사 업체가 선거 결과를 정확하게 예측한 것은 아니다. 이런 예측 적중이 자주 발생하는 것도 아니며, 사례로 든 해당 업체들조차도 다른 선거에서는 자주 선거 결과를 적중하지 못했다. 다시 말해, 해당 주장도 개별적 사례들일 뿐, 일정한 경향성은 아니라는 것이다. 가령 똑같이 RDD를 활용했던 C사는 재보궐선거에서 오세훈 후보와 박영선 후보의 지지율 차이가 30%p라는 여론조사를 공표했는데, 이는 선거 결과와 큰 차이가 있는 수치였다. 다시 말해, 이 또한 일반화 할수 없는 주장이라는 것이다.
그러던 중 제20대 대통령 선거에서 RDD 방식의 여론조사 대다수는 최종 결과에 크게 빗나간 예측 수치를 내놓았고[51], 방송 3사는 가상번호 전화면접 방식으로 실시한 사전투표 여론조사 결과치를 참조하여, 출구조사에서 최종 득표율을 예측하였는데, 오차가 0.1%p에 가까울 정도로 적중하였다.[52] 또, 블랙아웃 기간 직전 여론조사 중 초박빙 승부를 예측했던 것은 모두 가상번호를 활용하였기 때문에, 적어도 2022년 시점에서는 가상번호를 활용한 여론조사가 선거에서 RDD보다 훨씬 정확하다고 할 수 있다. 단, 가상번호 방식을 쓴 여론조사가 모두 초박빙 승부를 예측한 것은 아니므로[53], 가상번호 방식은 여론조사 정확도를 높이기 위한 필요조건은 될 수 있어도 충분조건이 되지는 않는다. 하지만 그것을 차치하더라도 전국은 범위가 크기 때문에 전국이 선거구인 대선에선 RDD도 통용될 것이라는 통념이 있었지만, 그런 전국단위 선거에서도 가상번호가 정확도가 더 높았다는 사례가 제20대 대통령 선거가 되었다.
다만 현재 과도한 여론조사 실시로 인해, 가상번호 제공을 거부하는 사람들도 많아진데다,[54] 가상번호에 포함되지 않는 알뜰폰 이용자들도 지속적으로 늘어나는 추세여서 RDD가 다시 각광받을 가능성도 있다.
2023년 즈음을 지나면서 전화면접 방식 여론조사에서 RDD 방식은 완전히 전멸한 상태다. RDD방식의 전화면접 조사는 인구가 적은 강원도나 제주도 표본을 뽑아내기에는 가상번호 사용 비용 못지 않은 상당한 수준의 비용과 인력이 필요한 것 때문으로 추정된다. 물론 인력이 필요없는 ARS 조사인 경우에는 지금도 RDD 방식이 흔하게 쓰이고 있다.
3.2. 오해와 진실
3.2.1. 1,000명을 조사해서 응답한 수십 명의 인원만으로 여론을 판단한다? (X)
틀린 말이다. 예를 들어 여론조사의 표본이 1,000명일 때 응답률이 4%라는 말은, 표본 1,000명이 채워질 때까지 전화를 걸었더니 전체 25,000명 콜 까지 걸게 되었고, 그 25,000명 콜 중에 1,000명의 응답을 받은 것의 비율을 따져보니 최종적으로 4%가 나왔다는 말이다. 결코 1,000명 중에 4%만 응답했으니 40여 명의 표본이라는 말이 절대 아니다.3.2.2. 응답률이 낮은 여론조사는 믿을 수 없다? (X)
단적으로 말하면 응답률과 여론조사의 신뢰도 사이에는 큰 연관이 없다. 다만, 낮은 응답률 그 자체 만으로 여론조사의 신뢰도를 떨어트리지는 않으나 완전히 무시해서도 안된다. 낮은 응답률 자체가 참여율이 높은 여론조사 보다도 오류가 클 위험이 더 높다는 신호이기 때문이다.핵심 쟁점은 여론조사에서 묻는 질문과 결과가 여론조사를 응하는 결정과 관련이 있는지가 중요하다. 예를 들면, 정치에 매우 관심있는 사람들은 적극적으로 대통령 지지율 여론조사에 응할 수 있고, 반대로 정치에 관심없는 사람들은 해당 여론조사에 응하지 않을 수 있다. 이처럼, 여론조사에서 묻는 질문이 여론조사을 응하는 데 있어 중요한 역할을 한다면, 낮은 응답률은 문제가 될수 있다. 이러한 문제를 무응답편향 이라 하며, 이러한 문제를 해결하기 위해 업체에서는 표준가중치 조정을 통해 여론조사 값을 보정하게 된다.
현대에 이루어서는 여론조사가 대부분 전화 여론조사를 통해 이루어져 여론조사가 낮은 응답률을 기록하는 건, 이전 문단에 말한 사안과는 달리 스팸전화 때문에 여론조사에 응하지 않는 경우가 다반사이다. 이에따라 업체는 응답인원을 맞추기 위해 전화를 더 돌려야 하고, 시간과 비용이 더 소요된다. 단, 현실적으로 비용에 타협하기 위해 업체에서 표본 크기 축소, 여론 조사 기간 연장, 또는 다른 방식들로 여론조사 결과의 품질을 낮추기도 한다. 다만, 어디까지나 응답률은 부차적인 요건일 뿐이고, 가장 중요한 건 여론조사의 신뢰도와 정확도는 표본의 무작위성, 질문의 편향성 여부, 질의 응답 항목과 보기의 적절성, 조사 방법 설계의 합리성 정도 등에 따라 달라지는 것이지, 응답률 자체만으로 결정적인 척도가 되는 건 아니다.
일례로 아래의 그래프에도 나와 있듯이, 미국의 대표적인 비영리 여론조사 기관인 퓨 리서치 센터에서 과거 유선전화 시대였던 1997년에 전화 여론조사 응답률이 평균 36% 수준이었던 것이, 2009년에는 15%, 2018년에는 평균 6% 수준으로 하락했다는 내용의 분석 자료를 발표하기도 했다. 당시만 해도 이런 급격한 변화 양상을 두고 미국 내 관련 학계의 의견이 분분했으나, 시간이 지난 후 현재는 응답률 저하 문제는 통신 환경이나 생활 패턴의 변화 때문이지, 조사 신뢰도와는 큰 관련이 없다는 것으로 나타났다. 대표적으로 미국의 여론조사 응답률이 한 자릿수를 찍었을 때 힐러리 vs. 오바마 조사를 한 적이 있었고, 오바마는 어느 순간 여론조사에서 힐러리를 따고 앞서나갔으며, 결국 대통령 후보로 결정되었다. 그리고, 그 결과는 그대로 오바마의 대통령 당선으로 이어졌다. 결국 여론조사가 적중했던 셈. 당락을 못 맞췄던 2016년 대선의 경우에도, 대다수의 전국 단위 여론조사 결과와 마찬가지로 전국 개표 수에서는 힐러리가 이겼지만, 미국 대선의 특수성으로 인해 선거인단 선거에서는 트럼프가 승리한 바가 있다.
한국의 사정 또한 마찬가지인데, 응답률이 한자릿 수인 ARS 조사든, 두자릿 수인 전화면접 조사든 간에, 응답률 자체의 숫자의 차이는 있어도, 표본이 정확하고 조사 설계만 제대로 되어 있다면 선거 결과는 비교적 정확하게 맞히는 편이다.[55]
3.2.3. 유선전화 비율이 높을수록 조사 결과가 왜곡된다? (O)
사실이다. 더 정확히 말하면, 전화 여론조사를 할 때, 유선전화 비율이 높을수록 정치적으로 보수적인 성향을 가진 계층의 응답이 과잉 대표되는 경향성이 있다.유선전화를 이용한 조사는 과거 휴대전화가 보급되지 않던 시절에는 유일한 전화 통신 수단으로써 중점적으로 활용되었으며, 특히 지역번호나 전화의 국번 등으로 지역을 특정하여 가려낼 수 있기 때문에, 전국 조사뿐만 아니라, 특정 지역을 조사를 할 때도 큰 비중으로 쓰이곤 했다. 그러나 시간이 흐르면서 통신 환경이 격변했다. 일례로 방송통신위원회에서 발표한 '2023 방송매체 이용행태 조사' 보고서에 의하면, 가구별 유선전화 보유율은 16.2%에 불과하며,[56] 반면 개인의 휴대전화 보유율은 99.3%에 달한다.[57] 시간이 흘러 유선전화 보유 가구 자체가 전체 가구의 6분의 1 미만인 시대가 된 것이다.[58]
전화 여론조사에서는 통신수단들의 '커버리지'가 핵심적으로 고려해야 할 요소이므로, 유선전화와 무선전화의 적절한 비율에 대한 논의는 현대의 여론조사에서 중요하게 다뤄진다. 문제는 개인별 휴대전화 보유율이 100% 수준으로 이미 달성되었고, 가구별 유선전화 보유율은 10%대 정도인 수준이며, 특히 유선전화 사용 가구 구성원들 중에서도 '오직 유선전화만' 쓰는 사람이 사실상 소멸한 시대가 되었다는 점이다. 다시 말해, 설령 유선전화 보유 가구나 유선전화 보유 가구의 구성원이라 할 지라도, 이제는 해당 구성원들이 다들 각자 하나씩 휴대전화를 가지고 다니게 된 시대이기 때문에, 개인별 휴대전화 보유율이 그닥 높지 않던 과거와는 달리, 지금은 굳이 유선전화를 전화 여론조사의 주요 수단으로 볼 필요가 없게 된 것이다.
일단 유선전화는 이른바 '재택 성향'에 관한 문제가 크다. 일단 낮 시간대에는 유선전화를 받을 수 있는 계층이 지극히 한정되어 있다. 집에 사람이 있을 수도 있고 없을 수도 있는데, 유선전화는 오직 집에 있는 사람에게만 접촉이 가능한 통신 수단이기 때문이다. 따라서 유선전화는 필연적으로 전업주부,[59] 은퇴, 무직,[60], 자영업, 장노년층, 저학력층, 저소득층 등이 주로 응답하게 되는데, 당연히 여론조사에서 유선전화를 일정 수준 이상으로 활용하면 이런 '특정 계층'의 응답들 위주로 표집될 수밖에 없는 것이다.
그리고 유선전화와 무선전화의 결정적인 차이로 꼽히는 것이 바로 '대표성'이다. 유선전화는 어디까지나 '가구 대표성'에 의존하는 통신수단인 반면, 무선전화는 철저히 '개인 대표성'을 띄는 통신수단이기 때문이다. 개인용 통신 수단이 없거나, 있더라도 그 규모가 크지 않던 과거 90년대까지는 가구 대표성을 가진 유선전화만으로도 가구 구성원 개인들에게 충분히 도달하여 대표성을 확보할 수 있었지만, 가구 구조, 사회 활동 형태, 통신 환경 등이 급격히 변화하고, 특히 이미 완벽한 개인 대표성을 가진 통신 수단인 휴대전화가 100% 수준으로 보급된 사회에서, 개인 대표성이 희박하고 통신 도달율도 떨어지는 유선전화라는 수단을 굳이 여론조사에서 일정 비율 포함 시켜야 할 이유가 있냐는 것이다. 그리고 심지어 통계분석적 측면에서도, 유선전화 응답자와 무선전화 응답자라는, 대표성이 완전히 다른 두 모집단에서 도출된 별도의 통계들을 마치 하나의 모집단이었던 것처럼 산술적으로 합쳐서 계산한 뒤 결론내는 것이 과연 과학적인 방법이냐는 비판까지도 가능하다.
기본적으로 여론조사에서는 필수적으로 가중치 부가 작업이 등장한다. 이는 응답을 통해 나온 답변의 분포를 실제 세대별 인구 비와 비슷하게 조정해서 맞추는 과정을 말하는데, 일례로, 젊은 계층은 오전이나 낮 일과 시간에 여론조사 응답을 할 여유가 없는 경우가 일반적이므로, 대부분의 여론조사에서 20대에서 40대까지의 응답률은 적게 나오고, 중장년층의 응답률은 높게 나오는 경향성을 보인다.[61] 이렇게 다소간에 과다 표집이나 과소 표집이 된 결과를 갖고, 다시 세대별 인구 분포의 비율에 맞게 가중치나 가감치를 곱해서 실제 인구 분포에 맞게 맞추는 과정을 거쳐야 한다. 문제는 이런 가중치 부가 과정을 통해 결과적으로 유선 전화를 통해서, 또는 낮 시간에 표집되기 어려운 계층일수록, 전화에 적극적으로 응답한 사람들의 성향이 실제보다 뻥튀기 되어 실제보다 더 크게 대표 될 수도 있는 것이다. 이것이 이른바 유선전화 응답자의 '과잉 대표' 문제이다.
결론적으로, '유선전화 사용자'라는 모집단이 이미 편향된 성격을 띠고 있다면, 무작위 걸기(RDD, Random Digit Dialing)의 의미 자체가 사라지게 된다. 이 때문에 일련의 특정 여론조사에서 오랫동안 '유선전화 비율'을 일정하게 꾸준히 유지한다는 것 자체에서 문제가 발생할 수도 있다. 유선전화 보유자나 활용자들의 규모 자체가 2023년 현재 기준으로 최근 6~7년 정도 사이에 급격히 쪼그라든 상황에서, 유선전화 비율을 오랜시간 꾸준히 일정하게 유지한다는 것 자체가 여론 통계 왜곡의 직접적인 원인이 될 수 있기 때문이다. 다시 말해, 유선전화 보유율과 사용율이 해가 갈수록 급격히 하락하여 실질적 유선전화 단독 사용율이 사실상 0%로 수렴하는 상황에서는, 오랫동안 여론조사에서 유선전화의 절대적 비율을 똑같이 유지하는 것이 결과적으로 유선전화의 상대적 반영 비율을 계속 급격히 높이는 원인이 된다는 것. 예를 들면, 방송통신위원회에서 매년 발간하는 '방송매체 이용행태 조사' 보고서를 보면, 인터넷 전화를 포함한 2015년의 가구별 집전화 보유율은 55.1%로 조사되었으나, 2023년에는 18.3%로 조사되어 3분의 1토막 이하가 났으며, 보유율의 하락세 또한 매우 가파르다. 참고로 인터넷 전화를 제외한 순수한 '유선 전화' 회선 기준으로만 보면 39.5%에서 16.2%로 줄어들어, 역시 3분의 1 토막이 났다. 반면 같은 기간 개인의 휴대폰 보유율은 94.8%에서 99.3%로 뛰어 올라, 조사상의 통계적 오차범위를 감안하면 사실상 100% 수준에 도달했다. 다시 말해, 유선전화의 통신 커버리지 자체가 최근 몇 년 사이에 급격히 쪼그라들고 있다는 이야기인데, 이런 상황에서 오랫동안 전화 여론조사상의 유선전화 반영 비율을 일정 수준으로 꾸준히 유지하는 것이 과연 합리적인 조사 설계이냐는 것이다.
이런 이유들 때문에 유선전화를 활용해서 통신 접촉을 시도하면, 모집단 구성 자체에 크나큰 허점이 생기게 된다. 한정된 커버리지, 재택성향의 한계, 협소한 대표성, 모집단의 심각한 왜곡 등의 특성 때문에 일정한 접촉의 편향성을 띨 수밖에 없는 유선전화를 통한 통신 접촉 자체가 여론조사시 통계적 편향의 큰 원인이 될 수 있다는 결론이 자연스럽게 나오게 되는 것이다. 휴대전화가 점차 보급되며 통신 환경이 급변하기 시작한 2000년대 초반, 스마트폰이 빠르게 보급되기 시작한 2010년대 초반, 그리고 가구별 유선전화 보유율의 급락이 본격적으로 가시화 된 2010년대 중반, 이러한 몇몇 변혁의 시점을 거치며, 전화 여론조사의 주요 수단으로써의 유선전화 가치의 급락이 더욱 가시화 되었다고 볼 수 있다.
참고로 응답 왜곡 현상은 직업군 구분에서도 동일하게 나타난다. 만 18세에서 40대까지의 주된 사회 활동 계층을 대상으로 한 조사라고 해도, 유선전화일 경우에는 학생, 화이트 칼라 계층, 블루 칼라 계층 등의 응답이 현저히 떨어진다. 당연히 해당 연령층에서는 평소의 통신수단으로 유선전화를 활용하고 있는 비율도 사실상 무의미한 정도일 뿐더러, 설령 자택에 유선전화를 보유하고 있다고 하더라도 당연히 자신의 일과 시간이나 활동 시간에는 유선전화를 받을 수 없기 때문이다.[62] 이럴 경우에는 대신 상대적으로 집에서 유선전화를 수월하게 받을 수 있는 무직, 전업주부, 자영업 등의 계층의 응답이 같은 연령층에서도 대부분을 차지할 수 있게 된다. 보통 무직, 전업주부, 자영업 등은 정치적으로 보수적 성향을 보이는 계층인데, 따라서 유선전화 위주의 조사에서는 결과적으로 심지어 젊은층에서조차 보수적 응답이 과대 대표 될 수 있는 것이다. 실제 2023년 현재, 만 18세에서 60대까지의 연령대는 무선 휴대전화의 보유율이 사실상 100%라고 봐도 무방한 수준인데, 이런 세대를 대상으로 한 전화 여론조사에서 유선전화 접촉의 비율을 상당 수준으로 높여버린다면, 결과적으로 유선전화 응답자들에 대한 과잉 대표 문제가 발생할 수밖에 없다.
이 가중치 부가 작업은 때에 따라서는 거주지역, 직업군, 정치성향 등에서도 이뤄지긴 하지만, 대체로 성별, 세대별 인구 보정이 기본이다. 따라서 응답한 결과와 실제 인구비의 폭이 너무 커서, 전화에 응답한 무직, 가정주부, 자영업인 젊은 사람 1명의 응답이 그 연령대 응답층에서 너무 많은 영향을 끼치게 될 수도 있다. 다시 말해 통신 환경 자체가 변화한 현대에서는 유선전화 위주의 조사 자체가 여론조사를 보수 편향적으로 왜곡하는 결과를 낳을 수도 있는 것이다.
다시 말해, 위에서 서술된 바와 같이 2023년 현재 개인별 휴대전화 보유율이 사실상 100% 수준을 기록한 한국 상황에서, 80대 미만의 투표 의향층의 경우에는 휴대폰이 없는 사람은 사실상 없다고 봐도 무방하다. 이런 현실을 감안하여 전국단위 조사에서 휴대전화 100% 조사를 수행하는 것이 합리적이라는 의견이 대부분이며, 실제 2023년 현재 기준 전국단위 전화 여론조사들은 절대 다수가 휴대전화 100% 방식으로만 수행되고 있다. 선관위의 중앙선거여론조사 심의위원회 홈페이지를 참고해 보면, 2023년 현재 기준 주간 또는 격주간으로 여론조사를 수행하여 발표하는 곳인 한국갤럽, 전국지표조사,[63] 여론조사꽃 등이 모두 휴대전화 안심번호 100%로만 조사하고 있다. 그리고 KBS, MBC, SBS 등의 지상파 방송국과 손잡고 간헐적인 조사를 수행하는 한국리서치나 코리아리서치의 경우에도 전국단위 여론조사에서 휴대전화 안심번호 100%로만 조사를 진행하고 있다. 리얼미터의 경우에도 2022년부터 주간 정례조사의 유선전화 반영 비율을 과거 10~15% 수준에서 아예 3%로 정도로 크게 낮췄다.
참고로 과거 휴대전화 보유율이 다른 세대에 비해 상대적으로 낮았던 70대 이상 노년층에서조차 최근 들어 무선전화 보유율이 급격히 높아지는 추세를 보이고 있으므로, 앞으로는 일정 비율의 유선전화가 들어간 여론조사보다는 무선전화 100% 여론조사 위주로 더욱 중점적으로 이뤄질 가능성이 높다. 실제로 전국단위 전화 여론조사들이 무선전화 100%로 수행되는 경우가 대부분이기 때문에, 아예 유선전화 비율이 일정부분 이상 포함된 조사는 유선전화 비율 만큼 보수층 과다 대표를 감안해서 결과를 해석해야 한다는 주장이 많아지고 있다.
한편 농촌 지역에서 전화 여론조사를 수행할 때는 보수 정당의 조직력과 노년층 위주의 유권자 분포를 감안해서 유선전화의 비율이 일정 수준 이상 정도는 되어야 유권자들의 표심을 충분히 잡아낼 수 있다는 주장도 일부 존재한다. 참고로 방송통신위원회에서 발표한 '2023 방송매체 이용행태 조사' 기준으로 보면, 가구별 일반전화 보유율이 30% 내외 수준이 되는 세부 응답층은 70대 이상 연령층[64], 군(郡)단위 지역 거주 가구[65] 계층 둘 뿐이다. 그러나 2023년 현재는 80대 미만의 연령층, 또는 실질적 투표 의향층에서는 개인별 휴대전화 보유율이 사실상 100%인 상황이고, 심지어 전통적 통신 취약 계층인 70대 이상의 고령층에서조차 휴대전화 보유율이 95.6%로 조사되었으며, 군(郡)단위 지역 거주 가구 구성원의 경우에도 개인의 휴대전화 보유율이 98.3%로 조사되었고, 특히 매년 고령층의 휴대전화 보유율 또한 지속적으로 높아지고 있므로, 굳이 그렇게까지 유선 비율을 높일 필요는 없다는 반론도 제시되고 있다.
다시 말해, 유선전화 보유율이 높다고 도출된 세부 계층인 군(郡)단위 지역 거주자 및 70대 이상 연령층에서도 이미 개인별 휴대전화 보유율이 95%를 초과한 수준에 도달했고, 특히 70대 이상 고령층 중에서 휴대전화 보유 인구에서 제외되는 경우는, 오랜 중병으로 인해 병원에 장기간 입원 중이거나, 실질적으로 임종을 준비하는 경우 정도에만 해당될 것이라는 추론이 가능한 상황이라는 것이다. 다시 말해 비록 70대 이상의 고령층이라고 하더라도, 보통의 일상을 영위하는 개인들의 경우에는 실질적으로 휴대전화를 100% 수준에서 보유하거나 활용하고 있다는 뜻이 된다. 이런 상황이니 굳이 고령층이라고 해서 유선전화를 해당 계층에 대한 주요 통신 접촉 수단으로 활용할 필요는 없다는 결론이 자연스럽게 나오게 된다.
참고로 중앙여론조사심의위원회에서는 2022년부터 선거 여론조사에서 유선전화 비율을 되도록 40% 미만으로 수행할 것을 권고하고 있으므로, 앞으로 농촌 지역의 선거 여론조사에서조차 유선전화 비율은 점차 줄어들 전망이다.
3.2.4. 장노년층 응답자가 전화 받으면 여론조사기관이 끊어버린다? (X)
틀린 말이다. 유선전화는 장노년층의 참여가 훨씬 많을 수밖에 없고, 젊은 층들은 유선전화 휴대전화를 막론하고 여론조사 전화를 잘 받지 않는다. [66] 그래서 가중치 부가 작업을 수행하지만, 부가하는 가중치에도 한계가 있다. 참고로 2019년 10월부터 시행된 선거여론조사 기준 사항을 보면, 가중치는 최대 1.5배, 최소 0.7배까지만 줄 수 있다. 예를 들면, 20대를 150명 조사해야 한다면 최소한 100명 정도는 조사를 완료해야 응답자 1명 당 너무 큰 대표성을 갖게 되는 걸 막을 수 있다. 또한 60대를 200명 조사해야 한다면 최대 286명까지는 조사해도 되지만, 가중치 기준을 넘어 굳이 300명까지 계속 조사할 필요는 없다는 것이다.청년층과 중년층의 경우에는 일과시간에는 집 전화는 아예 받지 못하고, 심지어 휴대전화가 온다고 해도 쉽게 받기가 힘들다. 학교나 직장에서 공부나 일을 하는 경우가 많기 때문이다. 이런 저런 이유 때문에 당연히 상대적으로 60대 이상 노년층이 목표하는 표본을 채우는 속도가 빠르므로, 다른 세대 조사에 필요한 표본 수를 채우기도 전에 먼저 표본이 차버리는 경우가 대부분이고, 이럴 때는 60대 이상의 표본 채집은 중지하고 다른 세대 위주로 조사하게 된다. 그래서 자신이 60대 이상이라면, 여론조사 전화를 받고서 연령대를 응답하자마자 "선생님은 조사 대상이 아닙니다"라는 안내 멘트와 함께 조사가 중단되는 경우를 자주 겪게 되는 것이다. 장노년층을 일부러 여론조사에서 배제하려는 것이 아니라, 표본 구성 과정에서 자연스럽게 발생하는 현상이다.
3.2.5. 표본 수가 1,000명으로 적어서 의미가 없다? (X)
기본적으로 틀린 말이다. 이러한 말은 기본적으로 통계와 확률에 대한 이해 부족에서 비롯된다. 표본이란 건 당연히 크면 클수록 좋기 마련이라, 1,000명 표본을 가지고 아무리 여론조사를 잘해도 표본 수가 압도적으로 많은 출구 조사에 비해서는 정확도가 떨어질 수밖에 없다지만 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제하에 1000명 이상의 여론조사는 보통의 여론조사에서 매우 많은 조사인원이다.표본 추출 작업만 잘 되었다면 1000명 정도면 모집단의 수와 무관하게 충분히 의미 있는 결과를 내고도 남기 때문이다.[67] 여론조사 전문가들은 "국을 끓일 때 모든 국물을 다 마셔보지 않아도, 한 숟가락만 먹어 보면 국의 간을 알 수 있다. 다만 국이 잘 섞여있어야 한다"는 비유를 들어 설명한다. 여론조사의 표본 구성이 충분히 무작위로 잘 되었고,[68] 조사의 과정이 정상적으로 잘 이뤄지기만 했다면, 표본 1000명 정도는 조사 결과 도출에 충분하다는 것이다. 일례로 인구가 3억 명이 넘는 미국에서도 정치&선거 여론조사를 할 때 1000명 내지는 1200명 또는 1600명 조사를 대부분 시행한다. 심지어 800명 표본의 전국 단위 조사를 수행하는 경우도 있다.[69]
지역 단위의 조사라면 더 적은 인원으로도 충분하다. 국회의원 지역구, 또는 지방자치단체에 한정된 조사에서는 500명이나 800명 정도 표본의 조사도 얼마든지 진행한다.[70]
물론 이는 어디까지나 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제 하에 잘 되었다는 말이지, 이 작업을 제대로 하지 못하면 신뢰할 수 없는 결과가 나오기도 한다. 단순히 1000명을 뽑았다고 해서 해당 여론 조사가 다 잘 되었다고 하기는 어렵다. 사람은 전국 단위까지 가면 성별, 연령대, 지역, 직업, 경제력 등의 다변수로 구성되어있기 때문에 국처럼 잘 섞어준다는 게 매우 어렵다. 그러나 이러한 사실은 대학교 1학년 통계학 기초 수업만 들어도 배우는 내용이기 때문에 언론이나 리서치 회사와 같이 여론조사에 이골이 나 있는 집단은 이러한 사실을 매우 잘 알고 있어서 이를 당연히 층화표집으로 추출해서 조사한다. 표본 추출 작업이 잘 이루어져야 한다는 말은 공신력이 없는 기관이나 단체에서 1000명이란 숫자를 내세운다고 무작정 믿을 수 없다는 말이지, 전문 여론기관의 신뢰도를 의심할 필요는 없다는 말이다.
3.2.6. 특정 정당의 지지층만이 주로 응답한다? (X)
틀린 말이다. 한국갤럽을 비롯한 여론조사 업체들은 "과거로부터 설문조사에서는 대체로 당선자를 더 많이 응답하는 경향이 있다. 몇 년 전 당선되어 현직에 있을 공직자에 대한 현재의 생각이 반영되기도 하고, 과거 낙선한 후보에게 투표했다는 사실을 밝히고 싶지 않은 경우도 배제할 수 없다."라고 반박한다. 일례로 투표 의향 조사에서 '투표 하겠다'는 응답이 80%가 넘게 나와도 실제 투표율은 60% 남짓 나오는 것처럼, 그런 과거 투표에 관한 답변을 근거로 결과를 억지로 보정하면 되려 현재의 여론을 더 왜곡하게 된다는 것이다. 또한 칸타코리아 이양훈 이사는 "현직 대통령을 찍었다고 응답하는 비율이 높은 건, 실제 선거에선 다른 후보를 뽑고도 승리한 쪽을 찍었다고 응답하는 응답자들의 경향이 일부 반영됐을 가능성이 있다"고 지적하기도 했다. 사실 알고 보면 이러한 현상은 진보 정부 시기의 조사나 보수 정부 시기의 조사나 할 것 없이 늘 비슷하게 나타난다. 실제 과거 박근혜 정부 시기에도 전화 여론조사를 하면, 과거 2012년 제18대 대선 때 박근혜 후보에게 투표했다고 응답하는 비율이 실제 당시의 박근혜 후보 득표율보다 반드시 높게 잡히기도 했다.이런 현상은 한국뿐 아니라 다른 나라들에서도 1940년대부터 나오던 현상이며, 과거의 선택을 기억해서 응답하는 '회상 조사'에서 나타나는 일반적인 승자 편중 현상이라고 한다. 심지어는 기억의 기준이 되는 과거의 특정한 선거일로부터 멀어질수록 그런 경향이 강해진다는 것이다. 따라서 과거 투표 이력에 관한 응답 내역은 어떠한 조사의 정확성을 판단하기에는 그리 적합한 지표는 아니라고 할 수 있다.# 실제로 2018년 제7대 지방선거 당시의 출구조사를 보면, 바로 직전의 전국 선거인 2017년 제19대 대선 당시 문재인 후보에 투표했다고 응답한 비율이 실제 당시의 문재인 후보 득표율보다 더 크게 집계되었음을 확인할 수 있다. 가장 정확하고 직접적인 방식의 대면조사인 출구조사에서 조차 보통의 전화 여론조사와 마찬가지로 '편승 효과'가 발생했던 것이다.
3.3. 여론조사 표본 편의 및 불법 여론조사
이전부터 논란이 되던 사안인데 2018년 9월 12일 노컷뉴스의 보도로 공론화되고야 말았다. 마침 기자한테 여론조사 전화가 왔는데 조사원이 횡설수설하다가 일방적으로 전화를 끊어버린 것이다. 그리고 해당 여론조사 업체는 정식으로 등록된 대한민국의 여론조사 업체가 아니었다. 사실상 불법 여론조사인 것.3.4. 주의할 점
여론조사 결과를 보면 흔히 마지막에 "신뢰 수준 95%에 오차범위 ± a%p"라 나오는데 두 응답의 격차가 'a'의 2배가 아닌 이상 뒤집어질 가능성이 어느 정도는 존재한다고 봐야 한다.예를 들어 A 지방에서 대통령 B에 대한 호불호를, 신뢰도 95%에 오차범위 ±3.1%p로 조사했다고 가정하자. 만약 조사 결과가 '잘했다 42% vs 못했다 40%'라면 어느 쪽이 앞선다고 말할 수 없다. 왜냐하면 격차가 2%p로 오차범위의 2배(3.1%p*2=6.2%p)보다 작기 때문이다. 위 조사 결과를 정확하게 표현하면 '잘했다 42%(±3.1%p) vs 못했다 40%(±3.1%p)'이기 때문에, 극단적인 경우 '잘했다 38.9% vs 못했다 43.1%'가 모집단의 여론일 수도 있다.
만약 '잘했다 55% vs 못했다 35%' 이렇게 나왔다면 잘했다고 생각하는 사람이 못했다고 생각하는 사람보다 많다고 말해도 된다. 왜냐하면 두 응답의 격차는 20%p로 오차범위의 2배(3.1*2=6.2)보다 크기 때문이다.
더 나아가 같은 기관으로 같은 방법으로 조사한 두 조사 결과를 비교할 때도 주의가 필요하다. 서로 다른 방법으로 조사하면 당연히 비교할 수조차 없다. 이 경우 둘 다 같은 오차범위 ±a%p일 때 결과의 차이가 a의 1.4배[71]조사된 확률 자체의 영향도 받는데, 보통 최대 오차범위만 공표하므로 이렇게만 알아 둬도 된다. 더 자세한 상황에 대해서는 이 글이 도움이 될지도...] 이상이어야 의미가 있다. 절대로 a만큼 차이나면 되는 게 아니다.
선거 출구조사때 '접전' 또는 '경합'이라는 표현을 쓰는게 바로 두 응답의 격차가 작아 누가 이긴다고 장담을 못한다는 뜻이다.
여론조사를 실시하는 곳은 생각보다 많다. 특히 선거철이 되면 네임드 여론조사 기관 외에도 온갖 잡다한 언론, 조사 기관들이 여론조사를 실시하고 이를 공표한다. 그리고 이 경우 조사기법의 차이나 여론조사 기관 자체의 한계, 부동층 등의 영향으로 선거 막판이 아닌 이상 각 기관들의 결과치가 들쭉날쭉 할 수밖에 없다. 그러므로 여러 기관들의 조사 결과 하나하나에 의미를 과도하게 부여하는 것은 적절치 못하다. 각 기관들의 결과 변화 추이를 위주로 추세를 살피는 것이 여론조사를 잘 읽는 방법 중 하나라고 볼 수 있겠다.
4. 여론조사 회사는 무엇으로 돈을 버는가?
일반 사람들이 접하는 여론조사는 대부분 정치나 선거 관련 여론조사 정도인지라, 언론에 발표되는 대통령 국정 수행 지지도나 정당 지지도, 혹은 선거 때의 후보 지지도 조사 정도로 돈을 번다고 생각할 수도 있다. 물론 선거 시즌이 여론조사 회사들의 대목인 것도 맞다. 그러나 여론조사 회사들의 주 수입원은 정치나 선거 조사가 아니다. 여론조사 업계 매출 기준으로 보면, 정치 관련 여론조사는 전체 매출의 많아야 20% 남짓 수준에 불과하다.규모가 큰 여론조사 회사들은 중앙 정부나 지방 정부, 공공기관 등에서 발주하는 정책 관련 의식 조사, 정치인 개인이 의뢰하는 정책 관련 조사, 공기업이나 각종 일반 기업들의 시장 조사, 다양한 형태의 소비자 조사 등을 수주받아 수행하면서 훨씬 더 큰 매출을 올린다. 또한 언론 매체 관련 인식 조사, 라디오 청취율 조사, 신문이나 방송의 열독률 조사 등의 미디어 관련 조사들도 주요한 수입원이다.[72] 일례로 정책 관련 조사들은 면접 조사가 기본이고, 표본의 규모도 3000에서 5000 정도를 넘나드는 경우가 많은지라 기본적인 비용이 많이 든다. 특히 패널 면접 조사나 포커스 그룹 심층 인터뷰 같은 대면조사의 경우에 특히 단가가 높다. 보통 여론조사 업체가 받는 여론조사의 비용은 대면 조사의 경우에는 1명당 3만 원 이상, 전화면접 조사의 경우에는 1만 원 이상, ARS 조사의 경우에는 3000원 이상으로 알려져 있다.[73] 물론 이 단가는 여론조사 업체가 외부에 청구하는 가격이고, 여론조사 업체가 자체 조사를 수행할 경우의 원가는 더 낮다. 그리고 특정 언론사, 또는 기관와 일정 기간 동안의 지속적인 여론조사 계약을 맺은 경우는 의뢰자와의 협상에 따라 전체적인 단가가 많이 낮아지기도 한다. 이런 가격 협상도 의뢰자나 회사의 규모에 따라서도 천차만별인데, 매출 규모가 작은 인터넷 언론사 또는 소규모 지방 언론사의 의뢰로 수행되는 ARS 선거 여론조사의 경우에는 대부분 회당 몇 십 만원 수준의 덤핑 가격에 수행된다고 알려져 있다.[74]
다시 말해 정치나 선거 관련 여론조사보다는 언론에 소개되지 않는 다른 여러 조사의 경우 매출 기여도가 훨씬 더 크다. 참고로 여론조사 업체들이 매주, 혹은 매달 정기적으로 발표하는 정치나 선거 관련 여론조사는 회사의 신뢰도나 인지도를 높이기 위해 수행되는 측면이 많다. 선거와 관련 없는 조사들로 매출을 올리는 경우는 그나마 공신력 있고 규모도 있는 메이저 업체들의 사정이고, 그 밖에 대부분의 영세한 여론조사 업체들의 경우에는 국회의원 선거나 지방선거처럼 선거에 나서는 후보들이 전국적으로 쏟아지는 시즌에 잠깐 여론조사로 매출을 한 몫 챙긴 후에 선거가 없는 시즌을 견딘다. 이를테면, 일부 영세한 언론사들이 비슷한 처지의 영세 여론조사 업체와 손잡고 여론조사를 수행하는 경우가 많다.
일부 회사들의 경우엔 선거 컨설팅이나 정치 브로커 행위를 결합해서 돈을 버는 경우도 드물지만 있다. 물론 컨설팅을 전문으로 수행하는 업체에서도 자체적으로 선거 여론조사를 수행하곤 하지만, 여기는 어디까지나 컨설팅 작업에 포함되는 부가서비스 경우인 반면[75], 여론조사 전문 업체에서 선거 시즌 때 반짝 정치 컨설팅을 표방하는 경우에는 그야말로 선거 대목 맞이 매출 땡기기인 경우이다. 이런 것들 중에서 가장 부정적인 형태는 음지에서 활동하는 정치 브로커가 지역의 여론조사 업체와 연관된 경우이다. 지역 정가에서 활동하는 몇몇 브로커들이 자신의 고객에게 유리한 여론조사를 돌린 후, 영세한 지역 언론과 손잡고 보도를 내보내서 특정 정당이나 특정 후보를 띄워 올리는 일도 있다.
5. 선거 전 여론조사 공표 금지기간은 적정한가?
의 찬반론 부분을
참고하십시오.6. 선거여론조사심의위원회
제8조의8(선거여론조사심의위원회) ① 중앙선거관리위원회와 시·도선거관리위원회는 선거에 관한 여론조사의 객관성·신뢰성을 확보하기 위하여 선거여론조사심의위원회를 각각 설치·운영하여야 한다.
―공직선거법
―공직선거법
여론조사 중 정치적인 이슈를 다루는 것은 조사 의뢰자나 조사 설계, 설문 항목의 내용 등에 따라 결과가 크게 달라지는 경향이 있다. 신뢰도가 낮은 여론조사들이 언론에 무분별하게 공표되었을 경우에는 오히려 여론이나 선거 구도에 악영향을 끼치게 될 수도 있으므로, 일정한 규제를 통해 선거 관련 여론조사를 관리하도록 하게 되었다. 이에 공직선거법 제8조의 8에 따라, 중앙선거관리위원회와 시·도선거관리위원회 산하에 독립기구인 선거여론조사심의위원회를 두어 선거여론조사기준을 공표함과 더불어 그 결과를 중앙선거여론조사심의위원회 홈페이지에 등록하도록 하고 있다. 줄여서 '여심위'라고도 한다.
선거 관련 여론조사를 여심위 홈페이지에 등록하기 위해서는 선거여론조사의 명칭, 조사의뢰자, 선거여론조사기관, 조사지역, 조사일시, 조사대상, 조사방법, 표본의 크기, 피조사자 선정방법(휴대전화 가상번호 사용 시 그 사실 및 사용비율 포함), 피조사자 접촉 현황(비적격 사례수는 결번과 그 외의 비적격 사례로 구분하여 등록), 접촉률, 응답률, 가중값 산출 및 적용 방법, 표본오차, 전체 질문지, 결과분석(지지도 결과는 모두 등록), 최초 공표 및 보도 예정일시의 요건을 빠짐 없이 기입해야 하며, 조사 설문지의 원본과 통계 처리 결과 및 세부 내역을 모두 제출하여 공개해야 한다. 따라서 적어도 이곳에 등록되어 언론에 공표되는 여론조사들은 그나마 최소한의 기준에 맞추어서 선거 관련 여론조사를 수행하였다는 뜻이다. 한편 기본적인 요건을 갖추지 않았거나, 편향된 설문지를 활용한 것으로 드러났을 경우에는 선관위에서 해당 여론조사의 언론 공표를 금지하거나, 해당 업체에 과태료를 부과하는 등의 행정 처분을 하기도 한다.
참고로 표본 추출 작업, 가중치 부가 작업을 어떻게 했는지의 자료도 첨부하고 있으므로 선관위 여심위 홈페이지에서 확인할 수 있다. 위의 설명과 같이 기본적인 여론조사의 설계 요소들은 당연히 나와있고, 여론조사의 질문 내용과 구성 등 언론 보도에는 자세히 설명되지 않는 상세한 자료들도 공개되어 있다.
선거여론조사심의위원회에 등록하지 않고도 정치 관련 여론조사를 수행하여 언론에 발표할 수는 있다. 이런 경우는 정당이나 정당 소속 후보의 지지도를 조사하지 않고, 대통령 국정 수행 지지도나 몇몇 특정 이슈만 조사하여 발표하는 경우이다. '알앤써치'가 이런 식으로 선관위에 등록하지 않은 채로 매주 정례조사를 수행한다. 당연히 이런 조사들은 위에서 언급된 여론조사의 기본 요건들에 대한 최소한의 신뢰성을 담보하기 힘든 경우라고 볼 수 있다.
그러나 2020년 10월부터 이런 비판을 의식하여 데일리안-알앤써치 여론조사도 중앙선거관리위원회 산하 중앙선거여론조사심의위원회에 1개월에 한 번씩 결과를 등록하고 있다. 중앙여론조사심의위원회에 여론조사 결과를 등록하기 위해서는 정당지지율을 조사해야 하는데, 데일리안은 정당지지율을 1개월에 한 번만 시행하기 때문에 정당지지율 조사하지 않는 주차는 등록여론조사를 할 수 없다고 항변하였다.
6.1. 선거여론조사의 공표와 보도
공직선거법 제96조(허위논평ㆍ보도 등 금지) ① 누구든지 선거에 관한 여론조사결과를 왜곡하여 공표 또는 보도할 수 없다.
제108조(여론조사의 결과공표금지 등) ①누구든지 선거일 전 6일부터 선거일의 투표마감시각까지 선거에 관하여 정당에 대한 지지도나 당선인을 예상하게 하는 여론조사(模擬投票나 人氣投票에 의한 경우를 포함한다. 이하 이 條에서 같다)의 경위와 그 결과를 공표하거나 인용하여 보도할 수 없다.
⑥누구든지 선거에 관한 여론조사의 결과를 공표 또는 보도하는 때에는 선거여론조사기준으로 정한 사항을 함께 공표 또는 보도하여야 하며, 선거에 관한 여론조사를 실시한 기관 ㆍ단체는 조사설계서ㆍ피조사자선정ㆍ표본추출ㆍ질문지작성ㆍ결과분석 등 조사의 신뢰성과 객관성의 입증에 필요한 자료와 수집된 설문지 및 결과분석자료 등 해당 여론조사와 관련있는 자료일체를 해당 선거의 선거일 후 6개월까지 보관하여야 한다.
⑦ 선거에 관한 여론조사 결과를 공표ㆍ보도하려는 때에는 그 결과의 공표ㆍ보도 전에 해당 여론조사를 실시한 선거여론조사기관이 선거여론조사기준으로 정한 사항을 중앙선거여론조사심의위원회 홈페이지에 등록하여야 한다. 이 경우 선거여론조사기관이 제3자로부터 의뢰를 받아 여론조사를 실시한 때에는 해당 여론조사를 의뢰한 자는 선거여론조사기관에 해당 여론조사 결과의 공표ㆍ보도 예정일시를 통보하여야 하며, 선거여론조사기관은 통보받은 공표ㆍ보도 예정일시 전에 해당 사항을 등록하여야 한다.
제108조(여론조사의 결과공표금지 등) ①누구든지 선거일 전 6일부터 선거일의 투표마감시각까지 선거에 관하여 정당에 대한 지지도나 당선인을 예상하게 하는 여론조사(模擬投票나 人氣投票에 의한 경우를 포함한다. 이하 이 條에서 같다)의 경위와 그 결과를 공표하거나 인용하여 보도할 수 없다.
⑥누구든지 선거에 관한 여론조사의 결과를 공표 또는 보도하는 때에는 선거여론조사기준으로 정한 사항을 함께 공표 또는 보도하여야 하며, 선거에 관한 여론조사를 실시한 기관 ㆍ단체는 조사설계서ㆍ피조사자선정ㆍ표본추출ㆍ질문지작성ㆍ결과분석 등 조사의 신뢰성과 객관성의 입증에 필요한 자료와 수집된 설문지 및 결과분석자료 등 해당 여론조사와 관련있는 자료일체를 해당 선거의 선거일 후 6개월까지 보관하여야 한다.
⑦ 선거에 관한 여론조사 결과를 공표ㆍ보도하려는 때에는 그 결과의 공표ㆍ보도 전에 해당 여론조사를 실시한 선거여론조사기관이 선거여론조사기준으로 정한 사항을 중앙선거여론조사심의위원회 홈페이지에 등록하여야 한다. 이 경우 선거여론조사기관이 제3자로부터 의뢰를 받아 여론조사를 실시한 때에는 해당 여론조사를 의뢰한 자는 선거여론조사기관에 해당 여론조사 결과의 공표ㆍ보도 예정일시를 통보하여야 하며, 선거여론조사기관은 통보받은 공표ㆍ보도 예정일시 전에 해당 사항을 등록하여야 한다.
조사결과 공표·보도 관련 제도 안내
선거여론조사의 공표는 보도자료를 배포하거나, 선거홍보물을 게시하고, 문자메시지, SNS, 인터넷 게시 등을 통해 조사 결과를 기타 불특정 다수의 선거구민에게 전파하는 것을 의미하며, 선거여론조사 결과가 기사화될 것을 예상하여 기자와 나눈 대화 등도 여기에 포함된다.
기본적으로 선거여론조사 결과를 왜곡하는 것은 금지되며, 중앙선거여론조사심의위원회 홈페이지에 등록되지 않은 선거여론조사 결과를 공표 · 보도하는 것, 해당 여론조사를 관할하는 심의위원회가 위법하다고 결정한 선거여론조사결과 공표 · 보도하는 것 또한 금지된다.
그리고 정당 또는 후보자가 실시한 선거여론조사, 심의위원회로부터 고발되거나 이 법에 따른 여론조사에 관한 범죄로 기소된 선거여론조사기관이 실시한 선거여론조사(불기소처분, 무죄 판결 확정 시에는 가능), 선거여론조사기관이 아닌 여론조사기관‧단체가 실시한 선거여론조사에 대해서는 해당 선거일의 투표마감 시각까지 공표 또는 보도할 수 없다.
또한 위의 조건을 모두 만족하는 선거여론조사를 공표하거나 보도할 때에도 다음과 같은 사항을 함께 공표 · 보도하여야 하며, 이를 지키지 않을 경우 3천만원 이하의 과태료가 부과될 수 있다.
| 선거여론조사기준 | |
| 최초 공표 · 보도 | ① 조사의뢰자, ② 선거여론조사기관, ③ 조사지역, ④ 조사일시,⑤ 조사대상, ⑥ 조사방법, ⑦ 표본의 크기, ⑧ 피조사자 선정방법(휴대전화 가상번호 사용 시 그 사실 및 사용비율 포함), ⑨ 응답률, ⑩ 가중값 산출 및 적용 방법(DB, 패널 등 특정 표본추출틀 사용 시 전체 규모와 구축방법 포함), ⑪ 표본오차, ⑫ 질문내용 |
| 인용 공표 · 보도 | ① 조사의뢰자, ② 선거여론조사기관, ③ 조사일시, ④ 그 밖의 사항은 중앙선거여론조사심의위원회 홈페이지 참조 |
마지막으로, 선거일 전 6일부터 선거일의 투표마감시각까지 해당 선거에 관하여 정당에 대한 지지도나 당선인을 예상하게 하는 여론조사(모의투표 · 인기투표 포함)의 경위와 그 결과를 공표하거나 인용 보도하는 것도 금지된다.
인터넷 커뮤니티 및 SNS 활동이 활발히 이루어지면서 선거여론조사와 관련해 일반인들이 곧잘 위반하는 것이 바로 공직선거법 제108조 제6항이다. 별거 아닌 것처럼 보여도, 위 사항을 준수하지 않은 게시물은 선거관리위원회의 조치 대상이 된다. 모범이 되는 것은 역시 언론 기사이며, 선거여론조사결과를 인용 공표 · 보도하는 언론 기사를 보면 반드시 ○○ 의뢰로(조사의뢰자), ○○~○○일(조사일시), ○○가 실시한(선거여론조사기관), 자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다(그 밖의 사항). 등을 확인할 수 있다.
7. 여론조사업체 (가나다순)
| {{{#!wiki style="margin: 0 -10px -5px; min-height: calc(1.5em + 5px)" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -5px -1px -11px" | | | | |
| 칸타코리아 | 한국리서치 | 입소스 | 엠브레인퍼블릭 | |
| | | 파일:리얼미터 로고.png | | |
| 한국갤럽 | 코리아리서치 | 리얼미터 | 전국지표조사 | |
| | | |||
| 한길리서치 | 여론조사꽃 | |||
| ※ 순서는 나무위키에 문서가 있는 여론조사기관 중 매출액 순 | ||||
- 글로벌리서치[76]
- 넥스트리서치[77]
- 리서치뷰[78]
- 리서치앤리서치[79]
- 리얼미터
- 메트릭스 코퍼레이션[80]
- 미디어리서치
- 알앤써치
- 엠브레인퍼블릭[81]
- 여론조사공정[82]
- 여론조사꽃
- 윈지코리아컨설팅[83]
- 입소스[84]
- 조원씨앤아이
- 칸타코리아
- 케이스탯리서치[85]
- 코리아리서치인터내셔널[86]
- 피플네트웍스(PNR)[87]
- 한국갤럽[88]
- 한국리서치[89]
- 한국사회여론연구소(KSOI)
- 한길리서치[90]
여론조사를 실시하는 곳은 생각보다 아주 많다. 2024년 9월 현재 기준, 중앙선거여론조사심의위원회에 정식으로 등록된 업체만 5~60 곳이나 된다. 여심위에 등록되지 않은 업체들까지 포함하면 백 수십 곳이 넘는다고 알려져 있다. 과거에는 여심위의 여론조사 업체 등록 기준이 낮았던 탓에 백 곳이 넘는 등록 업체가 있었지만, 2023년 말을 즈음하여 여론조사 업체 등록 기준이 대폭 까다로워진 후에는 대략 5~60 곳 정도로 조정 되었다.
2024년 현재 기준, 오랫동안 주간 정례 조사를 발표해 온 기관으로는 한국갤럽, 리얼미터, 뉴스토마토 산하의 미디어토마토, 여론조사꽃 정도를 꼽을 수 있다. 지상파 방송국 세곳과 손잡고 오랫동안 여러가지 여론조사를 수행해 오고 있는 기관은 한국리서치, 코리아리서치, 입소스 세 군데이다.[91]
이름 없는 여론조사 기관들의 경우에는 선거철에만 반짝 나타나 신뢰하기 힘든 여론조사를 실시하거나,[92] 공신력 없는 언론사와 손을 잡고 이를 마구 공표하는 경우도 많다. 이를 보통 '떴다방'이라고 하는데, 특히 선거철마다 갑자기 개업했다가 반짝 영업한 뒤 금세 사라지는 곳들이 매우 많다. 심지어 과거 한때 유선 100% ARS 조사처럼 돈도 거의 들지 않고 신뢰도 또한 낮은 조사를 덤핑으로 시행하여 막무가내로 발표하거나, 아예 여론조사 업체 스스로 인터넷 언론이나 그럴듯한 기관을 하나 차린 후에 해당 언론이나 기관 의뢰로 시행했다면서 믿지 못 할 여론조사를 발표하는 경우도 꽤 많았다. 그러나 여전히 지역의 영세한 여론조사 업체들이 선거 브로커를 끼고 특정 후보나 정당의 정치적 이익을 위해 반짝 조사를 하고 발표를 하면서 언론 플레이를 하는 경우는 지금도 많다. 최근엔 유선 100% 조사가 불가능해졌기 때문에, 무선 100% ARS를 RDD 방식으로만 수행하는 방법으로 선회했는데, 놀랍게도 심지어 하루짜리 날림 조사를 수행해서 납품하는 업체도 심심찮게 나오는 형편이다.[93]
참고로 국내에서 사회조사를 수행하는 조사 회사 중 매출액 기준으로 가장 규모가 큰 5개의 기업은 칸타코리아, 한국리서치, 입소스, 한국갤럽, 엠브레인퍼블릭이 있다. 이 중에서도 칸타코리아의 규모가 가장 크고 한국리서치와 입소스 정도가 다음 가는 규모이다. 보통 이렇게 세 업체가 업계 매출의 선두 그룹을 구성하고 있으며, 다른 업체들은 연 매출 상황에 따라 3~10위권 내에서 그때 그때 매출 순위가 바뀐다. 최소한 매출규모 10위권 정도까지는 선거 여론조사 뿐만 아니라, 기업들의 시장 조사나 각종 기관 및 지자체에서의 정책 조사를 통해 매출을 올리는 마지노선이라고 보면 된다.[94]
그 이외에 이름이 잘 알려지지 않은 여론조사 업체들은 매출 규모가 대체로 영세하다. 심지어 심각하게 영세한 업체들 중에는 선거가 없는 해에는 일년 내내 사장 혼자 사무실 정도만 유지하며 버티는 수준의 업체가 상당수이며, 선거철 이전에 반짝 계약직 사원 한 두명을 채용하여 한 철 장사를 하는 경우도 많다. 2023년 이후로는 여심위의 여론조사 회사 등록 기준이 까다로워져서 어려워진 방법이지만, 심지어 예전에는 폐업했다가 선거철 직전에 간판만 바꿔서 다시 재개업하는 회사도 상당히 많았다.[95]
7.1. 기타
- 메타S : SBS와 지식 콘텐츠 스타트업 Underscore가 만든 "상태공간모형 기반의 여론조사 지표"를 제공하는 심층여론지수 플랫폼.
- 전국지표조사 - 통칭 NBS. 한국리서치, 코리아리서치, 케이스탯리서치, 엠브레인퍼블릭 4개의 여론조사업체가 로테이션으로 여론조사를 수행하고 있다.
- 파이브서티에이트 : 미국의 통계학자 네이트 실버와 ABC 뉴스가 운영하는 정치 통계 사이트.
- MBC 여론M : 서울대학교 국제정치데이터센터가 MBC와 협업하여 통계기법을 통해 현 시점의 가장 신뢰도 높은 여론조사 값을 추정한다. 해당 단체에서 직접 여론조사를 시행하는 것은 아니고, 국내의 여론조사들을 종합하는 메타 분석 방식이다.
8. 관련 문서
- 출구조사
- 질문지법
- 자료수집
- 공직선거법 제108조 제1항 - 이른바 '여론조사 깜깜이 기간'
[1] Focus Group Interview(FGI)라고 한다.[2] 참고로 국제적으로 이뤄지는 국가별 인식 조사는 기본적으로 전화면접 방식으로 진행된다. 따라서 이러한 인구조사(센서스, Census) 분야의 경우에는 국제적으로 전화면접 조사만 활용한다.[3] 이 때문에 전화면접을 활용한 선거 여론조사에서는 샤이 보수나 샤이 진보의 응답이 잘 잡히지 않는다. 가령, 선거에서 어느 후보를 지지하는지 물을 경우 '무응답' 또는 '모르겠다'고 응답하는 비율이 ARS 조사방식에 비해 많은 경향성이 있는데, 이 때문에 무응답에 대한 분석이 쉽지 않다.[4] 그래서 전화면접 방식의 선거 여론조사에서는 특정 후보나 정당에 대한 명확한 지지율이나 지지에 대한 강도를 산출해내기가 쉽지 않다. 정치 무관심층이나 투표 의향이 없는 계층의 응답까지도 조사 결과에 포함되기 때문이다.[5] 사람이 직접 질문하는 특성상 특히, 인건비가 많이 든다. 통상적으로 ARS 방식 조사의 10배의 비용이 든다.[6] 단, 경우에 따라서는 드물게 대면조사와 전화조사를 구분하려는 목적으로 전화면접 조사까지도 ARS라고 부르기도 한다.[7] 그래서 투표율이 상당히 낮은 선거의 여론조사에서는 ARS 조사의 결과가 전화면접 조사 결과에 비해 그나마 상대적으로 선거의 결과와 일치도가 높은 경향을 보인다는 말이 있다. 투표율 낮은 선거에도 직접 참여할 가능성이 높은 계층 자체가 당연히 정치 고관여층이기 때문. 실제 ARS 방식의 여론조사가 본격적으로 도입된 곳도 정당 내부의 선거 여론조사에서였다. 참고로 국내에서는 90년대 김영삼 정부 시절에 당시 민주자유당의 싱크탱크인 여의도연구원에서 선거 여론조사 분야에 ARS 방식을 처음 도입하였고, 그 후에 선거 여론조사에 대한 공신력을 인정받아 민간 업계에도 보급된 것으로 알려져 있다.[8] 전화면접 조사의 단점이 ARS 조사의 장점이 되는 부분이다. 선거 여론조사의 경우 ARS 조사에서 샤이 진보나 샤이 보수 표심이 잘 잡히며, 적극 투표층이나 정치 고관여층 위주의 표심을 수월하게 측정할 수 있다.[9] 이런 이유 때문에 전화면접원을 자체 고용하거나, 또는 전문 콜센터에 외주를 줄 능력이 되지 않는 영세한 규모의 여론조사 업체들이 주로 ARS 여론조사를 수행한다. 각 정당의 자체조사도 비용과 시간 문제 등으로 인해 ARS 방식으로 한다.[10] 실제 중앙여론조사심의위원회에서 발간한 여론조사 연구 논문을 보면, 안심번호 표본이라고 하더라도 ARS 조사 방식에서는 비표본 오차가 크게 발생하며, 특히 응답자의 연령 응답이 안심번호의 요건와 어긋나는 경우가 무려 30% 가량 나온다고 한다. 신뢰도가 담보된 안심번호 조차도 이런 현실이니, 표본의 요건을 검증할 수 없는 RDD 방식에서의 신뢰성 문제는 더욱 심각하다.[11] 여론조사를 진행하는 도중에 응답자가 조사 진행을 포기하는 비율[12] 일례로 2022년 제20대 대통령 선거에서 결과적으로 심상정보다 한참 득표율이 낮았던 허경영의 지지율이 ARS 여론조사에서는 심상정의 지지율을 상회하는 결과가 꾸준히 나왔던 사례, 그리고 2022년 제8회 전국동시지방선거의 경기지사 선거에서 0.95% 득표한 강용석의 지지율이 ARS 여론조사에서 적게는 5%, 많게는 10% 가량 꾸준히 나왔던 것도 대표적 사례이다.[13] 특히 해당 기계음이 성우가 녹음한 자연스러운 목소리가 아니라, 어색하고 품질이 떨어지는 컴퓨터 합성음인 경우 전화 거절이나 중도 탈락이 훨씬 더 엄청난 규모로 발생한다. 이런 이유 때문에 ARS 여론조사에서는 여성이나 청년층 유권자들의 응답 비율이 전화면접 여론조사에 비해 현저히 낮게 나오고, 해당 계층 내 소수의 응답자 여론이 결과적으로 과잉 대표되어 도출된다.[14] 최소 기본적으로 수십 만의 패널이 확보되어야 한다.[15] 물론 모바일 조사의 형태에서도 대량의 모집단을 활용하여 복잡한 통계 분석을 하는 사례가 많기 때문에, 전화 조사에 비해 마냥 비용이 절감되는 편은 아니다.[16] 최소한의 표본 무작위성이라도 확보하려면 패널이 기본적으로 최소 수십 만은 있어야 한다.[17] 자체 패널이라는 것 자체가 이미 일정한 편향성을 띈 모집단일 수도 있다는 뜻이다. 물론 조사를 수행하는 여론조사 업체에서는 편향성을 제거하고 실제 세대, 직업별 구성과 유사하게 여론조사 모집단을 구축할 수 있다고 설명한다.[18] 대표적으로 고연령, 저학력, 무직 계층[19] 미국 같은 나라에서는 워낙 땅이 넓고, 지역별 생활 시간대의 차이도 크고, 조사 비용 문제까지 크게 걸리다 보니, 최근들어 상당히 활발히 시도되는 방법이긴 하다. 그러나 미국은 우리나라와는 달리, 여론조사 회사별로 다양한 가중치를 조사 결과에 임의로 부여하고 가공하여 공개할 수 있으므로, 얼마든지 온라인 조사를 통해 신뢰도 높은 결과를 도출할 수 있다는 제도적 특수성이 존재한다. 다만 미국에서도 여전히 전화조사와 모바일 조사 사이의 방법론적 논쟁이 있긴 하다.[20] 송인창ㆍ최성호, 『세상을 바로 보는 힘 통계 안목』 (서울:바틀비, 2023), PP. 67-68[21] 요컨대 여론조사의 결과는 그에 응답하는 사람들의 대답을 구분하여 통계로 수치화한 것이지만,[22] 전화면접 방식인가, ARS 방식인가?[23] 무작위 전화걸기 방식(RDD)인가, 이미 일정하게 구축된 표본에서 다시 전화번호 표본을 선택하는 할당 추출(Quota Sampling) 방식인가?[24] RDD 방식의 전화 표본인가, 안심번호 표본인가에 따라서도 결과가 달라진다. 안심번호 표본은 신뢰도가 매우 높은 만큼 비용이 상당히 비싸고, 통계 처리에도 일정한 노하우가 필요하지만, RDD 방식에서는 별다른 비용이 발생하지 않는 반면, 표본의 신뢰도에 문제가 발생한다.[25] 며칠동안 조사한 것이냐에 따라서도 결과가 달라진다. 조사 방식을 불문하고 하루짜리 조사는 결과의 출렁임이 심해서 거의 수행하지 않으며, 셀가중 방식의 조사를 4, 5일씩 진행하는 경우 또한 특정 조사 시점의 여론을 반영하기 힘들기 때문에 거의 수행하지 않는다. 또한 표본 500명 규모의 여론조사를 3~4일 씩 수행하는 경우처럼, 표본이 적은 조사를 오랜 기간동안 수행하는 경우에도 조사 설계 자체의 신뢰도의 문제가 발생할 수 있다.[26] 유선전화 비율이 높을수록 보수적 유권자 계층의 응답이 많아지는 경향이 있다.[27] 평일의 일과 시간에 진행하는 여론조사의 경우에는 직장인이나 학생 계층에 대한 접촉이 상대적으로 어렵다. 일례로 여론조사 업계에서는 '평일 오전에서 오후의 이른 시간 위주로 조사를 실시하면 보수 정당 지지율을 쉽게 올릴 수 있다'고 말한다. 당연히 평일의 일과 시간에는 진보 정당 지지층인 젊은 연령대의 직장인들이 여론조사 전화에 응답하기 힘들고, 자연스럽게 보수 정당 지지층인 무직, 은퇴, 주부, 자영업 계층 위주로 조사에 응답하게 되기 때문이다.[28] 받지 않은 번호에 대해서 반복 접촉을 수행하는가, 수행한다면 몇 회나 반복하는가에 따라서도 통계의 품질이 달라질 수 있다. 반복 접촉을 할수록 비용이 많이 들기 때문에, 업체에서는 접촉 횟수를 줄이려고 하는 경향이 있지만, 비용을 많이 쓰는 제대로 된 업체라면 한 번호에 대해 최대한 많은 접촉을 시도한다.[29] '지지한다-지지하지 않는다' 같은 2점 척도 질문 방식과 '매우 지지한다-지지하는 편이다-지지하지 않는 편이다-매우 지지하지 않는다' 같은 4점 척도 질문 방식은 매우 다른 형식이며, 이런 질문 방식의 차이에 따라서도 큰 결과 차이가 발생한다. 심지어 분류하기 애매한 응답인 '보통이다' 답변 항목만 넣어도 큰 결과의 편향이 발생할 수 있다.[30] 일례로 "현재 어느 정당을 지지하거나 더 호감이 가느냐?"을 묻는 여론조사와, "이번 선거에서 어느 정당을 찍을 것이냐?"고 묻는 여론조사는 내용의 구성이나 질문의 의도 자체가 다르다. 단순한 '지지 성향'에 대한 질문과는 달리 '투표 의향'에 대한 여론조사는 답변자의 강한 의지가 표출되는 질문이기 때문이다.[31] 일례로 부정적 이슈의 질문을 초반에 여러 개 배치하면, 그 자체로 여론 조사에 일정한 '부정적 프레임'을 작동시키는 결과를 초래한다.[32] 일례로 OOO라는 인물에 대한 부정적인 표현을 쓴 다음에 '이 사람을 지지하느냐?'고 물으면 당연히 지지하지 않는다는 응답이 높게 나올 수밖에 없다.[33] 이 또한 여론조사 기관마다 각각 그 회사 고유의 일정한 방법론을 꾸준히 유지한다는 가정 하에 분석되는 것이다. 여론조사 방법이 자주 변경되는 신뢰도 낮은 여론조사 기관의 경우에는 당연히 연구 대상에서 제외된다.[34] 여론조사를 할 때는 관련 규정에 따라 여론조사를 의뢰한 기관이나 언론을 고지하게 되어있다. 이때부터 응답자는 답변을 할 때 일정한 편향을 띄게 된다.[35] 이런 발표가 나오면, 해당 여론조사 기관은 늘 '우리 기관이 가장 중립적인 조사였다고 평가받았다'고 자랑한다.[36] 그래서 여론조사 방식에 따른 자료해석에 유의해야 한다. 전화면접 조사에서는 정치 저관여층, 소극적 투표층의 응답이 다수 포함되며, 반대로 ARS 조사에서는 정치 고관여층이나 극단적 여론층이 과잉대표 되기 때문이다.[37] 일례로 중앙선거관리위원회에서 전국 규모의 큰 선거 때마다 꾸준히 진행하는 전화면접 방식의 투표 참여 의향 여론조사에서는 '투표하겠다'는 응답이 70%~80% 정도 늘 나온다. 그러나 실제 투표율은 60% 정도 내외이다.[38] 반드시 투표할 것, 되도록 투표할 것, 되도록 투표하지 않을 것, 절대 투표하지 않을 것[39] 예를 들어 2가지 성, 5가지 연령 구분, 7가지 지역 구분이라는 변수를 모두 조합하여 각각의 셀을 구성하면 총 70개의 셀이 나올 것이다. 이 때의 70개의 셀 마다의 가중치를 각각 따로 부여하는 것이 셀가중 방식이다. 이를테면 '여성-40대-서울' 셀의 할당 표본이 20명인데, 10명밖에 조사가 되지 않았다면 이 셀에서는 가중치 2를 따로 곱하고, '남성-50대-충청' 셀의 할당 표본이 30명인데 60명이 조사되었다면 이 셀에서는 가중치 0.5를 따로 곱하는 식이다.[40] 각각의 셀에 따른 서로 다른 가중치를 곱하는 셀가중과는 달리, 림가중은 기본 변수에 한하여 가중치 비율을 곱한다. 성-연령대의 가중치 비율을 하나 만들어서 곱해본 뒤, 지역별 가중과 맞지 않으면 다시 지역별 가중치를 구해서 곱한다. 이렇게 누적적으로 가중치를 곱해 나가서 실제 인구의 구성 비율과 맞을 때까지 계속 진행한다. 즉, 림가중에서는 셀가중에서와 같은 '남성-30대-서울' 같은 세부적 항목의 독립적 가중은 없고, 성별에 대한 전체적인 비율, 지역에 대한 전체적인 비율, 세대에 대한 전체적인 비율만 동시에 맞추게 된다.[41] 물론 셀가중이 림가중 보다는 비용과 시간이 더 많이 든다. 일단 기본적으로 수십 개의 모든 셀을 일정 수준 이상 다 채워야 하기 때문이다. 림가중의 경우에는 이론적으로는 모든 셀을 다 채울 필요가 없다. 대략적인 기본 조건만 맞춘 후 전체에 가중치를 부여하면 되기 때문이다. 일례로 '남성-50대-충청' 같은 세부적인 수십 개의 셀들을 다 채우지 못해도 관계 없다. 전국 단위의 성별-나이-지역 조건만 맞추면 된다.[42] 기본적으로 전화면접 방식의 조사에서는 셀가중 방식을, ARS 방식의 조사에서는 림가중 방식을 채택하는 경향이 있다. 간혹 돈을 두둑히 들인 ARS 조사에서도 셀가중 방식을 채택하는 경우가 있긴 하지만, 비용이 많이 들어가는 방식인지라 많지는 않다.[43] 각 여론조사별 가중 방식의 차이는 여론조사심의위원회 홈페이지에 공지된다.[44] 혹은 인구의 20%나 50%가량이 거주하는 서울, 수도권까지는 어느 정도 이 방식으로 조사가 가능하다.[45] 이 때문에 당시 가상번호를 쓰지 못했던 일반 여론조사 업체의 조사들은 총선 결과를 아예 맞추지 못했다.[46] 이 때문에 일부 영세한 여론조사 업체에서는 가상번호 조사에 소요되는 비용과 단가를 줄이기 위해 일부러 1일짜리 저렴한 가상번호를 구입한 뒤, 유선전화 비율을 과도하게 높이고, 심지어 유선전화 조사와 무선전화 조사 날짜를 아예 나누어서 저렴한 ARS 조사 방식으로만 수행하는 꼼수를 쓰기도 한다.[47] 물론 차후의 법 개정을 통해 알뜰폰 사용자를 가상번호 조사 표본에 포함시킬 가능성은 존재한다.[48] 지역별-나이별-성별 세 변수로 구성된 세부 표본, 가령 경기-20대-여성[49] 링크[50] 링크[51] 단, 리얼미터는 오차범위 안에서 득표율을 예측하는 데 성공했다. 다만 리얼미터는 100% ARS 조사가 아니라 30%의 전화면접 조사를 추가했다.[52] 다만 이는 기관들 고유의 복잡한 조사 가중치가 부여된 결과이므로, 곧바로 시중의 일반 여론조사들과 비교할 수는 없다.[53] 다만 RDD 방식으로 예측한 조사들에 비하면 훨씬 많은 빈도로 초박빙 승부를 가상번호 방식의 여론조사들이 예측해냈다.[54] 20대 대선을 기점으로 여론조사 응답률이 가상번호라도 그 이전의 RDD 여론조사의 응답률에 미치지 못하는 경우가 늘었다.[55] 물론 업체별로 조사의 노하우의 차이가 있기 때문에, 얼마나 정확히 맞추느냐는 천차만별이다. 여론조사의 오랜 속설 대로, 돈을 많이 들인 여론조사일 수록 신뢰도가 높고, 선거 결과도 잘 맞춘다.[56] 인터넷 전화까지 포함한 '가정용 전화' 전체 보유율은 18.3%이다.[57] 개인의 스마트폰 보유율로만 한정할 경우에는 94.8%이다. 참고로 70대 미만에서는 전 연령대에서 휴대전화 보유율이 100%에 준하는 수준이며, 70대 이상 세대에서만 95.6%의 보유율을 보인다. 다른 조사를 참고해 보면 70대 이상의 고령층에서는 남성보다 여성의 휴대전화 보유율이 약간 낮게 나타난다.[58] 특히 이 가구별 유선전화 보유율 또한 해가 갈수록 급격히 낮아지는 추세이므로, 심지어 2020년대 이내에 가구별 유선전화 보유율 10%대가 붕괴되리라는 예측까지도 나오고 있다.[59] 참고로 전화 여론조사에 중점적으로 잡히는 '전업주부'는 보통 60대 이상 여성 노년층이다. 한국갤럽의 정례 보고서에 따르면, 자신의 직업이 '전업주부'라고 대답하는 사람의 대략 6~70% 가량이 60대 이상의 노년층 여성이라고 한다.[60] 한국갤럽의 정례조사 보고서를 참고해 보면, 자신의 직업을 '전업주부'라고 답하는 연령층이 대부분 60대 이상 노년층 여성인 것과 비슷하게, 본인의 직업을 '은퇴' 또는 '무직'이라고 답하는 연령층은 대부분 60대 이상 노년층 남성으로 나타난다.[61] 예를 들어 인구 비율상으로 20대를 200명, 60대 이상으로 250명을 채워야 하는 조사라면, 대부분의 여론조사에서 20대는 200명에 훨씬 못 미치는 응답이 나오고, 60대 이상은 250명을 금세 초과하는 결과를 얻게 된다. 이 조사 결과를 인구 비율에 맞게 다시 재가공해야 하는 것이다.[62] 유선전화보다는 덜하지만, 심지어 휴대전화일 경우에도 평일 낮 시간에는 해당 계층에서 응답률이 떨어진다. 당연히 학교나 일터에서 평일 일과시간, 혹은 주말 낮의 활동시간에 따로 휴대전화를 받으며 여론조사를 응답하기가 힘들기 때문이다. 이런 상황을 보정하기 위해서 아예 여론조사를 저녁 8시나 밤 9시까지 시행하는 경우가 있으며, 아예 퇴근 시간 이후부터 시행는 경우까지 있다.[63] 엠브레인퍼블릭, 케이스탯리서치, 코리아리서치인터내셔널, 한국리서치 네 회사가 공동으로 조사하여 발표한다.[64] 보유율 36.6%[65] 보유율 29.1%[66] 이 문제는 특히 지방에서 두드러진다. 여론조사기관은 대부분 서울에 위치해 있기에, 조사를 위한 전화도 인터넷 전화인 070 국번, 또는 서울의 지역번호를 사용한다. 문제는 서민들 일상 중에 가장 거슬리는 보험, 금융 상품 가입 권유나 스팸 전화 같은 것도 070 국번 혹은 서울 지역 번호인 02가 태반이라는 것. 그래서 수신자가 서울과 연고가 없는 경우 070, 02 번호로 시작하는 전화면 아예 받지도 않는 경우가 두드러지게 나타난다. 아니면 애초에 수신 차단을 걸어놓거나 아예 후후나 T전화같은 애플리케이션으로 거르는 경우도 많다.[67] 물론 모집단의 수가 커질수록 그 모집단의 성향을 대표할 수 있는 표본의 선정 방법 자체는 복잡해진다. 단, 거듭 말하듯 바로 그 '표본 선정' 자체만 잘 이루어지면 1000명이라는 표본 숫자는 통계적으로 충분한 의미를 가진다.[68] 그러나 가중치라는 개념 자체가 작위적이기 때문에 완전한 무작위라고 할 수 없다.[69] 물론 정치, 선거 관련 여론조사가 아닌 국가적 규모의 정책 관련 조사나 유권자들의 성향 파악 조사의 경우 아주 세부적인 지표가 필요하므로, 3000명 내지 5000명 단위의 표본을 구성하여 여론조사를 시행하기도 한다. 물론 이런 경우는 아주 장기간, 적어도 1주일 이상에 걸친 대규모 조사가 대부분이다.[70] 선관위에서는 시도지사/시도교육감의 경우에는 800명, 지역구 국회의원 및 시/군/자치구청장의 경우에는 500명 이상을 선거 여론조사의 최소 표본 수 기준으로 두고 있다. 그런데 이 경우에는 아무리 비율을 낮게 잡아도 전국 단위 1,000명 조사에 비하면 표본 수가 한참 높다. 5,000만(전국) 중 1,000명과 1350만(경기도) 중 800명을 비교하면 당연히 후자가 표본 비율이 더 높다.[71] 정확히는 2의 제곱근. 실제로는 오차범위는 조사 인원 말고[72] 대표적으로 닐슨코리아가 이렇게 해서 매출을 올린다.[73] 특히 ARS 조사의 경우에는 정말 돈을 안 들이려고 마음 먹으면 한도 끝도 없이 비용을 절약할 수 있다. 극단적으로 ARS 시스템 하나에 관리 직원 한 명만 있어도 얼마든지 조사가 가능하다. 이 점을 파고들어서 극단적인 덤핑 가격에 영업을 하는 영세한 ARS 조사 업체가 매우 많다.[74] 아예 전화 요금만 받고 조사를 수행하는 경우도 있으며, 심지어는 조사 비용을 받지 않고 언론에 발표하는 조사까지 있다. 보통 이런 경우는 여론조사 기관의 이름을 알리기 위해 홍보 목적인 경우가 많지만, 드물게는 특정 후보나 정당을 띄우기 위한 의도인 경우까지 있다.[75] 컨설팅 업체에서 자체적으로 여론조사를 수행하여 분석하는 경우도 있고, 여론조사 전문 업체에 하청 형식으로 외주를 주는 경우도 있다.[76] 주로 JTBC 의뢰로 여론조사를 수행한다.[77] 입소스와 더불어 SBS 의뢰로 주기적으로 여론조사를 수행한다.[78] 참여정부의 행정관을 역임한 안일원이 설립한 여론조사 업체다.[79] 주로 동아일보 의뢰로 여론조사를 수행한다.[80] 주로 연합뉴스 의뢰로 여론조사를 수행한다.[81] 마케팅 여론조사는 마이크로밀 엠브레인의 명칭으로 조사를 한다. 정치조사는 주로 문화일보 의뢰로 수행한다.[82] 2021년 8월부터 데일리안 의뢰로 정기 여론조사를 실시한다. 에스더기도운동본부와 관계가 있다는 기사가 뜬 적이 있다.[83] 민주당 정부인 참여정부에서 여론조사 행정관을 역임한 이근형과 박시영이 대표를 맡은 여론조사 업체다. 주로 민주당 외주 여론조사를 수행한다.[84] 프랑스의 여론조사 회사 Ipsos의 한국 지사이다. 2020년부터 SBS와 지역구 여론조사 및 선거 출구조사를 전담한다.[85] 주로 한겨레신문이나 조선일보 의뢰로 때때로 여론조사를 수행한다.[86] 주로 MBC의뢰로 주기적으로 여론조사를 수행한다.[87] 지난 20대 대선 정국 때부터 뉴데일리 의뢰로 정기조사를 수행해 왔다가 대선 이후 지방선거 시즌 때 정기조사 및 시도지사 조사 몇 개 수행하고 지선 이후 한동안 정기 여론조사를 실시하지 않았다가, 2023년 10월부터 다시 뉴데일리 의뢰로 정기 여론조사를 수행하고 있다.[88] 매주 금요일 자체 정기조사를 발표하나 가끔 머니투데이, 서울경제 의뢰로 별도 여론조사를 수행할 때도 있다.[89] 주로 KBS의뢰로 주기적으로 여론조사를 수행한다.[90] 주로 쿠키뉴스 의뢰로 월간 정기조사를 수행한다.[91] 주로 KBS는 한국리서치, MBC는 코리아리서치, SBS는 입소스와 함께 여론조사를 수행한다.[92] 이런 경우는 절대다수가 ARS 방식의 여론조사이다. 단가가 싸기 때문이다.[93] 무선 안심번호 100%로 조사를 하자니 돈이나 비용이 많이 들고, 일정 수준 이상의 조사 및 분석 노하우가 필요하기 때문에, 영세 업체에서는 유선전화를 적당히 섞어서 하루나 이틀짜리 ARS RDD 방식의 조사를 대충 수행한 뒤 불과 수십만원의 덤핑 가격에 재빨리 언론사에 납품하고 마는 형식이다.[94] 사실 선거 여론조사 자체는 선거 시즌 때처럼 밤낮 없이 조사를 수행하지 않는 이상 큰 돈이 안 된다. 조사의 단가 자체가 상대적으로 낮기 때문이다. 진짜 알짜 수익은 기업이나 단체로부터 수주하는 시장 조사 같은 곳에서 나온다.[95] 언론에서 한번 쯤 이름을 들어 본 여론조사 회사들의 경우에도, 어떤 곳은 직원 수 3인에 평균 연매출액이 3억 원도 안되는 영세한 업체인 경우가 수두룩하다. 이런 업체의 경우에는 대부분 저렴한 ARS 조사를 덤핑 가격으로 수행하며, 전화면접 조사를 한다고 하더라도 외주를 이용해 콜센터로 조사하고 업체에서는 통계학적 계산만 하는 식이다.