| <colbgcolor=#000> 과학 연구 · 실험 Scientific Research · Experiment | ||||
| {{{#!wiki style="margin: 0 -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -6px -1px -11px" | <colbgcolor=#000><colcolor=#fff><rowcolor=#000,#fff> 배경 | 과학적 방법 | ||
| 기반 | 수학(미적분학 · 선형대수학 · 미분방정식) · 통계학(수리통계학 · 추론통계학 · 기술통계학) | |||
| 연구·탐구 | 논증(귀납법 · 연역법 · 유추(내삽법 · 외삽법)) · 이론(법칙 · 공리 · 증명 · 정의 · 근거이론 · 이론적 조망) · 가설 · 복잡계(창발) · 모형화(수학적 모형화) · 관측 · 자료 수집 · 교차검증 · 오컴의 면도날 · 일반화 | |||
| 연구방법론 | 합리주의 · 경험주의 · 환원주의 · 복잡계 연구방법론 · 재현성(연구노트) | |||
| 통계적 방법 | 혼동행렬 · 회귀 분석 · 메타 분석 · 주성분 분석 · 추론통계학(모형(구조방정식) · 통계적 검정 · 인과관계와 상관관계 · 통계의 함정 · 신뢰도와 타당도) | |||
| 측정·물리량 | 물리량(물리 상수 · 무차원량) · 차원(차원분석) · 측도 · 단위(단위계(SI 단위계 · 자연 단위계) · 단위 변환) · 계측기구 · 오차(불확도 · 유효숫자 · 과학적 기수법) | |||
| 실험 | 실험설계 · 정성실험과 정량실험 · 실험군과 대조군 · 변인(독립 변인 · 조작 변인 · 종속 변인 · 변인 통제) · 모의 실험(수치해석) · 맹검법 · 사고실험 · 인체실험 · 임상시험 · 실험 기구 | |||
| 연구윤리 | 뉘른베르크 강령 · 헬싱키 선언 · 연구투명성 · 연구 동의서 · 연구부정행위 · 표절(표절검사서비스) · 편향 · 문헌오염 · 자기교정성 · 연구윤리위원회 | |||
| 논문·과학 공동체 | 소논문 · 리포트 · 논문제출자격시험 · 연구계획서 · 형식(초록 · 인용(양식 · 참고문헌) · 감사의 글) · 저자 · 학회 · 세미나 · 학술대회 · 동료평가 · 지표 · 학술 데이터베이스 · 게재 철회 · 학제간 연구 | |||
| 철학 관련 정보 · 연구방법론 관련 정보 · 수학 관련 정보 · 자연과학 관련 정보 · 물리학 관련 정보 · 통계 관련 정보 · 사회과학 조사연구방법론 | }}}}}}}}} | |||
| 통계학 Statistics | |||
| {{{#!wiki style="margin:0 -10px -5px; min-height:calc(1.5em + 5px); word-break: keep-all" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-5px -1px -11px" | <colbgcolor=#4d4d4d><colcolor=#fff> 수리통계학 | 기반 | 실해석학 (측도론) · 선형대수학 · 이산수학 |
| 확률론 | 사건 · 가능성 · 확률 변수 · 확률 분포 (표본 분포 · 정규 분포 · 이항 분포 · 푸아송 분포 · 카이제곱분포 · t분포 · Z분포 · F-분포 · 결합확률분포) · 확률밀도함수 · 확률질량함수 · 조건부확률 · 조건부기댓값 · 조건부분산 · 전체 확률의 법칙 · 베이즈 정리 · 도박사의 오류 · 도박꾼의 파산 · 몬티 홀 문제 · 뷔퐁의 바늘 · 마르코프 부등식 · 체비쇼프 부등식 · 큰 수의 법칙 (무한 원숭이 정리) · 중심극한정리 · 벤포드의 법칙 | ||
| 통계량 | 평균 (산술 평균 · 기하 평균 · 조화 평균 · 멱평균 · 대수 평균) · 기댓값 · 편차 (절대 편차 · 표준 편차) · 분산 (공분산) · 결정계수 · 변동계수 · 상관계수 · 대푯값 · 자유도 | ||
| 추론통계학 | 가설 · 변인 · 추정량 · 점추정 · 신뢰 구간 · 상관관계와 인과관계 · 실험통계학 · p-해킹 · 통계의 함정 · 그레인저 인과관계 · 신뢰도와 타당도 | ||
| 통계적 방법 | 회귀 분석 · 최소제곱법 · 분산 분석 · 주성분 분석 (요인 분석) · 시계열 분석 · 패널 분석 · 2SLS · 생존 분석 · GARCH · 비모수통계학 · 준모수통계학 · 기계학습 (군집 분석 · 분류 분석) · 위상 데이터분석 · 외삽법 · 메타 분석 · 모델링 (구조방정식) | ||
| 기술통계학 · 자료 시각화 | 도표 (그림그래프 · 막대그래프 · 선 그래프 · 원 그래프 · 상자 수염 그림 · 줄기와 잎 그림 · 산포도 · 산점도 · 히스토그램 · 도수분포표) · 그래프 왜곡 · 이상점 | }}}}}}}}} | |
[clearfix]
1. 개요
meta-analysis.서로 다른 연구들의 양적인 효과크기 결과들을 통계적으로 통합하기 위한 방법. 출처
여러 연구 분야를 요약할 때 방법론 없이 요약하면 편향 (bias)이 생기기 쉽다. 메타분석을 통해 결합하면 표본수가 개별 연구에 비해 월등히 증가하게 되므로 통계적인 검정력과 정밀성이 높아지게 된다.
한 그룹의 연구 결과들을 최초로 병합한 연구는 Pearson (1904)로, 표본의 수가 작은 연구들을 종합하여 검정력을 증가시키고자 했다. 동일한 연구 주제에 대한 여러 논문들을 종합한 최초의 분석은 1940년 듀크 대학교 심리학과에서 행해졌다. 우리나라 최초의 관련 문헌은 이종승 (1983)의 '메타분석 : 연구결과의 통계적 종합'이다.
메타분석은 아주 중요하다. 그 이유는 연구과제와 관련된 문헌들이 서로 상충한다면 단일한 결론을 끌어내기는 쉽지 않을 것이며, 연구자로서 연구 결과들이 어떻게 서로 다른지 이해하기 위해 가능한 모든 문헌들을 비교할 필요가 있기 때문이다. 메타분석은 실험실 내에서나 현장에서 실험 반복 횟수나 재원의 소모 없이 서로 상충하는 결과를 보이는 연구에 대한 논쟁을 끝낼 수 있다. 예를들어 임상시험을 통해 어떤 치료방법이 가장 효과가 있었는지 최상의 치료요법에 대한 결정이 필요할 때 메타분석을 이용하면 모든 연구 결과들을 분석함으로써 올바른 결정할 수 있게 많은 도움을 준다.
2. 단점
해당 학문의 전문가가 필요하다. 노동집약적이고, 시간이 많이 소모된다. 그리고 분석에 포함된 연구 논문들의 수준차가 크기 때문에 문제가 나타난다.3. 방법
방법론적 문제를 확인하기 위해서는 PRISMA 체크리스트(2009, PDF)를 활용하면 좋다.3.1. 가설 설정
먼저 '가설' (연구 질문)을 설정한다.3.2. 연구 자료 범위 선정
그 다음 연구 자료의 범위를 선정하고 수집을 한다. 빠짐없이 수집하는 것이 신뢰도와 타당도를 높인다. 특히 리뷰 목적일 경우 그 범위는 충분히 많아야 한다. 가령 탑저널의 메타분석 중에는 120여개를 수집한 경우도 있고, 국내 시간제 대학원 석사학위논문의 메타분석 중에는 25개로 논문을 쓰는 경우도 있다. 대신 리뷰 목적이 아닌 논문들은 자체적으로 Study 1에서 Study 8~9 정도까지 계속 반복실시를 한 뒤 이 결과들만을 대상으로 메타분석을 하기도 한다. 많이 수집하기 위해서는 학위논문 등의 회색문헌도 건드려야 하는 경우가 많다.무조건 많다고 좋은 건 아니다. 반드시 관계없는 것들을 빼야 한다. 예를 들어 척도가 상이하면 연구마다 제시한 효과크기의 의미 해석이 같을 수 없으므로 무리하게 메타 분석을 수행해서는 안 된다. 특수한 집단으로 연구 대상이 한정되어 전체 모집단을 대표하지 못하는 경우 배제한다. 학위논문과 학술지에 중복 게재된 논문은 한 편으로 카운트하는 게 좋다. 그리고 뺄 때는 반드시 기준이 있어야 한다.
3.2.1. 방법론적 질
methodological quality"체계적인 리뷰"(systematic review)는 메타분석에 기초한 리뷰 논문의 대다수를 차지한다. 이런 리뷰 논문에 있어서 어떤 논문들을 분석대상으로 넣고 어떤 것들은 뺄지를 결정하는 문제가 발생하는데 이를 방법론적 질의 딜레마라고 부르기도 한다. 엄격하게 실시된 연구들만을 분석대상에 포함시킬 경우, 이를 통해 일반화된 이해를 얻는 것에 상당히 제약이 생기게 된다.[1] 반면, 상대적으로 대충대충 연구한 문헌들까지 분석대상에 포함시키면, 예상할 수 있듯이 분석 자체의 품질이 떨어진다. 이러한 상충되는 딜레마 속에서 분석대상으로 삼을 문헌의 최소한의 기준을 설정하는 것이 중요하다.
모든 연구를 할 때 오류는 생기기 마련이다. 질적으로 높은 연구만을 추구해도 문제가 되지만 낮은 연구를 추구하면 신뢰도가 떨어진다. 그렇기 때문에 너무 엄격하게 연구 질을 잡으면 일반화를 제약할 가능성이 높아지지만 너무 느슨하게 잡으면 신뢰도가 떨어질 수 있다. 그렇기 때문에 연구 질문을 적절하게 균형을 유지해야 한다. 타당성이 높은 연구를 넣는데 주력해야 한다.
특정 희귀질병 A에 대해 유효한 치료법이 두 가지 존재한다고 가정해 보자. 개별 사례에 따른 편차가 있겠지만, 이 두 가지 치료법의 유효성을 비교해 보고자 할 때, 의사들은 자신들이 A 질병에 대해 각각의 치료법을 적용한 데이터를 모으게 된다. 그런데, 대개 의사들은 자신에게 내원하는 환자들의 케이스만 알 수 있기 때문에, 아무리 케이스를 쌓더라도 유효한 수준의 샘플 사이즈를 얻지 못하게 되는 경우가 많다. 이런 경우, 메타분석을 활용하여 여러 의사들이 발표한 A 질병에 대한 각각의 치료법의 적용 결과 논문들을 모아 큰 샘플 사이즈를 만들 수 있다. 그런데 이 경우, 수많은 의사들이 발표한 논문 가운데 어떤 것을 유효한 것으로 간주하고 어떤 것을 그렇지 않은 것으로 간주할 것인가가 관건이 된다. 이런 식으로 어떤 논문을 더 '유효한' 것으로 간주할지에 대해서는 큰 합의가 존재하지 않기 때문에, 자칫하면 자의적으로 데이터를 취사선택하는 것이 될 수 있다. 이것을 분간하는 기준이 바로 방법론적 질이다.
3.3. 특성변인 코딩
다음으로 분석 자료의 특성변인을 코딩한다. 이 때 연구 특성을 선택하고 코딩 매뉴얼과 코딩 표를 개발한다. 코딩 목록은 고려해야 할 변인과 논문 특성을 중심으로 작성해야 한다. 코딩의 신뢰도를 확보하려면 코딩 목록과 절차에 대해 잘 알고 있어야 한다. 이 과정은 간단하게는 엑셀로도 수행할 수 있다.- 논문 정보: 제목, 저자, 출판년도, 출판형태
- 종속변인 척도, 독립변인 척도
- 인구통계학적 특성: 사용된 설문지 수와 응답자 수, 표본대상 특징 및 단위
- 분석 방법: 상관계수, 분산 분석 (ANOVA), t-검정 등
- 효과크기의 종류, 값, 유의확률
전문가가 아닐 경우 코딩 완성 단계에서 전문가에게 검토를 맡기는 것이 좋다.
3.4. 메타 통계 분석
- 먼저 수집된 자료들이 메타통계분석이 요구하는 가정을 충족하는지 검토하여야 한다.
- 메타 통계 분석에서 가장 주된 작업은 '통계적 변환' 이다. 각 연구는 통계방법이 다르기 때문에 처치 효과의 크기를 동일한 측정 단위로 바꾸어야 종합적인 분석이 가능하다. 통계적 유의도 검증을 통한 리뷰는 표집 크기에 따른 영향을 너무 많이 받고 효과의 방향성과 크기를 제시해주지 못하는 제한점이 있다. 이를 극복하기 위해 효과 크기(effect size)가 만들어졌다. 이 변환을 위해서는 사례 수, t-검정, F-검정, r값 (Pearson 적률 상관계수). p-값, 평균, 표준 편차 등이 제시되어야 한다. R의 matefor 패키지를 이용할 수 있다.
- 효과 크기가 산출되면 '동질성 검정'(homogeneity analysis)을 한다. 동질성[2] 검정에 실패했을 경우 이질적인 자료를 대상으로 소집단 동질성 검정을 시행한다. 동질성 여부에 따라 고정효과모형(fixed-effect model), 변량효과모형(random effect model)을 사용하여 효과크기를 통합하여 평균 효과크기를 산출할 수 있다.
3.4.1. 신뢰도 검증
동질성 검정이 끝나면 메타분석의 결과를 신뢰할 수 있는지 판단하려고 신뢰도 검증을 한다.먼저 보고 편향의 존재나 정도를 추정하는 방법에는 그래프를 이용한 방법과 통계적 검정방법이 있다.
- 그래프를 이용한 추정: 깔때기 도표(Funnel plot)
- 통계적 검정: Begg and Mazumbar’s rank correlation test, Egger’s test
보고편향이 있을 경우, 편향이 중재효과에 미치는 영향을 확인하여, 보정을 하여 중재효과에 변화가 있는지 확인할 수 있다. 그 방법 중 널리 쓰이는 것이 절삭 및 채움 방법(trim and fill method)이다. 먼저 결측되거나 보고되지 않았을 것으로 생각되는 연구들의 수를 추정한 다음, 이 연구들을 절삭(trimming)한다. 다음으로, 대칭인 연구들을 대상으로 메타분석을 실시하여 중재효과에 대한 추정치를 계산한다. 비대칭성이 남아있지 않을 때까지 이 과정을 반복한다. 그리하여 요약통계량을계산한다.[3]
이렇게 만들어진 분석결과를 제시하고, 표준화/상관계수/승산비의 효과크기를 해석한다. 그리고 Cooper and Rosenthal (1983)의 안전성 수[4], Orwin(1983)의 안전성 수도 이용한다.
4. 기타
의학 분야에서는 코크란이 유명하다.게임에서 쓰이는 메타는 '메타게임 분석'이라는 용어에서 나온 것인데, 이건 메타분석보다는 게임 이론과 관계있는 단어다.