1. 개요
- 논문 제목: Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect[1]
- 문제의 논문 읽기(PDF 자동 다운로드)
- pubmed ID: PMID: 21280961 초록만 확인하려면 이 링크를 이용하시오.
- DOI 번호: 10.1037/a0021524
2011년 1월 31일에 출판된 《Journal of Personality and Social Psychology》(이하 JPSP)에[2] 대릴 벰(Daryl Bem)이라는 한 미국 심리학자가 제출한 논문이 학계 전반에 파장을 일으킨 사건. 이 논문은 전인지(precognition), 쉽게 말해서 그냥 "예지능력"에 대한 것으로, 인간이 미래를 내다볼 수 있는 인지적 능력을 갖고 있다고 주장함으로써 엄청난 반발을 불러왔다.
비전문가들은 그냥 관심병 걸린 타락한 과학자 내지는 유사과학 전문가의 전형적인 사례 중 하나라고 치부할지도 모르지만 실제로 이는 병적 과학의 극명한 사례에 속하며[3] 심리학계에 가볍게 넘길 수만은 없는 수많은 화두를 던져주었다.
2. 상세
2.1. 저자는 누구인가?
저자 대릴 벰(Daryl J. Bem)은 코넬 대학교의 심리학자로, 1967년과 1972년에 이미 자기지각 이론(self-perception theory)을 발표하여 레온 페스팅어(L. Festinger)의 유명한 이론인 인지부조화의 대안적 설명으로 각광받은 바 있는 성공한 심리학자였다. 그는 자기지각 이론을 통하여 "인간은 자신의 현재 행동에 대한 의미를 찾아 해석함으로써 그들의 태도나 선호를 결정한다"고 주장했으며 실제로 2010년대 들어서까지 숱하게 인용되면서[4] 후속연구가 이루어지는 성공한 이론으로 만들었다. 특히 이는 심리치료나 마케팅 및 광고 분야에도 접목되면서 많은 파생이 이루어진 바 있다.그리고 동성애에 대한 논의에 익숙한 사람이라면 그의 또 다른 주장을 접해 보았을 것인데 2000년에 낯설기 때문에 끌린다 이론(exotic-becomes-erotic theory)을 발표하였기 때문이다. 이 이론은 어째서 동성애가 존재하는지에 대한 많고 많은 설명들 중 하나인데 여기서는 "생물학적 소인에 의해, 유년시절에 경험하는 성별 동조(gender-conforming)의 여부가 향후 성인이 되어서 그 개인의 성적 지향을 예측하게 한다"고 보았다.[5] 이해를 돕기 위해 거칠게 말하면 어릴 적 동성 또래들과 노는 경험이 이성의 또래들을 낯설게 만들고 이것이 점진적으로 성적 지향에 영향을 준다는 얘기다. 이 이론은 비판도 숱하게 받았지만 어쨌든 벰이 독자적이면서도 특이한 자기주관이 있는 학자로 인정받는 데 기여했다.
여기까지만 읽어도 알겠지만 자칭 재야과학자 같은 사이비 사기꾼들과는 급이 다른 사람이란 걸 알 수 있는데 이게 이 사건이 충격을 주었던 또 다른 이유 중 하나이기도 하다. 물론 대릴 벰 본인이 예전부터 줄곧 초능력을 비롯한 초심리학(parapsychology)에 많은 관심을 보였으며 간츠펠트 실험(Ganzfeld experiment) 관련 연구들을 리뷰하여 논문으로 낸 적이 있긴 하다.[6] 이 사건 자체가 아주 뜬금포는 아니었던 셈인데 자신의 연구업적 이면에 특이한 관심사를 갖고 있는 아는 사람들은 다 아는 괴짜였을 수도 있다.
2.2. 저널의 수준은 어떤가?
문제의 저널 JPSP(ISSN: 0022-3514)는 1965년부터 현재까지 줄곧 출판되는 유서 깊은 저널이며, 미국심리학회 소속이다. JPSP는 그 이름처럼 성격심리학(personality psychology)과 사회심리학(social psychology)의 전 범위를 포괄하는 SSCI급 저널이며 이들 세부분야에서는 세 손가락 안에 꼽히고 심리학 전체에서 보아도 논자에 따라서는 다섯 손가락 안에 꼽히는 상위급 저널에 속한다. 특히 이들 분야에서 뛰는 연구자들에게 JPSP에 얼마나 출판을 했는가는 굉장히 중요한 연구업적의 기준이 될 정도이며 임팩트 팩터도 2018년 기준으로 5.733으로 무척 높은 수준이다.보다시피 흔한 무료저널이나 오픈액세스 저널이 아니라는 것이 오히려 충격과 공포인데 보통 '급'이 높은 저널일수록 더욱 깐깐하게 검증하고 혹독하게 동료평가를 거친다는 점을 생각하면 의문스러운 점이 한두 가지가 아니다. 특히 이런 고급 저널들은 일부러 투고 대 게재 비율을 관리하고 있으며 투고된 논문이 어지간히 혁신적이거나 설득력이 있지 않으면 가차없이 광탈이다. 그 분야 중진급 연구자들도 JPSP에는 퇴짜를 맞는 게 일상다반사인데 그걸 이 허무맹랑한 초능력 논문이 뚫어낸 것이다.
2.3. 논문에 도대체 무슨 소리를 했는가?
논문의 핵심 내용을 요약한 것이라고 말할 수 있는 초록을 먼저 보자면 그 내용은 대략 다음과 같다.'Psi'라고 불리는 용어는 오늘날 알려진 물리적 혹은 생물학적 메커니즘으로는 설명되지 않는 에너지 전환의 이상적 과정 혹은 정보를 의미한다. 여기에는 두 가지 변종이 있는데, 각각 전인지(의식적인 인지적 인식) 그리고 그 어떤 알려진 암시적 과정을 거쳐서든 달리 기대될 수 없는 미래 사건에 대한 예감(정동적 평가)이다. 전인지와 예감은 그 자체로서 더 일반적인 현상의 특수한 사례인데, 의식적이건 비의식적이건 개인의 현재 반응에 대한 미래 사건이 인지나 정동에 미치는 이상적인 소급적 영향이기 때문이다. 이 논문에서는 1,000명 이상의 참가자들이 참여한 9건의 실험을 보고하며, 이는 확고하게 검증된 바 "시간을 거스르는" 효과에 의한 소급적 영향을 검사함으로써 개인의 반응이 잠정적으로 인과적인 자극 사건이 발생하기 이전에 확보됨을 보이기 위한 것이다. 데이터는 4가지의 시간을 거스르는 효과를 보이는데, 불쾌한 자극에 대한 전인지적 회피와 성적 자극에 대한 전인지적 접근, 소급적 점화, 소급적 습관화, 그리고 회상의 소급적 촉진이 그것이다. 9건의 실험들에서 나타나는 psi 수행 수준의 평균 효과 크기(d)는 .22였으며, 한 건을 제외한 모든 실험들에서 통계적으로 유미한 결과를 얻었다. 외향성의 구성 요인 중 하나인 자극 추구라는 개인차 변인은 5건의 실험들에서 psi와 유의한 상관을 보였으며, 자극 추구 척도에서 중간 이상으로 평정된 참가자들의 평균 효과 크기는 .43이었다. 이 논문에서는 psi에 대한 회의론, 재현성 문제, psi의 이론에 대해서도 논의되고 있다.
The term 'psi' denotes anomalous processes of information or energy transfer that are currently unexplained in terms of known physical or biological mechanisms. Two variants of psi are precognition (conscious cognitive awareness) and premonition (affective apprehension) of a future event that could not otherwise be anticipated through any known inferential process. Precognition and premonition are themselves special cases of a more general phenomenon: the anomalous retroactive influence of some future event on an individual’s current responses, whether those responses are conscious or nonconscious, cognitive or affective. This article reports 9 experiments, involving more than 1,000 participants, that test for retroactive influence by “time-reversing” well-established psychological effects so that the individual’s responses are obtained before the putatively causal stimulus events occur. Data are presented for 4 time-reversed effects: precognitive approach to erotic stimuli and precognitive avoidance of negative stimuli; retroactive priming; retroactive habituation; and retroactive facilitation of recall. The mean effect size (d) in psi performance across all 9 experiments was 0.22, and all but one of the experiments yielded statistically significant results. The individual-difference variable of stimulus seeking, a component of extraversion, was significantly correlated with psi performance in 5 of the experiments, with participants who scored above the midpoint on a scale of stimulus seeking achieving a mean effect size of 0.43. Skepticism about psi, issues of replication, and theories of psi are also discussed.
The term 'psi' denotes anomalous processes of information or energy transfer that are currently unexplained in terms of known physical or biological mechanisms. Two variants of psi are precognition (conscious cognitive awareness) and premonition (affective apprehension) of a future event that could not otherwise be anticipated through any known inferential process. Precognition and premonition are themselves special cases of a more general phenomenon: the anomalous retroactive influence of some future event on an individual’s current responses, whether those responses are conscious or nonconscious, cognitive or affective. This article reports 9 experiments, involving more than 1,000 participants, that test for retroactive influence by “time-reversing” well-established psychological effects so that the individual’s responses are obtained before the putatively causal stimulus events occur. Data are presented for 4 time-reversed effects: precognitive approach to erotic stimuli and precognitive avoidance of negative stimuli; retroactive priming; retroactive habituation; and retroactive facilitation of recall. The mean effect size (d) in psi performance across all 9 experiments was 0.22, and all but one of the experiments yielded statistically significant results. The individual-difference variable of stimulus seeking, a component of extraversion, was significantly correlated with psi performance in 5 of the experiments, with participants who scored above the midpoint on a scale of stimulus seeking achieving a mean effect size of 0.43. Skepticism about psi, issues of replication, and theories of psi are also discussed.
논문의 핵심 내용을 요약한 것이라고 말할 수 있는 초록을 먼저 보자면 그 내용을 요약하면 대략 다음과 같다.
- 'Psi'는 오늘날의 과학으로 설명되지 않는 에너지의 전환 과정이나 정보를 의미하며, 인지적 인식의 영역과 정동적 평가(affective apprehension)의 영역으로 나누어진다.
- 참가자 1천 명 이상이 참여한 실험 9건이 제시되었다. 여기서는 어떤 자극이 있기 전에 그에 대한 반응이 먼저 나타날 수 있음을 확인하고자 하였다.
- 이러한 psi는 불쾌한 자극의 회피, 성적 자극에 대한 반응, 소급적인 점화(priming), 소급적 습관화, 소급적 회상 촉진으로 나누어지는 것으로 확인되었다. 평균 효과 크기는 d=.22였고, 8건의 실험에서 유의미한 결과가 나타났다.
- Psi는 외향성의 구성 요소 중 하나인 자극 추구(sensation seeking)를 통해 예측될 수 있는 것으로 보인다. 이것이 높은 참가자들의 평균 효과 크기는 d=.43으로 훨씬 높았다.
논문에서 저자 벰은 자신의 연구가 굉장히 논쟁적(controversial)인 주제임을 인정했고 별도의 주석을 달아 "자신의 연구에 친절하게 협조하고 참여해 준 학생들과 학장, 교수들에게 감사드린다"는 감사의 글을 적었으며 서문에서는 심리학자들이 다른 사회과학자들이나 심지어는 자연과학자들보다도 초능력에 대해서 훨씬 더 회의적이라는 연구를 인용하기도 하는 등[7] 자신에게 주어진 현실을 잘 알고 있어 보인다. 그러면서 하는 말이 "너네들, 엄청난 주장에는 엄청난 근거가 필요하다며? 지금까지의 초심리학은 그만한 근거를 못 들고 왔지만 지금 내가 방법론적으로 쩔어주는 통계적 근거를 들고 왔거든? 내 실험 재현되는 것도 자신있거든? 그러니까 좀 믿지?" 정도의 내용이다. 이후에 나오는 것도 비슷한데 psi를 설명할 수 있는 이론이 없다고 해서 멀쩡히 존재하는 현상을 무조건 없다고 거부하면 안 된다든가, 최근의 사회인지적 연구나 심지어는 fMRI를 활용한 뇌 연구의 트렌드를 보더라도 내 연구는 전혀 동떨어진 주제가 절대 아니라든가 하는 식의 항변이다.
이 논문에서는 초록에서 밝혔듯이 총 9건의 실험들이 제시되고 있으며 성적 자극에 대한 전인지적 탐지 1건, 불쾌한 자극에 대한 전인지적 회피 1건, 소급적인 정동적 점화 2건, 소급적 습관화 및 지루함의 유도 3건, 소급적 회상 촉진 2건이다. 이 중에서 마지막 2건이 우리가 흔히 생각하는 "뭔가 신비한" 초능력에 가까운 느낌을 준다. 나머지는 그보다는 그냥 흔한 심리학 논문처럼 읽히는 주제들이다.
저자에 따르면 모든 실험 연구들은 가능한 한 동료 연구자들이 쉽게 이해하고 쉽게 재현할 수 있도록 설계되었다고 한다. 더 정교하고 현학적인 분석을 할 수도 있었지만 자칫 거짓으로 오해받을까봐 일부러 쓰지 않았다고 한다. 그 때문인지 사용된 통계적 분석 기법 역시 단일표본 t-검정이다.[8] 자칫 파일 서랍장 문제(file-drawer problem)[9]가 있다는 식으로 오해받을 수도 있겠지만 자기 연구 중에 결론이 유의하지 않게 나온 실험도 함께 섞여서 보고되어 있다고 밝혔다.
후반부에 나오는 재현성 관련 단락은 한번쯤 읽어 볼 만하다. 기존의 초심리학자들은 과학적 회의주의자들이 실험을 할 때 유의한 결과가 나오지 않는 것에 대해서 "저 아저씨들한테서 나쁜 기가 나와요.", "오늘은 컨디션이 안 좋아요." 따위의 애드혹 논증으로 무마하려고 했지만 여기서는 흥미롭게도 실험자 편향(experimenter bias)이라는 관점에서 설명하려고 했다. 물론 실험자 편향을 최소화하는 길은 맹검법을 쓰거나 아니면 다양한 기대를 갖고 있는 복수의 실험 진행자들을 동원하는 것이다. 그래서 벰도 실험조교들을 일부러 무선추출해서 그들의 psi에 대한 기대를 다양하게 하려 했다고 설명했다.
3. 학계의 반응과 저널의 변
이런 망측한 일이 벌어졌으니 학계가 당연히 가만히 있을 리 없었다. 벌떼처럼 들고 일어난 학자들이 많았지만 이 문서에서는 그러한 연구들을 종합해 메타 분석(meta-analysis)한 연구 하나만 인용한다.[10] 벰의 연구에서 가장 극적으로 초능력이라는 개념에 부합하는 실험은 8번과 9번 실험인데 이 논문에서는 수많은 재현 문헌들로부터 해당 연구 패러다임의 통계적 데이터들을 확인해서 비교해 보았다. 그러자 굉장히 유의한 결과로 밝혀진 벰의 논문과는 달리 다른 문헌들에서는 유의하지 않다는 결과가 나왔다.[11] 심지어 벰이 연구에 활용한 소프트웨어를 바꿔 보기만 해도 결과가 달라졌다.[12] 최종적으로 결정된 전체적인 효과 크기는 d= .04로, 이 정도라면 처음부터 그런 거 없다고 판단해도 무방한 수준인 셈이다. 한편 벰이 주장했던 외향적 성격의 주요 특성 중 하나인 감각추구(sensation seeking)의 경우에도, 후속 재현연구들을 메타분석하여 종합하자 r= -.03으로 의미가 없어졌다. 이에 연구자들은 벰의 당초 연구에서 놀랄 만한 유의한 결과가 나온 것은 단순히 1종 오류[13] 때문일 수 있다고 제안하였다.저널 입장에서도 사실 할 말은 있었다. 같은 호에 실렸던 편집장 코멘트(Editorial comment)를 요약해 보면 다음과 같다.
사회적 인지 분야의 탁월한 전문가들이 실시한, 극히 철저한 대규모의 리뷰 과정을 거친 후, 우리는 Daryl J. Bem의 논문을 게재하기로 결정했습니다. 우리는 또한 Wagenmakers, Wetzels, Borsboom, & Van der Maas의 코멘터리 역시 게재하기로 결정했습니다. 이 두 기사는 일반적인 엄격한 리뷰 과정을 통과하였습니다. 일부 독자들께는 우리가 Bem의 논문을 출판하기로 결정했다는 사실이 놀랍고 어리둥절하게 느껴질 것입니다. 해당 논문은 종래의 인과를 바꾸는 사회인지적 현상(예컨대 접근과 회피, 평가적 점화, 습관화, 회상 촉진)을 겨냥하고 있는 9건의 연구를 보고하고 있습니다. 원래의 패러다임에서 벗어나, 이 연구의 참가자들은 인과적 자극이 제시되기 전에 이미 그것에 대한 반응을 보였습니다. 우리는 보고된 연구 결과들이 인과관계에 대한 우리의 생각과 충돌한다는 것을 받아들이며, 그것들이 극도로 당황스럽다고 생각합니다. 그러나, 편집자로서 우리는 — 그것이 아무리 이상하게 보일지라도 — 이 논문이 확신하는 것이 엄격한 동료평가를 거친 다른 투고논문들과 동등한 자격으로 평가되어야 한다고 생각합니다. 저널 편집자로서 우리의 의무는 특정 가설을 옹호하려 하는 것이 아니라, 엄격한 리뷰 과정을 통하여 학계를 발전시키고 자극하는 것입니다. 현재의 두 논문이 재현성의 시도나 사회적 인지 및 태도의 더 적절한 연구방법에 대한 비판적인 사고를 비롯하여 향후 더 많은 논의를 촉발시키게 되기를 바랍니다.
After a rigorous review process, involving a large set of extremely thorough reviews by distinguished experts in social cognition, we are publishing the following article by Daryl J. Bem, entitled “Feeling the Future: Experimental Evidence of Anomalous Retroactive Influences on Cognition and Affect.” We have also decided to publish a commentary by Eric–Jan Wagenmakers, Ruud Wetzels, Denny Borsboom, and Han van der Maas entitled “Why Psychologists Must Change the Way They Analyze Their Data: The Case of Psi.” This too went through the usual rigorous review process. To some of our readers it may be both surprising and disconcerting that we have decided to publish Bem’s article. The paper reports nine studies in which the author aimed to “time-reverse” classic social-cognitive phenomena (e.g., approach–avoidance, evaluative priming, habituation, facilitated recall) by changing the typical order of cause and effect. In a deviation from the original paradigms, participants’ responses in these studies were obtained before the presentation of the causally effective stimuli. We openly admit that the reported findings conflict with our own beliefs about causality and that we find them extremely puzzling. Yet, as editors we were guided by the conviction that this paper—as strange as the findings may be—should be evaluated just as any other manuscript on the basis of rigorous peer review. Our obligation as journal editors is not to endorse particular hypotheses but to advance and stimulate science through a rigorous review process. It is our hope and expectation that the current two papers will stimulate further discussion, attempts at replication, and critical further thoughts about appropriate methods in research on social cognition and attitudes.
After a rigorous review process, involving a large set of extremely thorough reviews by distinguished experts in social cognition, we are publishing the following article by Daryl J. Bem, entitled “Feeling the Future: Experimental Evidence of Anomalous Retroactive Influences on Cognition and Affect.” We have also decided to publish a commentary by Eric–Jan Wagenmakers, Ruud Wetzels, Denny Borsboom, and Han van der Maas entitled “Why Psychologists Must Change the Way They Analyze Their Data: The Case of Psi.” This too went through the usual rigorous review process. To some of our readers it may be both surprising and disconcerting that we have decided to publish Bem’s article. The paper reports nine studies in which the author aimed to “time-reverse” classic social-cognitive phenomena (e.g., approach–avoidance, evaluative priming, habituation, facilitated recall) by changing the typical order of cause and effect. In a deviation from the original paradigms, participants’ responses in these studies were obtained before the presentation of the causally effective stimuli. We openly admit that the reported findings conflict with our own beliefs about causality and that we find them extremely puzzling. Yet, as editors we were guided by the conviction that this paper—as strange as the findings may be—should be evaluated just as any other manuscript on the basis of rigorous peer review. Our obligation as journal editors is not to endorse particular hypotheses but to advance and stimulate science through a rigorous review process. It is our hope and expectation that the current two papers will stimulate further discussion, attempts at replication, and critical further thoughts about appropriate methods in research on social cognition and attitudes.
- 이 논문에 대해 게재를 결정했고 이에 반발하는 Wagenmakers, Wetzels, Borsboom, & Van der Maas의 코멘터리 역시 게재하기로 결정했다. 둘 다 엄격한 심사를 통과한 것들이다.
- 독자 여러분이 이 사실에 대해 놀란 만큼, 우리 역시 이 논문의 데이터가 가리키는 것에 대해 놀랐으며, 이것이 우리의 지식과 충돌하고, 극도로 당황스럽다고 느낀다.
- 하지만 아무리 이상해 보여도 이 논문 역시 다른 논문들과 동등한 자격으로 평가해야 하는 게 옳다고 생각했다. 우리는 기존의 특정한 이해를 옹호하기 위해서가 아니라 학계를 발전시키고 자극시키기 위해 편집장 일을 하고 있다.
- 학계에서 이에 대한 많은 비판적인 논의가 이루어지게 된다면 그것이야말로 편집장으로서 정말 바라는 바일 것이다.
결국 요약하자면 우리는 특정 결론으로 우리의 출판 논문들의 방향을 이끌 생각이 없으며 데이터가 말하는 대로 따라가게 할 뿐이고 그것이야말로 저널 편집자로서 가져야 할 태도라는 얘기다. 이러한 현실을 두고 "정 데이터로 하여금 말하게 하겠다면 오히려 우리가 데이터를 평가하는 관점 자체를 바꾸어야 한다"고 일군의 연구자들이 절규하자 JPSP는 그 코멘터리도 쿨하게 나란히 실어 주었다.[14] 즉 이들의 입장은 어떤 연구가 아무리 이상해 보일지라도 그렇다고 해서 그것이 무조건 거짓일 거라고 반응하는 것은 오히려 폐쇄적이고 편협한 태도이며 그 발견으로 인해 발생할 혼란과 당혹스러움을 당당히 감당할 수 있어야 한다는 것이며 이를 계기로 학계에 많은 논의와 큰 변화의 바람이 부는 것은 오히려 편집자로서 환영할 만한 일이라는 것이다.
보다시피 저널의 입장도 아주 틀린 말은 아니며 학자적 양심과 나름의 연구 철학을 갖고 결정한 것이고 어느 정도 일리가 있는 말인 데다 그들이 예상했던 '더 많은 논의'는 실제로 사회심리학계의 수많은 유사 사건들과 절묘하게 겹치면서 소위 재현성 위기설이라는 거대한 나비 효과로 되돌아왔다.
문제는 기존의 JPSP의 출판 규정상 단순 논박을 위해 실시한 직접재현(direct replication) 연구는 게재가 불가능하다는 것이었다. 많은 과학 연구들은 분명히 독자성(originality)을 중요한 가치로 삼고 있으며 남들이 생각해내지 못한 무언가를 자신이 생각했다는 것을(그리고 그것이 꽤 설득력 있다는 것을) 보여주어야만 한다. 그런데 이에 따르면 남이 생각한 그것이 정말로 설득력이 있는지 검증하는 내용의 논문은 가치가 없다는 이상한 결론에 도달하게 된다. 실제로 화가 머리 끝까지 나서 부리나케 재현을 실시한 연구자들이 JPSP의 문을 두드렸을 때 이들은 "단순 재현 연구는 출판이 불가능하다"는 답변을 들어야 했다. 이는 학계에서 재현성이라는 이슈에 대해서 주목하게 되는 중요한 계기 중 하나가 되었으며 이들 중 일부는 아연실색하여 여러 과학적 회의주의 포럼이나 웹 게시판에 이 사건을 알리기도 했다.
실제로 위에서 소개한 바 있는 Galak et al.(2012)의 연구는 지금까지의 수많은 연구들을 메타분석한 결과를 표로 정리해 놓았더니 반수 이상의 데이터 세트가 "출판되지 않음"(Unpublished)으로 분류되었을 정도였다. 그렇다면 이들의 메타분석 연구는 어떻게 다시 JPSP에 실릴 수 있었는가 하면 원론적으로 메타분석 자체가 독자성이 있는 학술활동이라서 그렇다. 이런 분석기법은 단순히 남들의 연구를 인용하고 요약하는 수준에서 그치는 것이 아니다.
어쨌거나 벰은 아직까지는 초능력에 대한 자신의 확신을 버리지 않은 것으로 보인다. 그도 엄연히 제도권 학자에 속하기 때문에[15] 공식적이거나 비공식적으로 동료 학자들과 온갖 날선 코멘터리가 왔다갔다하며 방어해 오고 있다. 예시(PDF 자동 다운로드) 그래도 학계는 해당 논문을 흑역사 취급하고 있다. 지금까지도 그의 연구는 유의미한 것으로 간주되지 않고 있고 초능력도 여전히 허무맹랑한 개념으로 생각되고 있다.
4. 의의
우선 언급할 만한 것으로 위에서도 잠깐 지나갔던 재현성 문제를 들 수 있다. 2011년 이후 학계에서는 재현성에 대한 많은 자성이 일어났으며 재현성 연구를 하는 것에 대한 일체의 인센티브가 없다는 비판이 많이 이어졌다. 이 사건에서도 너도 나도 단순 재현성 연구를 해서 JPSP에 실어 보려고 애썼지만 결국 무위로 돌아가고 그것들을 정리한 메타분석 연구만이 게재에 성공했을 뿐이었다. 그런데 학계에서 출판에 실패했다는 얘기는 곧 그 학자의 커리어나 연구 업적에 대해서 아무런 영양가가 없다는 얘기랑 마찬가지다. 연구비는 연구비대로 들고 시간은 시간대로 드는데 대학교는 정교수직을 위해 테뉴어를 위해 연구자들을 한없이 몰아붙이는 상황이다. 이런 분위기에서 재현성 연구가 제대로 이루어지기는 요원할 따름이다.이 사건은 과연 "어떤 주제에서든 간에 통계적으로 유의한 결과가 나온다면 '데이터가 말하는 것'을 따라가야 하는가?"에 대한 궁금증을 불러일으킨다. 실제로 Wagenmakers 등이 지적한 바가 바로 그것이었다. 우선 학계에 어느 정도의 패러다임이라는 것은 존재하고 그런 거는 우리에게는 있을 리가 없다고 생각되어서 그 존재를 주장했다간 오히려 연구자가 욕을 먹는 경우도 존재한다. 그러나 (적어도 경험적으로 측정 가능한 주제이고 연구자가 연구부정행위를 하지 않은 이상) 무엇이 일단 통계적으로 충분히 유의미해 보인다면 어쩌면 그것에 기초하여 우리의 세계관을 뒤집을 필요가 있을지도 모른다. 여기서 학계의 많은 연구자들은 전자를 선택했고, 저널 편집위원들은 후자를 선택했다. 중요한 것은 'either-or'가 아니라 'both-and'일 수 있다는 것이다. 즉 둘 중에 어느 하나만을 취하고 다른 하나는 버리는 것이 아니라 데이터에 대한 두 가지 관점 사이에서 절묘한 줄타기를 할 필요가 있을 수 있는 것이다.
마지막으로 문제의 논문은 흔히 학술계량에서 활용되는 피인용수(number of citation)의 한계를 지적하는 사례로 활용되기도 한다. 2016년 5월 구글 스콜라 기준으로 확인되는 피인용수는 대략 500회에 좀 못 미치는 수준이었는데 심리학 분야에서 이 정도는 많은 것은 아니지만 그래도 그 분야의 상당한 학자들에게 읽히고 있다는 얘기다. 그러나 피인용수의 결정적 한계점은 그것이 정말로 지지와 옹호를 위해 인용한 것인지[16], 아니면 동일한 저자가 자기인용을 한 것인지, 아니면 도리어 비판하기 위해서 인용했거나 심지어 반면교사로 삼기 위해서 인용한 것인지 등을 구분할 수 없다는 것이다. 적어도 학계에서 벰의 의견에 찬동하며 나타난 동료 연구자는 딱히 없는 것 같다. 그 말인 즉슨 이 논문은 400~500회 가량 줄기차게 비판받고 있다는 말이다.
5. 참고 사례
보통 의학에서 최상급 저널을 꼽는다면 The Lancet, NEJM, JAMA, BMJ를 꼽는데 모두 게재 거절 비율이 90%를 넘는 무시무시한 저널들이다. BMJ는 매년 12월 크리스마스 이슈를 내는데, 여기에 장난성이 강한 논문을 게재하는 전통이 있다.[18] 이 논문도 2001년 크리스마스 BMJ에 실렸는데 내용은 환자들을 위해 기도해 준 뒤 기도하지 않은 그룹과 치료결과를 비교하는 것이다. 문제는 이 기도가 원격(remote)[19]에서 소급적(retroactive)[20]으로 한 것이라는 점이다. 저자는 농담 반으로 신에게 시간이 무조건 선형적이라고 가정할 수 없으므로 상관 없다고 써 놨다.
Leibovici는 장난성으로 제임스 린드의 괴혈병 드립을 치면서 "야 우리 옛날에도 작용 기전 이딴 거 모르고 라임 먹었는데 기도 함 해봐도 되지 않겠냐??"고 논문을 마무리 짓는데 얼마 후에 논문 내용을 너무 진지하게 받아들이는 사람들 때문에 논란이 생기자 "말도 안 되는 가설을 엄밀하게 설명하는 논문이 있다면 어떻게 읽어야 할까요?"라며 본인의 의도를 설명하는 코멘트를 올렸다. 여기서 저자는 자신의 논문에 대해 'non-study'라면서 아무리 방법론적으로 맞는 것처럼 보여도 실험 내용 자체가 현실과 동떨어져 개연성이 떨어진다면 처음부터 잘못된 실험이라고 설명했으며 마지막에 "이 논문은 종교와 아무 관련이 없습니다. 저는 기도가 종교를 믿는 분들께는 진정한 위로와 도움이 될 수 있다고 생각합니다. 그렇지만 그걸 가지고 임상실험을 진행해야 한다고는 생각치 않습니다."라고 덧붙였다. 한마디로 데이터나 실험 방법이 형식적으로 옳다고 해서 제대로 된 실험연구가 되는 것은 아니라는 것이다.
그렇지만 이후에도 이 논문을 진지하게 받아들이는 사람들이 있어서 진지하게 기도가 환자의 건강에 득이 될 수 있다는 주장을 하는 사람들이 줄기차게 인용하고 있으며 이러한 일련의 사건들은 BMJ의 크리스마스 장난에 회의적인 시각을 불러오는 계기가 되기도 했는데 BMJ는 세계적으로 매우 권위가 높은 저널이고, 그런 저널에 이런 장난질을 영구적으로 남기면 불가피하게 오독이 생긴다는 주장이다. 여러모로 생각할 거리를 많이 던져주는 연구다.
사실 BMJ 크리스마스 이슈에 실리는 논문들은 종종 정치적/과학철학적 주장을 함의한다. 예를 들어 Smith & Pell(2003)은 증거 기반 의학(EBM)의 극단적인 신봉자들을 까며 "낙하산의 안전성을 검증하는 이중맹검을 통한 무작위의 임상시험이 없다고 비판하는 사람들은 낙하산의 안전성을 검증하기 위해서 너네들이 한 번 낙하산 없이 뛰어내려 봐라"는 요지의 논문[21]을 게재한 바 있다.
어쨌든 이 사례는 본문의 초능력 논문과는 완전히 다른 경우다. 초능력은 저자가 정말로 진지하게 믿고 연구한 것이고 신앙치료 쪽은 저자 자신도 장난으로 쓴 것이기 때문이다.
6. 관련 문서
[1] Bem, D. J. (2011). Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect. Journal of personality and social psychology, 100(3), 407. "미래 예측하기: 인지 및 정동에 관련된 비정상적인 소급적 영향의 실험적 근거"[2] Volume 100, Issue 3, 2011.[3] 단, 학계의 추앙까지는 없었으므로 "교과서적인" 사례라고 말하기는 어렵다.[4] 2018년 11월 기준으로 구글 스콜라에서 확인되는 Advances in Experimental Social Psychology에 실린 벰의 1972년 논문의 피인용수는 7500회가 넘었다.[5] 물론 이 이론을 오늘날 곧이곧대로 받아들이는 심리학자들은 더 이상 없다. 현재까지 미국심리학회(APA)에서 말하는 동성애의 원인은 "아마도 유전과 환경의 상호작용 뭐 그런 거겠지만 어쨌건 현재로썬 알 수 없음" 정도다.[6] 《Psychological Bulletin》 에 게재되었던 것으로, Bem & Honorton(1994) 참고. 물론 이것도 학계에 의해 탈탈 털렸다. 특히 리처드 와이즈먼에게.[7] Wagner & Monnet, 1979.[8] 물론 t-검정 자체가 데이터의 정규성을 가정하므로, 이를 보완하기 위해 비모수적 이항검정을 함께 실시하였다.[9] 연구자가 자기 가설을 입증해 주지 않는 데이터는 슬쩍 숨기고 출판하는 경향을 말한다. 이와 관련하여 p-해킹 문서도 함께 참고.[10] Galak, LeBoeuf, Nelson, & Simmons, 2012.[11] 벰의 연구에서 CI= .13~ .45, 재현 문헌에서 CI= -.02~ .07.[12] 벰의 SW에서 CI= .02~ .17, 다른 SW에서 CI= -.04~ .07.[13] Type 1 error. 영가설의 잘못된 기각을 의미한다.[14] 실제로 많은 저널들에서 이렇게 상반되는 내용의 논문들을 나란히 놓고 함께 읽히는 일은 무척 흔하다.[15] 이쯤에서 노파심에 언급하지만 벰이 타락한 과학자라거나 재야과학자라거나 하는 인물은 절대 아니므로 절대로 오해하면 안 된다.[16] 즉 이 연구가 옳다는 가정을 토대로 자신의 연구를 진행했다는 의미인지[17] Leibovici, L. (2001). Effects of remote, retroactive intercessory prayer on outcomes in patients with bloodstream infection: randomised controlled trial. BMJ, 323(7327), 1450-1451.[18] 물론 편집자와 저자가 사전에 협의한 것이며, 편집자 쪽에서 요청한 논문인 경우가 많다.[19] 환자 얼굴도 안 보고 진료 기록만 가지고 기도한 것.[20] 이미 치료가 끝나고 결과가 나온지 4~10년 후에 기도한 것.[21] Smith, G. C. S., & Pell, J. P. (2003). Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ, 327, 1459.