과학연구의 충격적 실체를 폭로한 킹스칼리지런던 심리학자의 자성적 탐사연구보고서
“인간의 욕망이 진리를 넘어설 때 과학은 픽션이 된다”
가짜 실험, 데이터 누락, 통계 오류, 심리 조종, 사진 조작까지
유명 학자들의 조작, 편향성, 부주의, 과장의 실태

세상 모든 원리를 설명하는 학문이자 체계적 지식의 근간인 과학에 오류가 있다면 인류가 지금껏 이뤄낸 지식의 결과를 믿을 수 있을까. 과학계 최고 수준의 저널인 〈네이처〉, 〈사이언스〉에 발표했지만 조작, 편향, 부주의, 과장을 이유로 철회되는 논문만 한 해에 수백 편에 이른다는 발표는 많은 이들에게 충격을 주었다. 심지어 가짜 논문을 가려내는 연구를 저널에 발표하는 실정이다.

《사이언스 픽션》은 연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭날 수 있었던 과학의 근본적인 정신과 진정한 가치를 다시금 생각하는 기회를 제공한다. 또한 대니얼 카너먼(프라이밍 현상에 대한 실험) 같은 대중 과학 서적의 저자부터 필립 짐바르도(스탠퍼드 감옥 실험), 스탠리 밀그램(권위에 대한 복종 실험), 황우석(인간 배아 복제 실험) 등 세기의 연구자라 칭송받던 이들의 화려한 과학 업적 뒤에 숨은 인간의 욕망과 동료들의 비윤리적 행동, 과학계의 부패한 현실을 낱낱이 파헤친다.

“과장은 했지만 허위는 아니다?”
학문 윤리와 연구 윤리에 관한 적나라한 고발과 반성

유명인들의 허위 경력 기재나 논문 표절은 심심하면 사회적 이슈가 되는 드물지 않은 문제다. 그만큼 많은 사람들에게 학문에 대한 도덕불감증이 심각한 현실이다.
영국의 심리학자 스튜어트 리치는 신간 《사이언스 픽션》에서 전 세계적으로 학계 내부에 만연한 기준 미달의 연구와 불량 논문에 대한 실태를 파악하고 낱낱이 내부고발한다. 학자들의 “그릇된 ‘탐구욕’이 어떻게 ‘탐욕’이 되는가?”를 추적하는 이 책은 대학생, 대학원생, 교수 등 연구를 하거나 논문을 쓰는 사람이라면 누구나 읽어야 할 필독서다.

“우리는 과학이라는 도구를 옳게 쓰고 있는가”
연구와 논문, 저널을 둘러싼 나쁜 과학의 현주소를 고발하다
2018년, 프랜시스 아널드 캘리포니아공대 교수는 생명체의 화학 반응에서 촉매 역할이 되는 효소 단백질의 인공 개량법을 개발한 공로로 노벨화학상을 받았다. 2년 뒤 그는 세계적인 과학 전문 학술지 〈사이언스〉에 실린 자신의 효소 관련 논문을 철회한다고 발표했다. 〈사이언스〉는 아널드 교수의 연구 결과가 재현되지 않을 뿐만 아니라 논문의 제1저자가 연구 노트의 일부를 누락했다는 것을 이유로 들었다. 다행스럽게도 그는 자신의 논문 철회를 인정하며 공개적으로 사과하는 메시지를 전달했다.
2012년 〈플로스 원(PLOS ONE)〉에 발표된 자료에 따르면, 1928년부터 2011년 사이에 철회된 논문이 4,449개에 이른다고 한다. 간단히 살펴보면 그중 의심스러운 데이터/해석이 42퍼센트, 데이터 조작 같은 연구 부정 행위에 따른 철회 비율이 20퍼센트에 달한다. 문제는 시간이 갈수록 각종 저널에 발표된 논문 중 철회되는 논문의 수가 증가하고 있다는 점이다.
이러한 추세를 반영하듯 논문 철회와 관련된 정보를 공개하고 각 과학자들의 논문 철회 횟수를 기준으로 순위를 발표하는 ‘리트랙션 워치(retraction watch)’라는 웹사이트도 등장해 과학계에 대한 자성의 목소리를 높이고 있다. 해당 사이트에서는 일종의 역 노벨상 후보를 발표하듯 논문 철회 횟수를 기준으로 순위를 발표한다. 놀랍게도 모든 철회 논문 중 25퍼센트가 단지 2퍼센트의 과학자들이 발표한 논문이라고 한다.
물론 ‘모든 숫자에는 노이즈가 포함돼 있다’는 자연의 법칙처럼 어떤 연구자든 논문이든 오류를 피할 수는 없다. 프라이밍 현상에 대한 실험(대니얼 카너먼), 파워 포즈 이론(에이미 커디), 스탠퍼드 감옥 실험(필립 짐바르도), 권위에 대한 복종 실험(스탠리 밀그램), 인공 기관지 이식에 관한 연구와 수술(파올로 마키아리니), 인간 배아 복제 실험(황우석), 만능줄기세포(오보카타 하루코) 등이 대표적이다.
대중 과학을 비롯해 최신 연구에 관심 있는 사람이라면 누구라도 알 만한 과학자들이 발표한 논문 중에도 실수나 과장된 자료들이 포함돼 학계를 혼란스럽게 만든 사례는 이제 너무나 흔한 일이다. 문제는 이러한 과학계의 현실을 어떻게 받아들이고 과학 연구를 검증하는 시스템이 지닌 단점을 어떻게 보완해나갈 것인가 하는 점이다. 바로 그런 질문과 함께 과학계의 현주소를 《사이언스 픽션》에서 만날 수 있다.

과학자에게 너무 당연해서 잊힌 명제
“재현되지 않으면 과학이 아니다!”
과학자는 세상 모든 현상에 대한 체계적 지식을 위해 연구한다. 그들은 자신의 연구에 대한 신뢰도와 검정력을 확보해주는 다양한 실험과 데이터를 토대로 결과를 도출해 논문을 쓴다. 해당 연구를 논문에 발표하려면 동료 평가 과정을 거쳐야 한다. 이때 동료 평가자들은 논문에 조작·편향·부주의한 실수·과장은 없는지, 연구에 등장하는 실험이 재현 가능한지(replicability) 등을 검증한다.
“우리 자신이 관찰한 것조차도 반복 관찰되거나 엄격한 테스트를 통과하기 전까지는 새로운 발견이라거나 과학적 관찰이라고 받아들여서는 안 된다.”
이렇게 과학철학자 칼 포퍼가 말했듯, 반복 재현되지 않는 실험 연구는 진정한 과학이라 할 수 없기 때문이다.
논문이 동료 평가를 통과하면 과학 전문 학술지 〈사이언스〉와 〈네이처〉를 비롯해 전 세계 수많은 학회에서 발행하는 저널의 편집자들이 저널에 논문을 실어 발표한다. 이후 논문은 또 다른 과학자들이 인용하는 횟수를 통해 다시 한번 과학적 지식으로서의 가치를 인정받는다. 대표적으로 구글 학술검색에서 과학자들의 논문을 검색해보면 h-지수(n번 인용된 적이 있는 논문을 n편 보유)로 해당 과학자의 연구 성과를 간접적으로 확인할 수 있다. 여기까지가 논문 한 편이 발표돼 과학적 지식으로 거듭나는 과정이다.

“수단이 목표가 되면 길을 잃고 만다”
살라미 슬라이싱, 미끼 저널, 자기 인용, 자기 표절이 만든 논문 대량 생산 시대
스튜어트 리치는 이러한 논문 발표 시스템이 곧 ‘과학이 사회적 구조물’이라는 특성을 드러낸다고 말한다. 과학자, 동료 평가자, 편집자, 그리고 조금 더 확장해 논문을 인용하려는 또 다른 과학자까지, 논문 한 편에 연결된 사람들에 의해 해당 논문은 신뢰할 만한 과학적 지식이라는 타이틀을 얻는다. 동시에 리치는 사회적 구조물이라는 특성이 단점으로 작용할 수도 있다고 지적한다.
논문 발표 횟수로 인센티브를 제공하는 학계의 관행과 과학자로서의 명성을 얻기 위해 나쁜 연구자들이 주도하는 살라미 슬라이싱(salami slicing), 즉 논문 대량 생산 현상이 대표적이다. 실제로 인간의 23쌍 염색체에 대한 분석 결과를 23개의 각각의 단일 논문으로 쪼개거나 항우울제의 효과를 연구한 후 인구 집단별로 실험군과 대조군만 살짝 바꿔 논문을 쪼개 발표한 사례들이 등장한다. 한 예로, 2018년에 심리학자 로버트 스턴버그가 자신이 편집장으로 있던 〈심리과학의 전망〉 저널에서 물러나기도 했다. 자신의 논문을 인용해 저널의 사설을 씀으로써 자신의 h-지수를 올렸다는 것이 이유다. 이에 스튜어트 리치는 “지표 자체가 목표가 되면 더 이상 좋은 지표로서의 기능을 상실한다”고 한 굿하트의 법칙이 과학계에서도 증명되고 있는 셈이라고 말한다.

“연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭나기까지”
조작, 편향성, 부주의, 과장으로 훼손되기 쉬운 과학의 가치를 지키는 법
리치는 《사이언스 픽션》에서 과학자들을 위한 도덕적 기준을 제시함과 동시에 기술적 기준도 함께 제시한다. 또한 그러한 기준을 충족시키지 못한 과학 논문과 과학자들의 사례를 책 전반에 걸쳐 소개한다. 과학자들이 갖춰야 할 기준으로서 1942년에 사회학자 로버트 머튼이 주창한 네 가지 머튼 규범(Mertonian Norms), 즉 보편주의(universalism), 사심 없음(disinterestedness), 공동체성(communality), 조직적 회의주의(organized scepticism)를 제시한다. 이를 풀어서 말하면 과학적 지식은 인종, 성별, 나이, 성적 취향, 소득, 사회적 배경, 국적 등에 따라 차별적으로 판단되거나 돈, 정치, 이념, 개인적 이해, 명성을 위해 좌우되어서는 안 되며, 과학자들은 모든 지식을 서로 공유하되 각자의 주장을 액면 그대로 받아들여서는 안 된다는 것이다.
한편 과학 연구에서 발생하는 오류, 즉 의도적 조작, 연구자의 편향, 단순한 부주의, 연구를 과장하는 심리에 의해 철회된 논문들의 사례들도 소개한다. 리치는 “왜 무(無)가 아니고 무언가가 있는 걸까?”라는 철학적 질문을 인용하며 ‘연구를 시작하면 항상 무언가를 발견해내는 현상’이 팽배한 과학계의 현실에 대해서도 문제를 제기한다. 대표적으로 가장 흔하게 사용하는 통계값 중 하나인 p-값과 ‘통계적 유의미성’이라는 표현을 예를 들며 과학 연구 과정과 결과가 연구자 개인에 의해 얼마나 좌우될 수 있는지를 설명한다.

성과를 포장해서 발표한 이 시대의 베스트셀러 목록
“과연 과학적으로 신뢰할 수 있는가?”
저자는 이 책에서 에이미 커디(《자존감은 어떻게 시작되는가》의 저자), 캐럴 드웩(《마인드셋》의 저자), 매슈 워커(《우리는 왜 잠을 자야 할까》의 저자), 존 바그(《우리가 모르는 사이에》의 저자) 등과 같은 대중 과학 베스트셀러 저자들이 실제 연구 성과를 과장해 발표하고 있는 현실을 꼬집는다. 정확성도 떨어지고 좋은 내용은 없다는 것이 그의 주장이다.
리치가 제시하는 대안 중 대표적인 몇 가지는, 연구 방법의 타당성이 보장되는 재현 연구를 전문으로 실어주는 〈플로스 원〉과 같은 ‘메가 저널’, 과학 연구 전 과정에 가능한 한 모두가 참여할 수 있는 ‘오픈 사이언스’ 연구, 연구의 가설을 미리 제출해 실험의 목적과 결과를 모두 알 수 있도록 하는 ‘연구 사전 등록 제도’ 등이다. 이러한 모든 과정의 목적은 결국 진리를 추구하는 과학이라는 도구의 가치를 되새기는 것이기도 하다.
그의 주장을 요약하면 과학 논문의 반복 재현 위기를 자초한 것은 과학자 자신들인 셈이다. 과학의 가치를 지켜야 할 사람은 다름 아닌 과학자 자신이다. 모든 연구에 오류가 있고, 모든 데이터에 노이즈가 있다고 하더라도 학자로서의 양심, 동료 평가라는 객관적 시스템을 거쳐 나쁜 과학, 나쁜 연구를 걸러낼 때 과학의 가치를 지켜낼 수 있다.

우리가 그동안 ‘사실’이라고 맹신했던 과학적 연구 결과에 대한 검증을 요구하는 이 책은 잘못된 연구와 논문에 대항할 수 있는 최소한의 무기가 되어줄 것이다.

서문_과학은 사회적 활동이자 인간의 실수를 드러내는 도구

제1부_픽션을 닮은 과학
제1장_과학은 어떻게 작동하는가
논문 출판과 동료 평가의 세계
과학은 사회적 활동이다
제2장_반복 재현의 위기 - 과학의 위기를 자초한 학자들
짐바르도와 밀그램의 실험
과학의 위기
과학계를 위협하는 불확실성
출판된 논문이 거짓으로 판명되다

제2부_실수와 오류를 은폐하는 학자들의 속마음
제3장_조작 - 논문 사기가 만들어낸 새로운 진실
최악의 과학 사기 사건 - 파올로 마키아리니의 인공 기관지 이식
놀랍도록 간단한 과학 사기 - 조작
얼마나 많은 논문이 철회되는가
측정 오차와 샘플링 오류
과학 사기가 어려울까, 진짜 연구가 어려울까
과학계에서 얼마나 많은 조작이 이뤄지는가
과학 사기꾼들의 프로필
무엇이 조작을 하게 만드는가
논문 조작의 파급 효과
과학 사기의 패착, 신뢰를 무너뜨리다
제4장_편향 - 실패한 실험 결과가 사라지다
확률과 p-값
출판 편향과 메타 분석
p-해킹
데이터 오버피팅과 결과 스위칭
이해충돌, 선한 의도 편향 - 과학의 사회정치적 성격
새뮤얼 모턴과 스티븐 제이 굴드의 반전
편향이라는 인간의 본성
제5장_부주의 - 통계에 감춰진 명백한 실수들
통계 불일치와 불가능한 계산값
모든 숫자에는 노이즈가 포함돼 있다 - 무작위화의 실패
오류를 알면서도 공유하는 환경
연구 설계의 기본 원칙 - 무작위화와 블라인딩
통계적 검정력
통계적 검정력이 후속 연구에 미치는 영향
낮은 통계적 검정력의 위험성 - 후보 유전자의 사례
과학의 역할에 관한 고찰
제6장_과장 - 그들의 언어를 알면 진실이 보인다
과장 보도 자료
대중 과학 서적의 함정
과장으로 넘치는 과학 저널
마이크로바이옴의 속사정
우리가 먹는 모든 것이 암과 관련이 있는가 - 영양학의 진실
예상치 못한 결과를 처리하는 방식

제3부_잃어버린 과학의 정신을 되찾는 길
제7장_비뚤어진 인센티브 - 논문 대량 생산의 시대
출판물과 연구 지원금과 고용 기준
살라미 슬라이싱 현상과 미끼 저널
h-지수와 자기 인용, 자기 표절
수단이 목표가 되면 길을 잃고 만다 - 굿하트의 법칙
나쁜 과학의 자연 선택
‘발표하지 않으면 사라진다’는 논문 발표 시스템
제8장_과학을 고치기 위한 시작
모든 연구에는 오류가 있다
재현 연구의 투고 - 통계적 유의성에 대해 편견 없이 판단하기
p-값을 없애면 모든 문제가 사라질까
다중 우주 분석의 보완 - 연구 사전 등록 제도
모두가 자유롭게 참여하는 과학 - 오픈 사이언스
저널 출판 시스템의 변화 - 사전 인쇄
건강한 과학 커뮤니티를 만드는 데 필요한 연구 성과 평가 제도
유레카에 대한 환상 - 학문은 원래 지루한 법이다
과학의 진짜 위기는 따로 있다 - 과학자와 회의주의자

에필로그_우리에게 필요한 것은 진리다
감사의 글
부록_학술 논문 읽는 법