불확실한 시대, 예측은 어떻게 가능한가?

『신호와 소음』은 2012년 치러진 미국 대통령 선거 결과를 정확하게 예측한 통계학자 네이트 실버가 자신의 통계학과 예측 철학을 담아낸 책이다. 통계학을 기반으로 어떻게 잘못된 정보(소음)을 거르고 진짜 의미 있는 정보(신호)를 찾을 것인지에 대해 다룬다. 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘미래’를 제대로 예측하는 방법에 대해서 설명한다.

책은 크게 두 부분으로 나뉘는데, 1부와 2부에서는 예측 문제를 진단하고, 3부와 4부에서는 베이즈주의적 해법을 적용하고 탐구한다. 각 장은 특정한 주제를 깊이 있게 다룬다. 특히 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 사후 확률을 개선해 나가는 ‘베이즈 정리’ 등 저자만의 예측 비법이 어떻게 실제 현장에서 활용되는지 자세히 살펴볼 수 있다.

오바마 재선 당시, 50개 주의 결과를 모두 맞힌
‘예측의 천재’ 네이트 실버의 슈퍼 베스트셀러!

2012년 치러진 미국 대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면 단연 통계학자이자 정치 예측가인 네이트 실버(Nate Silver)다. 선거 결과에 대한 그의 예측은 타의 추종을 불허할 정도로 정확했다. 유명한 정치 평론가나 정치학자들도 그의 예측 기술에 놀랐으며 심지어 그의 예측을 불신했던 것에 대해 공개적으로 사과하기도 했다. 네이트 실버가 자신의 예측 방법론을 총정리한 《신호와 소음(The Signal and The Noise》도 하룻밤에 베스트셀러가 되었다. 《뉴욕타임스》에서 15주 연속 베스트셀러에 올랐으며, 《아마존》에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다.
《신호와 소음》은 통계학을 기반으로 어떻게 잘못된 정보(‘소음’)을 거르고 진짜 의미 있는 정보(‘신호’)를 찾을 것인지에 대한 책이다. 네이트 실버는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘미래’를 제대로 예측하는 방법에 대해서 설명하고 있다. 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다.

출판사 서평

엄청난 정보망을 자랑하는 미국은 왜 진주만 공습과 9.11테러를 예측하지 못했을까?
왜 내로라하는 경제학자들도 경제 위기의 무수한 신호들을 무시했을까?
낯선 속옷이 발견됐을 때, 배우자가 바람을 피우고 있을 확률은 얼마나 될까?
선거 결과는 왜 항상 언론과 전문가의 예측을 벗어날까?

빅 데이터가 당신의 눈을 가리고 있다
진짜 ‘신호’에 귀를 열어라

시카고대학에서 경제학을 전공한 네이트 실버는 2002년 회계컨설팅회사인 KPMG에 입사했지만 엉뚱한 일을 벌이기 시작했다. 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타(PECOTA)를 개발한 것이다. 놀라운 적중률로 명성을 얻은 실버는 통계확률기법을 카지노에서 전략적으로 이용해 단번에 1만 5000달러를 따고 회사를 그만뒀다. 이후 포커판에서 수십만 달러를 긁어모았고, 그동안 쌓인 통계학과 예측의 노하우를 활용해, 정치 예측을 하는 블로그인 파이브서티에이트(FiveThirtyEight.com)를 2008년에 개설했다.
《뉴욕타임스》의 자매 블로그가 된 파이브서티에이트는, 2008년 대선에서 미국의 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원을 맞혔다. 네이트 실버는 엄청난 유명세를 탔고 많은 사람들이 그의 예측에 주목하기 시작했다. 그러다 보니 2012년 미국의 대선에서는 그가 블로그에 글을 올릴 때마다 공화당과 민주당이 비중 있는 논평을 내놓기에 바빴다. 오바마와 롬니가 박빙으로 경쟁하는 와중에 첫 후보 간 토론회가 열렸고 그 뒤엔 여론조사기관 대부분이 롬니의 승리를 예측했다. 그러나 실버는 오바마의 승리를 점쳤고, 결과는 50개 주의 결과를 모두 맞힌 그의 승리로 끝났다.

대통령 선거, 월드컵 우승, 주식의 등락…
미래 예측의 패러다임을 바꾼 새로운 통찰!

슈퍼스타가 된 네이트 실버는 단 한 권의 책을 썼는데, 그것이 바로 《신호와 소음》이다. 이 책은 2008년 금융 위기와 유명한 정치 전문가의 선거 결과 오판 등 예측 실패 사례들을 분석한다. 또한 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 여러 분야를 분석하며 (매일 엄청난 데이터가 생성되는) ‘빅 데이터’ 시대에 왜 그렇게 많은 예측들이 빗나가는지 묻는다. 저자는 정보가 많다고 예측이 쉬워지는 것은 아니라고 말한다. 이는 정확한 정보인 ‘신호’와 이를 방해하는 ‘소음’을 잘 분리해 잡아내지 못하기 때문이다. 그는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 ‘베이즈 정리’ 등 자신만의 예측 비법을 소개하고 이를 실제 현장에서 활용하는 법도 자세히 설명한다. 실버는 자잘한 것을 무시한 채 커다란 아이디어를 추구하는 사람보다는 여러 분야의 지식을 아우르며 다양한 시도를 하는 사람, 실수를 인정하고 복잡한 상황과 정보를 잘 견디며 이론보다는 관찰을 중시하는 사람이 더 정확하게 미래를 예측할 수 있다고 말한다.

빅 데이터 시대… 넘치는 정보 속에서
움직이는 과녁을 맞히는 예측의 비법

《신호와 소음》에 대한 반응은 놀라웠다. 《뉴욕타임스》, 《월스트리트저널》, 《가디언》 등이 극찬했으며, 《뉴욕타임스》에서 15주 연속 베스트셀러에 오르고, 《아마존》에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다.
많은 한국 독자들도 이 책을 오랫동안 기다려 왔는데, 최윤식(미래학자, 《2030 대담한 미래》 《미래학자의 통찰법》 저자), 송길영(다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자), 이종대(트리움 이사), 한상기(소셜컴퓨팅연구소 대표) 등 미래학과 경제, IT계의 내로라하는 명사들이 한국어판의 출간을 반기며 추천해 주었다. 여러 경제연구소나 정당, 기업에서도 《신호와 소음》의 한국어판 출간에 대해서 큰 관심을 보였는데, “북한과의 관계 및 미국, 유럽의 경제 상황에 따라 늘 요동치는 환경에 사는 한국인이 꼭 읽어야 할 필독서”라는 미래학자 최윤식의 추천사처럼, 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다.

추천사

아주 재미있는 책이다. 북한과의 관계 및 미국, 유럽의 경제 상황에 따라 늘 요동치는 환경에 사는 한국인이 꼭 읽어야 할 필독서다.
_최윤식 미래학자, 《2030 대담한 미래》 《미래학자의 통찰법》 저자

《신호와 소음》의 메시지는, 맞혀야 할 과녁이 움직일 뿐 아니라 모양 또한 변화하는 빅 데이터 시대에 반드시 귀 기울여야 한다.
_송길영 다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자

데이터의 홍수 속에서 정확하고 가치 있는 예측을 뽑아내기 위한 힌트를 얻을 수 있을 것이다.
_이종대 트리움 이사

베이즈 정리와 같은 이론적 토대의 중요성을 명쾌하게 설명하고, 예측을 꾸준히 업데이트하면서 지식을 쌓고 정확하게 자기를 인식하는 것이야말로 ‘미래를 손에 잡는 법’임을 일깨워준다. _한상기 소셜컴퓨팅연구소 대표

《신호와 소음》은 최근 십 년 동안 출간된 수많은 책들 가운데서도 가장 중요하게 꼽을 만하다.
_《뉴욕타임스》

쾌활한 문체 덕분에 까다롭기 짝이 없는 통계학 관련 서술이 쉽게 읽힌다. 게다가 그가 펼치는 주장이나 언급하는 사례는 모두 공들여 조사하고 분석한 결과다. 주註의 분량이 엄청난 걸 보면 저자가 조사와 분석에 얼마나 공을 들였는지 짐작할 수 있다.
_《월스트리트저널》

2012년 치러진 미국 대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면 단연 통계학자이자 정치 예측가인 네이트 실버다. 예측이 정확하게 맞아떨어지자, 그가 쓴 책도 하룻밤에 베스트셀러가 되었다.
_《가디언》

《신호와 소음》은 많은 것을 이야기한다. 가장 중요한 것은 정보화 시대를 살아가는 현대인에게 절대적으로 필요한 능력인, ‘신호’로 포장된 ‘소음’을 가려내고 제거할 수 있는 방법이다. _《에스콰이어》

책속으로 추가
알기 쉽게 예를 들어보자. 당신은 결혼한 사람이다. 그런데 당신이 출장을 마치고 집에 와보니 처음 보는 속옷이 당신 옷장 서랍 속에 들어 있다. 당신은 아마도 자신에게 물을 것이다.
‘나의 배우자가 날 속이고 바람을 피우고 있을 확률은 얼마나 될까?’
여기에서 ‘조건’은 당신이 문제의 그 속옷을 발견했다는 것이고, 당신이 관심을 가지고 참과 거짓을 평가하려는 ‘가설’은 당신의 배우자가 바람피운다는 것이며, 당신은 그 확률을 구하고자 한다. 베이즈 정리는, 믿거나 말거나, 이런 종류의 의문에 해답을 제시한다. 다음 세 가지 변수의 값을 안다면 (또는 기꺼이 그 값을 추정하고자 한다면) 당신은 그 확률을 정확
하게 계산할 수 있다.
(…)
만약 이 세 개의 값을 추정했다면, 베이즈 정리를 적용해 ‘사후확률posterior possibility’을 계산할 수 있다. 이것이 바로 우리가 알려는 확률, 즉 낯선 속옷이 등장한 상황에서 배우자가 바람을 피우고 있을 확률이다. 이 계산을 유도하는 간단한 대수식과 계산값을 〈도표 8-3〉에서 정리했다.

(8. 베이즈 정리│이기는 도박꾼은 어떻게 베팅하는가)

테러리스트들로부터 받는 신호와 관련해서도 마찬가지다. 이런 점이 특히 심각한 위험을 야기한다. 진주만 공습과 마찬가지로, 9·11테러 이전에도 이 사건을 암시하는 신호는 많았다. 이를테면 다음과 같은 것들이다.
비행기가 무기로 사용될 가능성에 대한 경고가 최소한 10건이 있었다. 예컨대, 1994년에 알제리 테러리스트들은 제트비행기를 납치해 에펠탑으로 돌진하겠다고 위협했고, 또 1998년에는 알 카에다와 관련이 있는 집단이 폭발물을 실은 비행기로 세계무역센터를 들이받으려고 했다.
세계무역센터는 이전에도 테러리스트들의 표적이 된 적이 있다. 1993년에 람지 유세프Ramzi Yousef가 공모자들과 함께 저지른 폭탄 테러로 여섯 명이 사망했는데, 이들은 세계무역센터를 폭파하려고 했다.
알 카에다는 지극히 위험하고 또 창의적인 테러 조직으로 알려져 있다. 1990년에 케냐와 탄자니아의 미국 대사관에 폭탄 테러를 자행해 224명을 살해했고 2000년에는 예멘에서 미 해군 구축함을 공격했던 것처럼 대규모 공격을 감행하는 조직이었다.
미국 국무장관 콘돌리자 라이스Condoleezza Rice는 2001년 7월에 알 카에다의 위협이 고조되고 있으며 테러의 목표가 미국 바깥이 아닌 미국 영토 안에 있다는 내용의 경고를 받았다. CIA 국장 조지 테닛George Tenet은 이렇게 말했다. “육감입니다만, 뭔가 다가오고 있는 것 같습니다. 이번에는 엄청나게 큰놈으로 보입니다.”
2001년 8월 16일에 자카리아스 무사위Zacarias Moussaoui라는 이슬람 근본주의자가 체포되었다.
9· 11테러 직전이었다. 50시간 남짓 비행 훈련을 받았던 무사위는, 단독 비행은 단 한 차례도 해보지 않았음에도 보잉 747기의 시뮬레이션 훈련을 받으려 했다. 비행기 조종사 면허증을 따기에도 턱없이 부족한 경험으로 대형 민간항공기 조종술을 배우겠다는 그의 행동은 아주 수상쩍었다.
(...)
그러나 9· 11위원회가 추론하듯이, 테러를 사전에 포착하지 못한 실패의 가장 중요한 원천은 상상력의 부족이다.

(13. 테러│진주만 공습과 9·11테러의 공통점)

나는 왜 이 책을 추천하는가: 여기에 당신의 미래가 보인다
송길영(다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자)

들어가며: 신호와 소음

I. 예측에 대한 근본적인 의문들
1. 경제│경제 붕괴, 왜 전문가들은 예상하지 못했는가
2. 정치│내가 선거 결과를 맞힌 비법
3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가

II. 움직이는 과녁을 맞혀라!
4. 기상│예측의 진보, 허리케인과 카오스의 원뿔
5. 지진│라퀼라의 재앙을 아무도 예상하지 못하다
6. 평균과 불확실성│숫자에 속지 마라
7. 전염병│신종플루부터 에이즈까지

III. 미래를 내 손에 움켜쥐는 법
8. 베이즈 정리│이기는 도박꾼은 어떻게 베팅하는가
9. 체스│컴퓨터가 인간처럼 미래를 내다볼 수 있을까
10. 포커│상대방의 허풍을 간파하는 법

IV. 보이지 않는 손이 세상을 움직인다
11. 주식│개인은 절대 시장을 이길 수 없을까
12. 지구온난화│얄팍한 선동인가 과학적 진리인가
13. 테러│진주만 공습과 9·11테러의 공통점

나오며: 예측은 어떻게 가능한가

옮긴이의 말: 세상을 바라보는 새로운 눈

주註