몬티홀 문제: 선택장애의 끝판왕

왜 사람들은 줘도 못 먹었는가: IQ가 228이 아니었기 때문이었다

몬티홀 문제는 겉으로 보면 시시한 퀴즈쇼 문제다. 문이 세 개 있고, 그중 하나에는 자동차가 있다. 나머지 두 문 뒤에는 염소가 있다. 참가자는 문 하나를 고른다. 그러면 사회자가 남은 문 중 염소가 있는 문 하나를 열어준다. 그리고 묻는다.

처음 고른 문을 그대로 밀고 갈 것인가. 아니면 남은 다른 문으로 바꿀 것인가.

많은 사람은 여기서 멈칫한다. 문이 이제 두 개 남았으니 반반 아닌가. 자동차가 있을 확률도 반, 염소가 있을 확률도 반 아닌가. 그런데 이 직관이 틀렸다.

정답은 바꾸는 것이다. 처음 선택을 유지하면 성공 확률은 1/3이다. 바꾸면 2/3이다.

이 문제의 잔인함은 계산이 어렵다는 데 있지 않다. 계산은 단순하다. 잔인한 것은 사람이 자기 첫 선택을 너무 쉽게 믿고, 새 정보가 들어와도 그 믿음을 잘 버리지 못한다는 데 있다.

이 문제는 어디서 왔나

몬티홀 문제의 이름은 미국 TV 게임쇼 《Let's Make a Deal》의 진행자 몬티 홀에서 왔다. 쇼 제목은 말 그대로 “거래 한번 해보자”에 가깝다. 참가자는 문, 상자, 커튼 뒤에 숨은 상품을 놓고 진행자와 거래한다. 눈앞에 보이는 현금 봉투를 받을 수도 있고, 더 큰 상품이 있을지 모르는 문을 고를 수도 있다. 욕망과 불안이 무대 위에서 거래되는 쇼였다.

몬티 홀은 이 쇼의 원조 사회자이자 공동 창작자였다. 그는 작가이자 프로듀서였던 Stefan Hatos와 함께 이 프로그램을 만들었다. 《Let's Make a Deal》은 1963년 NBC에서 시작해 ABC와 신디케이션을 거치며 미국 게임쇼 역사에 남았다.

진행자 계보를 봐도 몬티 홀의 위치는 분명하다. 원조는 Monty Hall이었다. 1990년 NBC 부활판 초반에는 Bob Hilton이 진행했지만 반응이 좋지 않았고, 결국 Monty Hall이 다시 투입됐다. 2003년판에서는 Billy Bush가 진행했고, 2009년 CBS 부활판 이후 현대판에서는 Wayne Brady가 진행을 맡았다. 그래도 이 쇼의 얼굴은 여전히 몬티 홀이다.

초기 관객들은 평범한 옷차림으로 스튜디오에 왔다. 그런데 어느 순간 사람들은 몬티 홀의 눈에 띄기 위해 괴상한 복장과 사인을 들고 나타나기 시작했다. 알려진 일화에 따르면 한 여성이 몬티 홀의 눈에 띄려고 사인을 들고 온 뒤, 관객들은 점점 더 과한 방식으로 자신을 꾸미기 시작했다. 해적, 고릴라, 이상한 모자, 과장된 의상들이 객석을 채웠다. 쇼는 단순한 퀴즈쇼가 아니라, 선택받기 위해 스스로를 구경거리로 만드는 무대가 됐다.

자동차, 염소, Zonk

몬티홀 문제에서 상품은 자동차와 염소로 단순화된다. 자동차는 욕망이고, 염소는 조롱이다. 참가자는 자동차를 꿈꾸며 문을 고르지만, 문 뒤에는 염소가 있을 수 있다.

실제 《Let's Make a Deal》에서는 현금, 자동차, 여행권, 가전, 가구 같은 상품이 나왔다. 반대로 꽝 상품도 있었다. 이 쇼에서는 그것을 Zonk라고 불렀다. Zonk는 단순한 실패가 아니라 관객의 웃음을 위해 준비된 실패였다. 참가자는 자동차를 기대하다가 말도 안 되는 물건이나 우스꽝스러운 상품을 받는다. 기대가 무너지는 장면 자체가 쇼의 일부였다.

1970년대 상품 목록에는 Plymouth Duster, Chrysler New Yorker Brougham, Triumph TR-6 roadster, 1973 AMC Hornet station wagon, Opel Manta Luxus, 1973 Cadillac Eldorado convertible, Chevrolet Vega Kammback Estate wagon, Chevrolet Caprice Estate wagon, Chevrolet Caprice Classic, MGB roadster 같은 차종들이 등장한다. 문제 속 자동차가 그냥 추상적인 자동차가 아니라, 그 시대 미국인이 실제로 탐냈을 만한 물건이었다는 점이 중요하다.

이 무대에서 자동차와 염소는 단순한 상품이 아니다. 인간이 원하는 것과 피하고 싶은 것이 세 개의 문 뒤에 숨겨진다.

문제의 구조

문은 세 개다. 자동차는 하나다. 염소는 둘이다. 참가자는 먼저 하나의 문을 고른다.

처음 선택이 맞을 확률은 1/3이다.

P(C₁) = 1/3

처음 선택이 틀렸을 확률은 2/3이다.

P(C₂ ∪ C₃) = 2/3

여기서 중요한 사람은 사회자다. 사회자는 자동차가 어디 있는지 알고 있다. 그리고 참가자가 고르지 않은 문 중에서 반드시 염소가 있는 문 하나를 연다. 그는 자동차 문을 열지 않는다.

사회자는 그냥 문 하나를 연 게 아니다.
정답을 알고 꽝 하나를 골라서 제거했다.

그래서 사회자가 염소 문 하나를 열어도, 처음 선택한 문이 갑자기 더 좋은 선택이 되지는 않는다. 처음 선택은 여전히 1/3짜리 선택이다. 반대로 처음 선택이 틀렸을 확률 2/3은 남아 있던 다른 문으로 몰린다.

그러므로 바꾸면 2/3, 유지하면 1/3이다.

베이즈 정리로 보면 더 차갑다

참가자가 1번 문을 골랐다고 하자. 사회자가 3번 문을 열었다고 하자. 이제 우리는 묻는다. 1번 문에 자동차가 있을 확률은 얼마인가. 2번 문에 자동차가 있을 확률은 얼마인가.

베이즈 정리는 이렇게 쓴다.

P(A | B) = P(B | A)P(A) / P(B)

여기서 Cᵢ는 자동차가 i번 문 뒤에 있다는 뜻이고, H₃는 사회자가 3번 문을 열었다는 뜻이다.

알고 싶은 것은 이것이다.

P(C₁ | H₃)

자동차가 1번에 있으면 사회자는 2번이나 3번 중 아무 염소 문이나 열 수 있다. 그래서 3번을 열 확률은 1/2이다.

자동차가 2번에 있으면 사회자는 반드시 3번 문을 열어야 한다. 참가자가 1번을 골랐고, 자동차는 2번에 있으므로, 남은 염소 문은 3번뿐이다. 그래서 확률은 1이다.

자동차가 3번에 있으면 사회자는 3번을 열 수 없다. 거기에는 자동차가 있기 때문이다. 그래서 확률은 0이다.

전체적으로 사회자가 3번 문을 열 확률은 다음과 같다.

P(H₃) = P(H₃ | C₁)P(C₁) + P(H₃ | C₂)P(C₂) + P(H₃ | C₃)P(C₃)

값을 넣으면 이렇게 된다.

P(H₃) = 1/2 × 1/3 + 1×1/3 + 0×1/3

P(H₃) = 1/6 + 1/3 = 1/2

이제 1번 문이 자동차일 확률을 구하면 된다.

P(C₁ | H₃) = P(H₃ | C₁)P(C₁) / P(H₃)

P(C₁ | H₃) = (1/2 × 1/3) / (1/2)

P(C₁ | H₃) = 1/3

처음 고른 1번 문은 여전히 1/3이다. 그렇다면 남은 2번 문은 2/3이다.

P(C₂ | H₃) = 2/3

결론은 변하지 않는다. 바꾸는 것이 낫다.

IQ 228 여자가 답했을 때 벌어진 일

이 문제를 수학 지면에 먼저 올린 사람은 통계학자 Steve Selvin이었다. 그는 1975년 《The American Statistician》에 ‘A Problem in Probability’라는 제목으로 이 문제를 소개했다. 그러나 그때만 해도 이 문제는 학계 안의 조용한 확률 퍼즐에 가까웠다.

이 문제가 폭발한 것은 1990년이었다. 《Parade》 잡지의 ‘Ask Marilyn’ 칼럼에 독자 Craig F. Whitaker가 이 문제를 보냈다. 칼럼니스트는 Marilyn vos Savant였다.

Marilyn vos Savant는 그냥 잡지 칼럼니스트가 아니었다. 그녀는 기네스북에 최고 IQ 기록으로 등재됐던 인물이다. 10세 때 Stanford-Binet 계열 지능검사에서 정신연령 22년 10개월로 계산되어 IQ 228이라는 수치가 알려졌다. Guinness Book of World Records는 그녀를 ‘Highest IQ’ 항목에 올렸고, 이후 그 범주 자체를 폐지했다.

그녀는 이 문제에 대해 간단히 답했다. 바꾸는 것이 맞다. 확률은 2/3이다.

그 한 줄이 미국을 뒤집었다.

약 1만 통의 편지가 쏟아졌다. 그중 거의 1천 통은 박사 학위자들이 보낸 것으로 알려져 있다. 많은 사람들이 그녀가 틀렸다고 했다. 문이 두 개 남았으니 확률은 반반이라고 했다. 그녀가 기초 확률도 모른다고 비웃었다.

그런데 틀린 것은 그녀가 아니었다. 그들이었다.

이 사건이 흥미로운 이유는 단순히 정답이 2/3였기 때문이 아니다. 사람들은 사회자의 역할을 보지 못했다. 사회자는 그냥 문 하나를 연 것이 아니다. 그는 정답을 알고 있었고, 일부러 꽝 하나를 제거했다.

그 정보가 확률을 바꿨다.

Marilyn vos Savant라는 인물

Marilyn vos Savant의 본명은 Marilyn Mach이다. 1946년 미국 미주리주 St. Louis에서 태어났다. 그녀는 어린 시절부터 높은 지능으로 알려졌지만, 가족은 그 기록이 상업적으로 이용되는 것을 원하지 않았고 평범한 어린 시절을 지키려 했다는 이야기가 있다. 흥미로운 점은 그녀 자신도 IQ라는 숫자를 절대적인 지능의 증명처럼 떠받드는 태도에는 냉소적이었다는 점이다. 세계 최고 IQ라는 간판을 달고 살았지만, 정작 지능을 숫자 하나로 재단하는 방식 자체를 신뢰하지 않았던 셈이다.

그녀는 Washington University in St. Louis에서 철학을 공부하다가 그만뒀고, 이후 가족의 투자와 사업 쪽에서 일했다. 경제적 기반을 만든 뒤에는 글쓰기를 하러 뉴욕으로 갔다. 1986년 《Parade》가 그녀를 소개했고, 독자 질문이 쏟아지면서 ‘Ask Marilyn’ 칼럼이 만들어졌다.

이 칼럼은 단순한 상담 코너가 아니었다. 논리 퍼즐, 수학 문제, 언어 문제, 생활 질문이 뒤섞인 대중 지성 코너였다. 사람들은 그녀에게 질문을 보냈고, 그녀는 짧고 단호한 답을 했다. 몬티홀 문제는 그중 하나였을 뿐이다.

그녀는 Robert Jarvik과 결혼했다. Jarvik은 Jarvik-7 인공심장 개발자로 유명한 의사이자 발명가다. 세계 최고 IQ로 알려진 여성과 인공심장 개발자의 결합은 그 자체로 기사거리였다. 그녀는 Jarvik Heart, Inc.의 CFO를 맡기도 했다. 이후에도 그녀는 칼럼니스트, 작가, 퍼즐 제작자, 강연자로 활동했고, Parade에서 숫자 퍼즐 Numbrix도 시작했다.

하지만 몬티홀 논쟁에서 중요한 것은 그녀의 IQ가 아니다. 중요한 것은 IQ 228이라는 숫자를 달고 있어도, 사람들이 자기 직관과 충돌하는 답 앞에서는 그녀를 믿지 않았다는 점이다.

몬티홀 논쟁 이후에도 그녀는 논리와 확률 문제로 독자들과 계속 충돌했다. 대표적으로 ‘두 아이 문제’처럼 조건 설정에 따라 답이 달라지는 문제에서 독자들의 반박이 이어졌다. Fermat's Last Theorem 관련 저술에서는 Andrew Wiles의 증명에 대한 비판으로 논란을 만들기도 했다. 그녀가 늘 완벽한 신탁이었다는 뜻은 아니다. 그러나 몬티홀 문제에서 그녀는 맞았다.

몬티 홀은 어떤 사람이었나

몬티 홀의 본명은 Monty Halparin이다. 캐나다 Winnipeg 출신이다. 그는 원래 의사가 되고 싶었지만 의대 진학에 실패했다. 훗날 그는 유대인 입학 제한 문제를 언급했다.

젊은 시절 Max Freed라는 후원자가 그의 대학 학비를 도와줬고, 이 경험은 훗날 그의 자선 활동과 연결된다. 몬티 홀은 TV로 얻은 명성과 돈을 자선 모금에 크게 사용했다. 가족 추산으로 그는 생애 동안 거의 10억 달러에 가까운 자선 모금을 한 것으로 알려져 있다.

이 점이 묘하다. 쇼 속의 몬티 홀은 사람들 앞에 자동차와 염소를 세워놓고 선택하게 만든 인물이다. 그는 인간의 욕망을 너무 잘 아는 쇼맨이었다. 참가자에게 더 큰 것을 바라게 만들고, 동시에 꽝을 두려워하게 만들었다.

그런데 실제 삶의 몬티 홀은 그 명성을 이용해 자선 모금에 뛰어든 사람이었다. 젊은 시절 자신이 도움을 받아 공부를 이어갔던 경험은 훗날 그의 자선 활동과 겹쳐 보인다. 확률 문제의 이름으로 남은 사람. 그러나 실제로는 욕망만큼 선의도 잘 다루던 사람.

몬티홀 문제의 이름 뒤에는 그런 아이러니가 있다.

문이 네 개라면 어떻게 될까

몬티홀 문제는 문이 세 개일 때 가장 유명하다. 그런데 문이 네 개라면 어떨까.

문이 네 개 있고, 자동차는 하나, 염소는 셋이라고 하자. 참가자가 문 하나를 고른다. 사회자는 남은 문 세 개 중 염소가 있는 문 하나만 열어준다. 그러면 닫힌 문은 세 개가 남는다. 처음 고른 문 하나와, 고르지 않은 닫힌 문 두 개다.

처음 선택을 유지하면 확률은 1/4이다.

P(유지) = 1/4

처음 선택이 틀렸을 확률은 3/4이다. 사회자가 염소 하나를 열어도 이 3/4의 가능성은 사라지지 않는다. 그것은 내가 고르지 않은 닫힌 두 문에 나뉘어 남는다.

남은 두 문 중 하나로 무작위로 바꾸면 확률은 다음과 같다.

P(변경) = 3/4 × 1/2 = 3/8

따라서 문이 네 개인 경우에도 바꾸는 것이 유리하다. 다만 세 문 문제처럼 2/3까지 올라가지는 않는다.

유지하면 1/4이다. 바꾸면 3/8이다.

정답이 여러 개라면 어떻게 될까

몬티홀 문제는 정답이 하나일 때 가장 깔끔하다. 하지만 정답이 여러 개라면 어떨까.

선택지가 n개 있고, 그중 정답이 r개라고 하자. 내가 하나를 먼저 고른다. 그리고 정답을 아는 사회자가 내가 고르지 않은 선택지 중 꽝 하나를 열어준다. 이때 처음 선택을 유지할 확률은 단순하다.

P(유지) = r/n

바꾸는 확률은 조건에 따라 달라진다. 사회자가 꽝을 하나 제거하고, 내가 남은 닫힌 문 중 하나를 무작위로 고른다면, 정답의 수와 꽝의 수에 따라 계산이 달라진다. 정답이 하나뿐일 때는 바꾸는 쪽이 강하게 유리하다. 정답이 여러 개여도, 꽝 제거 정보가 믿을 만하면 바꾸는 쪽이 유리할 수 있다.

그러나 정답이 너무 많고 꽝이 적으면 이야기가 달라진다. 예를 들어 문 네 개 중 세 개가 정답이고 꽝이 하나라면, 사회자가 꽝을 열어줬다는 사실은 별로 강한 정보가 아니다. 애초에 대부분의 문이 정답이기 때문이다. 이 경우에는 몬티홀식 “무조건 바꿔라”가 그대로 작동하지 않는다.

결국 문제는 정답의 수다. 정답이 하나뿐이면, 바꾸는 전략은 날카롭다. 정답이 여러 개면, 바꿀 것인지 말 것인지는 게임의 구조에 따라 달라진다.

현실은 몬티홀보다 더 지저분하다

몬티홀 문제를 현실에 그대로 가져오면 위험하다. 현실에는 사회자가 없다. 누가 정답을 알고 있는지도 모른다. 누가 염소 문을 열어주는지도 모른다. 열어준 문이 진짜 염소인지도 모른다.

현실에서 “열린 염소 문”은 내 가설이 틀렸음을 보여주는 데이터일 수 있다. 실패의 조짐일 수 있다. 현장 경고일 수 있다. 시장 변화일 수 있다. 기존 판단을 무너뜨리는 외부 변화일 수 있다.

하지만 그것이 항상 몬티홀 문제처럼 깨끗한 정보는 아니다. 챌린저 우주왕복선 폭발 사고에서 엔지니어들의 O-ring 경고는 발사 결정을 다시 생각하게 만드는 정보였다. 낮은 기온에서 O-ring이 제대로 작동하지 않을 수 있다는 경고가 있었지만, 과거 발사 성공 경험과 일정 압박이 그 정보를 눌렀다.

Semmelweis의 손 씻기 데이터도 마찬가지였다. 19세기 Ignaz Semmelweis는 의사들이 손을 씻으면 산욕열 사망률이 크게 떨어진다는 사실을 발견했다. 그러나 당시 의료계는 의사가 병을 옮긴다는 생각을 받아들이기 싫어했다. 데이터가 기존 권위와 자존심을 건드렸기 때문이다.

Kodak의 디지털 카메라는 필름 사업의 미래를 흔드는 정보였다. Kodak은 디지털 카메라 기술을 일찍 보유했지만, 필름 중심 수익 모델을 쉽게 버리지 못했다. 디지털 전환이라는 정보가 들어왔는데도 과거의 성공 모델이 선택을 붙잡은 셈이다.

이런 사례들은 몬티홀 문제와 같은 수학 구조는 아니다. 선택지가 정확히 세 개도 아니고, 정답을 아는 사회자도 없으며, 꽝 하나가 안전하게 제거되는 조건도 없다. Abraham Wald의 생존자 편향 사례는 몬티홀보다는 보이지 않는 표본 문제에 가깝고, Yom Kippur War의 정보 오판은 확증편향과 정보기관 오판에 가깝다. McNamara의 body count는 잘못된 지표 집착에 가깝다. Zodiac Killer 암호 수사는 연결성이 약하다.

그러나 공통점은 있다. 새 정보가 들어왔는데도 사람과 조직은 처음 선택을 버리지 못한다.

처음 선택을 바꾸는 것은 계산 문제가 아니라 자존심 문제가 된다. 이미 투자한 시간과 돈, 조직의 체면, 과거의 성공 경험, 권위자의 확신이 사람을 처음 고른 문 앞에 붙잡아둔다.

인생은 문 개수도 정답 개수도 모른다

몬티홀 문제는 계산할 수 있다. 문이 몇 개인지 알고, 정답이 몇 개인지 알고, 사회자가 어떤 규칙으로 움직이는지도 안다.

문은 3개다. 정답은 1개다. 사회자는 정답을 알고 있다. 사회자는 반드시 꽝 하나를 열어준다. 사회자는 절대 정답을 열지 않는다.

그래서 우리는 말할 수 있다. 처음 선택을 유지하면 1/3이고, 바꾸면 2/3이라고.

하지만 인생은 그렇게 친절하지 않다.

우리는 문이 몇 개인지도 모른다. 정답이 몇 개인지도 모른다. 지금 보고 있는 꽝이 진짜 꽝인지도 모른다. 누가 사회자인지도 모른다. 그 사람이 정답을 알고 있는지도 모른다. 그 사람이 나를 도와주는지, 속이는지도 모른다.

몬티홀 문제에서 어려운 것은 선택이 아니다. 바꾸면 된다.

인생에서 어려운 것은 선택이 아니다. 내가 지금 어떤 게임 안에 들어와 있는지 모른다는 것이다.

정답이 하나뿐인 시험인지, 정답이 여러 개인 시장인지, 정답이 시간이 지나며 바뀌는 게임인지, 아니면 애초에 정답은 없고 살아남는 길만 있는지 모른다.

그래서 인생의 진짜 문제는 문 뒤에 무엇이 있는지가 아니다.

문이 몇 개인지 모른다. 정답이 몇 개인지 모른다. 꽝을 열어준 사람이 누구인지도 모른다.

몬티홀 문제는 우리에게 바꾸라고 말한다. 그러나 인생은 그보다 더 잔인한 질문을 던진다.

너는 지금 네가 무슨 게임을 하고 있는지 알고 있느냐.