틴매일경제

동전앞면 나와야 이기는 게임
무한대로 돈 딸수도 있지만
대부분 참가비 부담에 포기
합리적 선택의 한계 보여줘

"인생은 탄생과 죽음 사이의 선택이다"라는 격언은 프랑스 철학자 장폴 사르트르가 한 말로 잘못 알려져 있지만 우리 대다수가 처한 상황을 잘 요약해준다. 우리 인생은 선택의 연속이다. 우리는 오늘 점심 메뉴를 무엇으로 할지, 어느 대학의 어느 과를 갈지 등 다양한 선택 상황에 노출된다. 게다가 우리는 가장 좋은 선택을 하기를 원한다. 그런데 가장 좋은 선택이란 무엇일까? 기분 내키는 대로 선택했다가 후회하지 않으려면 어떤 기준에 따라 선택해야 할까?

결정 이론(decision theory)은 우리가 처한 선택 상황과 선택의 원리를 탐구하는 학문이다. 결정 이론이 말하는 선택의 원리는 어떤 것일까? 우선 행위의 합리성부터 시작해보자. 내가 서울에서 부산까지 가려고 한다고 해보자. 나는 버스나 기차, 비행기를 탈 수 있다. 나는 버스를 타면 멀미를 하고, 고소공포증 때문에 비행기를 못 탄다. 그래서 기차가 버스보다 비싸고 비행기보다 느리더라도 나는 기차를 선호한다. 나는 부산까지 가려는 목적이 있고, 내게 주어진 상황에서 (멀미, 고소공포증, 비용 등) 최선의 방법으로 그 목적을 달성하려고 한다. 이 경우 내가 기차를 타는 행위는 도구적으로 합리적이다. '도구적'은 목적에 가장 잘 부합한다는 뜻이고, '합리적'은 행위에 이유가 있다는 의미다.

도구적으로 가장 합리적인 행위를 선택하기 위해서는 선택지가 되는 행위들을 비교할 수 있어야 한다. 수학자와 경제학자들은 이를 정교하게 비교할 수 있는 방법을 고안해냈다. 우선 우리는 우리에게 주어진 선택지들을 선호순으로 나열한다. 여기에서 1등인 선택지를 고르면 되는가? 아직 멀었다. 그다음으로 우리는 선택지들의 정확한 보상과 (학자들은 이를 '효용'으로 부른다) 그것이 실현될 확률을 알아야 한다. 아무리 보상이 커도 확률이 작은 선택지를 택하는 건 위험하기 때문이다. 효용과 확률을 곱한 것을 기대효용이라고 한다. 학자들은 기대효용을 최대화하는 행위를 하라는 게 선택의 원리라고 말한다.

수학자, 경제학자, 심리학자들은 사람이 실제로 기대효용을 최대화하는 선택을 하려고 한다고 전제하고, 그들이 실제 어떻게 선택하고 행동하는지를 연구한다. 반면 철학자들은 사람이 실제로 어떤 선택을 하느냐는 사실의 문제보다 사람들이 어떤 선택을 해야 하느냐는 규범의 문제를 연구한다. 철학자들은 선택의 원리가 있다면 우리가 그렇게 선택해야만 한다고 말한다. 그렇다면 철학자들에게 질문은 이것이다. 우리는 기대효용을 최대화하는 방식으로 선택해야 하는가?

이런 도박을 상상해보자. 앞면과 뒷면이 나올 확률이 각각 2분의 1로 동일한 동전을 앞면이 나올 때까지 던진다. 앞면이 나오면, 앞면이 나온 회차가 n회 차일 때 도박꾼은 2*n의 상금을 얻는다. 예를 들어 처음 던져서 앞면이 나오면 2*1=2를 가져가고, 두 번째 던져서 앞면이 나오면 2*2=4를 가져가는 식이다. 이 게임을 하기로 선택해야 할까?

동전 던지기 도박에서 기대효용 최대화 원리를 적용해보자. 이 도박의 전체 기대효용을 계산하기 위해서는 동전이 n회 차에 앞면이 나오는 각 경우의 기대효용들을 더해야 한다. 예를 들어 1회 차 보상은 2*1=2이고, 확률은 1/2이므로 기대효용은 2*(1/2)=1이다. 또 2회 차 보상은 2*2=4이고, 확률은 1/4이므로 기대효용은 1이다. 어떤 회차에도 기대효용은 1이다. 동전은 앞면이 나올 때까지 원칙상 무한히 던질 수 있으므로 이 효용들은 무한히 더해질 수 있다. 그러면 기대효용은 1+1+1+… 무한이 된다. 누가 이 게임을 안 하겠는가?!

그런데 이 게임은 뭔가 수상하다. 게임 입장료가 1000억원이라고 하자. 당신은 액수가 과하다고 생각할 것이다. 하지만 기대효용 최대화 원리에 따르면 당신은 그럼에도 이 게임을 해야만 한다. 당신의 입장료는 얼마이건간에 유한한 액수이지만 당신의 기대효용은 무한하기 때문이다. 물론 당신은 1000억원을 낼 수는 있기 때문에 거대한 액수의 입장료가 요구될 수 있다는 데는 논리적 모순이 없다. 하지만 이 결론은 행위의 합리성에 관한 상식을 거스른다. 기대효용은 무한이지만 동전이 언제 앞면이 나오든지 받는 상금은 유한한 액수일 것이다. 그런 게임을 하기 위해 무지막지한 입장료를 내야 하는 건 불합리해 보인다. 이는 '상트페테르부르크 역설'로 알려져 있는 문제 상황이다.

많은 학자가 이 게임의 선택의 불합리함을 여러 방법으로 해소하려고 해왔다. 우선 상금 지불을 위한 금액이나 동전 던지는 횟수는 실제로 무한할 수 없다. 또 우리의 효용은 금액이 늘어나는 만큼 늘어나지 않는다(이는 잘 알려진 한계효용 개념이다). 마지막으로 사람들은 실제로 1000억번째 던지기에서 앞면이 나오는 것과 같은 미미한 확률을 무시하기 때문에 무한한 경우를 다룰 필요가 없다. 하지만 철학자들은 선택의 규범 원리, 즉 어떤 선택 상황에서도 적용돼야 할 원리를 찾고 있다. 따라서 이 게임이 금액, 횟수, 한계효용, 실제 사람들의 효용 계산 등 현실적 한계를 갖고 있다고 하더라도, 그런 한계가 없거나 그것을 무마하는 조건이 추가된 상황을 항상 만들 수 있다. 규범 원리는 그런 상황에도 적용돼야 하고, 기대효용의 최대화 원리는 여전히 그런 상황에 적용될 수 없어 보인다.

물론 상트페테르부르크 게임은 우리가 흔히 접하는 상황이 아니다. 하지만 기대효용 최대화 원리가 이 게임에 적용되지 않는다면 이 원리는 보편성을 잃는다. 그러면 우리는 평범한 선택 상황에서 이 원리를 적용할 수 있는지 재고해봐야 할 것이다. 우리는 좋은 선택의 원리를 다시 찾아야 할 수도 있다. 도박은 멀리하되, 도박이 주는 교훈은 심각하게 받아들여야 하는 이유다.

▶▶ 한충만 선생님은…

△연세대 철학과 박사과정△상상국어모의고사 출제위원△대원여고 인문학 강사