과학과 수학의 불확실성 – (8)수학기초론과 괴델의 불완전성 정리


(1) 확실한 지식? 2020. 3. 3. 
(2) 기하학적 사유의 확실성 – 1. 2020. 3. 3.
(3) 기하학적 사유의 확실성 – 2. 2020. 3. 10.
(4) 포르투나와 사피엔티아, 또는 확률적 사유. 2020. 3. 17.
(5) 19세기의 과학과 수학. 2020. 3. 24.
(6) 하이젠베르크의 불확정성 원리. 2020. 3. 31.
(7) 거짓말쟁이의 역설과 양자역학의 서울 해석. 2020. 4. 7.
(8) 수학기초론과 괴델의 불완전성 정리. 2020. 4. 14. 
(9) 인식론의 문제. 2020. 4. 21.
(10) 과학과 수학은 확실한 지식을 주는가? 2020. 4. 21.

글: 김재영 (녹색아카데미)


하이젠베르크의 불확정성 원리가 등장할 무렵에 수학 분야에서 불완전성 정리가 나타났다는 것은 의미심장한 일이다. 1930년 쾨니히스베르크에서 열린 “엄밀 과학의 인식론”이란 제목의 학술회의에서 이제 막 박사학위를 받은 24살의 젊은 수학자 쿠르트 괴델이 학술회의의 마지막 날 조용히 엄청난 함의를 지닌 발언을 했다.

괴델은 참이지만 증명할 수 없는 수론(산술)의 명제가 있을 수 있음을 증명했다고 말했다. 학술회의에서는 이 짤막한 발표가 거의 반향을 불러일으키지 않았다. 1931년에 발표된 논문 “『수학의 원리』 및 관련된 체계에서 결정할 수 없는 형식명제에 관하여”에는 이 발표가 정교하고 세련된 증명과 함께 명료하게 서술되어 있다.

그에 따르면, 정수론(산술)을 포괄하는 임의의 공리계에 대하여 그 형식체계가 무모순성이라면, 결정할 수 없는 명제가 존재한다. 이것이 바로 괴델의 불완전성 정리의 내용이다. 여기에서 “결정할 수 없는”(unentscheidbar)이라는 말은 그 명제가 참임을 증명할 수도 없고 거짓임을 증명할 수도 없다는 의미이다. 이것은 다음과 같이 요약된다.

“고전적인 수학이 형식적으로 무모순성이라고 가정할 때, 이 형식체계 안에서 내용상 실제로 참이면서도 증명할 수 없는 명제의 예를 제시할 수 있다.”

[그림 1] 쿠르트 괴델과 아인슈타인. 1950년. 미국 프린스턴. (출처: Austria-Forum)

존 폰노이만은 괴델이 발표한 결과로부터 놀라운 따름정리를 얻었다. 괴델의 증명은 어떤 정수론의 형식체계 S가 무모순성이라고 가정하면 참이면서도 증명할 수 없는 명제 G를 만들 수 있다는 형식으로 되어 있다.

만일 형식체계 S의 무모순성이 S 안에서 증명될 수 있다면, G도 S 안에서 증명될 수 있다. 왜냐하면 괴델이 증명한 결과로부터 S가 무모순성이라면 G가 참임을 알 수 있기 때문이다.

그런데 G가 S 안에서 증명될 수 있다는 것은 괴델이 증명한 결과와 모순된다. 이 모순을 피하기 위해서는 “형식체계 S의 무모순성이 S 안에서 증명될 수 있다면”이라는 가정을 포기해야만 한다. 그러므로 괴델의 결론은 “산술 체계의 무모순성을 그 체계 안에서는 증명할 수 없다.”라는 따름정리로 이어진다. 

사실 괴델은 폰노이만보다 앞서 이 따름정리를 이미 증명했으며, 이것이 제2 불완전성 정리의 내용이다. 그러면 앞의 주장은 제1 불완전성 정리라 부른다. 제2 불완전성 정리를 괴델의 정리라고 부르는 경우도 있다. 

괴델의 불완전성 정리가 혁명적인 것임을 이해하기 위해서는 독일의 수학거장 다비드 힐버트로 거슬러 올라갈 필요가 있다. 1900년에 프랑스 파리에서 열린 제2차 국제수학자대회에서 힐버트는 “수학의 문제들”이란 제목의 기조연설을 통해 20세기에 가장 중요하게 될 수학연구의 방향을 제시했다.

[그림 2] 힐버트의 “수학의 문제들” 첫 페이지. 1900년. (출처: Researchgate.net)

이 기조연설의 기본내용은 힐버트가 제시하는 23개의 문제에 대한 해설이었다. 그 둘째 문제는 산술의 공리들이 무모순성임을 증명하는 것이었다. 이 문제는 수학의 많은 세부 분야 중 하나인 산술 또는 정수론을 형식체계로 구성하고 그 공리들의 모임에 모순이 없음을 보이는 간단한 문제가 아니었다.

이미 산술들의 공리들이 무모순성이라면 기하학의 형식체계가 무모순성임이 증명되어 있었고, 수학의 여러 분야들이 모두 이와 유사하게 산술 체계의 무모순성 증명에 토대를 두고 있었기 때문이다. 

괴델이 증명한 것은 다름 아니라 산술 체계의 무모순성을 그 체계 안에서는 증명할 수 없다는 점이었으니, 힐버트가 제시한 두 번째 문제는 결코 해결될 수 없음이 밝혀진 셈이다. 1899년 힐버트는 『기하학의 기초』라는 제목의 고전적인 저술을 발표했다. 이 책에서 기하학의 기초에 대한 논의가 완결되었다고 할 수는 없지만, 힐버트는 기하학의 무모순성을 증명함으로써 확실한 지식의 토대를 굳건히 하려 했다고 평가할 수 있다.

[그림 3] 힐베르트의 초상. Anna Gorman 작. 2018. (출처: wikipedia)

앞에서 우리는 에우클레이데스 이래 가장 명석하고 판명한 지식의 대표적인 예로 기하학을 언급했으며, 뉴턴의 운동이론이 권력을 가졌던 것도 확실한 지식으로서의 기하학이 가지는 힘에서 비롯한 것임을 보았다.

이러한 확실성의 지식이 통계적 및 확률적 사고의 발전과 더불어 위협을 받긴 했지만, 사실 확률론과 통계학의 정립은 오히려 새로운 지식을 확실하게 창출하고 발달시키는 데 큰 역할을 했음을 보았다. 그런 점에서 기하학의 좁은 영역에 머물지는 않았지만 확실한 지식에 대한 신뢰는 여전히 남아 있었다.

그런데 괴델의 불완전성 정리에 이르게 되면, 이제 가장 믿을만하고 확실하다고 여겼던 산술조차 그 무모순성을 증명할 수 없는 당황스런 상황에 맞닥뜨리게 된다. 도미노처럼 기하학 형식체계의 무모순성도 증명할 수 없으며, 그보다 덜 갖추어져 있는 것으로 보이는 다른 지식들은 그 확실성의 문제가 뿌리부터 흔들리게 되는 것으로 보인다. 

이 점을 더 확장한 것은 옥스퍼드대학의 철학자 존 루카스였다. 1960년대에 루카스는 괴델의 정리를 기계론의 오류에 대한 증명으로 해석했다. 즉 인간의 지성은 기계로 설명될 수 없음을 증명한 셈이라는 것이다.

다시 말해 규칙에 얽매인 증명가능성은 지성의 방대한 자유로움을 따라갈 수 없다는 것이다. 저명한 물리학자 로저 펜로즈도 『임금님의 새 마음』이나 『마음의 그늘』에서 이와 유사한 해석을 세련되게 제시했다.


펜로즈에 따르면, 인간의 지성은 하나의 물리적 계로서 뇌 그 자체이지만, 그렇다고 해서 뇌 또는 마음이 기계적 물리법칙을 따라가는 것은 아니다. 오히려 이제까지 제대로 발전하지 못하고 있던 마음의 과학은 비기계적 물리법칙에 바탕을 두어야 한다. 그러한 물리법칙으로 좋은 후보가 양자역학이라는 것이다. 

그런데 괴델 자신은 불완전성 정리를 다르게 해석했다. 괴델에 따르면, 불완전성 정리를 토대로 엄밀하게 증명할 수 있는 것은 다음과 같다. 

“인간의 지성이 어떤 기계보다도 더 많은 산술의 문제를 결정할 수 있거나, 아니면 인간 지성으로도 결정할 수 없는 산술의 문제들이 있거나 둘 중 하나이다.” 

이 양자택일의 주장 중 앞의 것은 지성이 기계와 다르다는 주장이지만, 뒤의 것은 인간의 지성이 기계적이라는 주장을 허용할 수 있다. 오히려 불완전성 정리는 인간의 지성이 기계를 초월할 수도 있지만 그 점을 증명할 수는 없다는 점을 보여준다고 말할 수 있다. 


참고문헌

  • 김재영. (2001). “한계로서의 확률: 양자역학과 통계역학의 예”, 『과학과 철학』, 제12집. pp. 1~20.
  • 김재영. (2004). “통계역학의 기초 다시 보기: 메타동역학적 접근”, 『과학철학』, 제7권 pp. 21~63.
  • 김재영. (2010). “불확실성의 과학은 어떻게 만들어졌는가?”. 박성민 외, 『불확실한 세상』 사이언스북스. pp. 251-284.
  • 야마오카 에쓰로 (2004). 『거짓말쟁이의 역설』, 안소현 옮김, 영림카디널. 
  • 장회익 외 (2016). 『양자, 정보, 생명』 한울아카데미.
  • Franzén, Torkel (2005). Gödel’s Theorem. An Incomplete Guide to Its Use and Abuse. A K Peters.   
  • Gigerenzer, G. et al. (1989). The Empire of Chance: How probability changed science and everyday life. Cambridge University Press.
  • Goldstein, R. (2005). Incompleteness: The proof and paradox of Kurt Gödel. Norton; 고중숙. (2007). 『불완전성: 쿠르트 괴델의 증명과 역설』, 승산.
  • Hacking, I. (1975). The emergence of probability: A philosophical study of early ideas about probability, induction and statistical inference. Cambridge University Press.
  • Harman, P. (19 ). Energy, Force, Matter: Physics in the Nineteenth Century. Harvard University Press; 김동원, 김재영 (2000). 『에너지, 힘, 물질: 19세기의 물리학』, 성우출판사.
  • Kline, M. (1982). Mathematics: The Loss of Certainty. Oxford University Press; 심재관. (2007). 『수학의 확실성: 불확실성 시대의 수학』, 사이언스북스.

*알림: 웹사이트 스킨 문제로 댓글쓰기가 안되고 있습니다. 댓글이나 의견 등은 녹색아카데미 페이스북 그룹트위터인스타그램 등을 이용해주시면 감사하겠습니다. 공부모임 게시판에서는 댓글을 쓰실 수 있습니다. 이용에 불편을 드려 죄송합니다. – 녹색아카데미