13개 단과대학 릴레이 학술강좌: 자연과학  '수학하기'란 무엇일까?

선해상 수학과 교수
 
'수학하기"란 무엇일까?
 
올바른 질문하기

집으로 돌아가는 저녁 버스 뒷자리에 앉아있던 한 아이가 스스로 묻는다. 왜 달은 우리를 쫓아오는 것일까? 사소한 물음이었지만 기특하게도 그 아이는 그렇게 보이니깐 그렇지와 같은 뻔한 답에 만족하지 않았다. 따라온다는 표현보다는 왜 우리와 더 이상 멀어지지 않을까? 라는 질문이 더 적합하다는 것을 깨달은 것이다. 실제로 바라보는 대상과 버스의 거리가 멀수록 겉보기 움직임이 줄어든다. 그런데 달과 지구의 거리는 천문학적인 크기이므로 버스가 움직일 때 달은 겉보기로는 움직이지 않게 되는 것이다. “쫓기”라는 일상적인 표현보다는 “더 이상 멀어지지 않음”이라는 건조한 표현이 실제 이유에 더 가깝게 느껴졌던 것이다.
위의 예에서 아이가 했던 머릿속 놀이는 거의 말장난에 가깝지만, 좋은 질문들은 대상에 대한 다른 관점을 일깨워주고 어떤 경우는 핵심을 파악할 수 있게 해준다. 심드렁한 독자를 위해 극적인 예를 들어보자. 박찬욱 감독의 영화 <올드보이>에서 주인공 오대수는 영문도 모른 채 15년 동안 사설 감옥에 갇혀 있다가 풀려난다. 모든 일들을 꾸민 이우진을 만났을 때, 오대수는 긴 시간 감옥살이를 하며 키워왔던 질문을 던진다. 왜 15년 동안 나를 가두었나? 영화를 본 우리들은 실제로 오대수가 물어봤어야 할 질문은 안타깝게도 그게 아니라, 왜 나를 풀어주었나? 임을 알 수 있었다. 모든 학문은 좋은 관찰을 바탕으로 제대로 된 질문을 통해 핵심을 간파하고 정리하여 이론을 만들어간다. 아인슈타인의 유명한 질문-빛의 속도로 움직일 때 거울을 보면 무슨 일이 생길까?-이 좋은 예가 될 것이다.
다른 학문 분야와 마찬가지로 현대수학은 지난 백 년간 많은 추상화와 세분화를 거쳐 발달했기 때문에 한 세부 분과라도 짧은 지면에 소개하려면 많은 비유들을 남발하는 뜬 구름 잡기식이 돼 버리는 어려운 점이 있다. 보통사람들이 수학 내부에서 구체적으로 어떤 일이 일어나는지 알기 어렵게 된 것이다. 그래서 이번 학술란에서는 학부과목 중 하나인 집합론에서 무한에 대한 이론을 예시로 뽑아 수학자들이 어떻게 새로운 질문을 던져 재밌는 결과들을 이끌어 내는지 보여주려고 한다. 되도록 수학 용어를 쓰지 않고 설명을 하려고 하지만 예외로 집합 개념은 ‘구체적으로 기술할 수 있는 대상들의 모임’이라는 정도의 의미로 사용할 것이다.

 

어느 무한이 더 클까?
무한인 것처럼 보이지만 실제로는 유한인 것들, 예를 들어 모래사장의 모래알의 개수, 우주의 크기 등을 제외하면 그리스 시대 이후 두 가지 종류의 무한이 역사 속에 나타났다. 끝이 없는 움직임의 이미지를 갖는 잠재적 무한(potential infinity)은 독자들이 고등학교 때 함수나 수열의 극한을 구하기 위해 다뤘던 무한이 한 예가 된다.  원래부터 있던 현실적 무한(actual infinity)은 자연수들의 집합, 실수들의 집합 같은 무한한 대상들의 모임인 무한 집합 그리고 종교에서 신이 갖고 있는 한 속성들처럼 처음부터 무한의 속성이 주어진 것들을 일컫는다. 수학에서는 여러 종류의 무한 중에서 근대에 처음 기초가 성립된 무한 집합만을 다룬다.
무한 집합에 대한 이론은 두 무한 집합의 크기를 과연 비교할 수 있을까 하는 질문에서 출발했다. 유리수 집합의 크기는 자연수 집합의 것보다 큰 것일까? 두 무한의 크기를 비교하기 위해 유한 집합에 대해 우리가 아는 것을 정리해 볼 필요가 있다. 가령 5는 왜 3보다 클까? 하는 질문을 던질 수 있다. 사소하게 보이지만 더 중요한 출발점은 (그림 1)에 나온 사과와 오렌지는 왜 서로 개수가 같을까? 하는 질문이다. 5개짜리 두 무더기를 놓고 왜 같냐고 물어보니 넌센스  퀴즈같아 답답하겠지만 그래도 생각해보자. 아마도 독자들은 사과를 1부터 세서 5가 나온 것을 확인하고 오렌지에도 같은 일을 한 후 같은 개수임을 확신하게 될 것이다. 이 방법의 문제점은 나중에 무한을 서로 비교할 때 5에 해당하는 것이 없다는 점이다. 본질적으로 같은 말이지만 우리 목적에 더 맞는 표현은 다음과 같다. 사과와 오렌지를 하나씩 짝지을 때 하나도 빠짐없이 짝짓기를 할 수 있다는 점이다. 그렇다! 여기서는 5라는 숫자가 필요가 없다. 여기서 우리는 “빠짐없이 짝짓기”라는 개념이 중요한 역할을 함을 알 수 있다. 수학에서는 이를 전단사 함수(bijective function)라고 부른다. 하지만 이 용어보다는 앞의 개념을 이용하기로 하자. 정리하면, 각각의 원소들을 빠짐없이 짝지을 수 있는 경우에 두 집합의 크기가 서로 같다고 정의할 수 있을 것이다.

그림1

위의 개념을 이용하여 우선 두 무한 집합들, 즉 짝수들의 집합과 자연수의 집합을 비교해보자. 짝수 집합은 자연수의 부분이다. 유한 집합인 경우에 한 집합을 포함하는 다른 집합이 크기가 더 큼을 알 수 있는데 이런 자연스러운 추론이 무한 집합인 경우에는 성립하지 않는다. 실제로 하나의 자연수를 두 배하면 짝수가 되고 이렇게 서로 짝을 지으면 자연수와 짝수들의 모임을 빠짐없이 짝지을 수 있다. 즉, 자연수 집합의 크기와 짝수 집합의 크기는 같은 것이다.
그렇다면 분수 꼴로 쓸 수 있는 유리수들의 집합과 자연수 집합은 어느 것이 클까? 임의의 두 유리수 사이에서 다른 유리수를 찾을 수 있다는 유리수의 조밀성에 대해 들어 보았을 것이다. 자연수의 집합은 이 성질을 갖지 않는다. 예를 들어 두 유리수 ½과 ¾사이에서 무한히 많은 유리수들을 찾을 수 있지만 자연수 1과 2사이에는 아무 자연수도 없다. 그러므로 유리수의 집합이 자연수의 집합보다 클 것이라는 추측을 할 수 있을 것이다. 하지만 대답은 예상을 벗어나서 유리수의 집합의 크기 역시 자연수 집합과 같다는 것이다. 실제로 (그림 2)와 같이 유리수들을 세어나가면서 자연수와 짝지을 수 있으며 이 짝짓기에서 빠진 숫자들은 없음을 알 수 있다. 

     그림2 

자연수 집합과 실수 집합
이쯤에서 무한은 다 거기서 거기라는 생각이 들기 시작할 것이다. 원래부터 무한은 서로 다르지 않아서 같은 크기를 나타내는 새로운 개념을 도입하더라도 여러 무한들의 차이점을 나타낼 수 없는 것이 아닐까 하는 회의도 들 것이다. 같은 크기에 대한 우리의 정의, 즉 “빠짐없이 짝짓기”가 빛을 발하는 것은 자연수 집합과 실수 집합의 크기를 비교할 때이다. 실수의 집합은 수학에서 엄밀한 정의를 갖지만 여기서는 독자들이 알고 있는 다음 두 가지 지식으로도 충분하다. 첫 번째, 모든 실수는 정수부분과 소수부분으로 나누어지고 소수 부분은 길이제한 없이 쓸 수 있다. 두 번째, 소수 한 자리가 서로 다르다면 두 실수는 서로 다른 실수이다. 그렇다면 빠짐없이 짝짓기라는 개념을 이용하여 어떻게 실수 집합의 크기가 자연수 집합의 크기와 같지 않음을 보일 수 있을까. 이를 위하여 수학에서 많이 쓰이는 논증 방법인 귀류법을 알고 있어야 한다. 귀류법이란 어떤 명제가 참임을 증명하고 싶을 때, 주어진 명제를 부정한 뒤 논리를 전개하여 알려진 혹은 주어진 사실에 반하는 결론을 도출해 모순을 이끌어 내는 논증법이다. 귀류법과 이른바 대각선 논증이라고 부르는 영리한 방법을 함께 이용하면 실수 집합과 자연수 집합의 크기가 같을 수 없음을 다음과 같이 보일 수 있다. 처음에는 많이 헷갈리니 잘 따라오길 바란다.
우선 실수의 집합과 자연수의 집합의 크기가 서로 다르다는 명제를 부정하여 서로 같다고 하자. 다시 말해서 위에서 정의했듯이 각각의 자연수들과 각각의 실수들을 빠짐없이 짝지을 수 있다고 가정하자. 가령, 다음과 같이 자연수와 실수를 짝지었다고 할 수 있다.

1 : 34.①23456778......
2 : -4.0④3431002......
3 :  0.13②097023......
4 :  5.203⑨00030......
5 : -12.3010②3581......
6 : 567.37028⑨102......
                     ⋮

위의 짝짓기에서 새로운 실수 하나를 만들 수 있다. 왼쪽 1과 짝지은 오른쪽 실수의 첫 번째 자리 ①과 서로 다른 수-예를 들어 0-를 새로운 실수의 소수 첫 번째 자리로 고른다. 왼쪽 2와 짝지은 오른쪽 실수의 두 번째 자리 ④와 다른 수-예를 들어 3-를 새로운 실수의 소수 두 번째 자리로 고른다. 이 과정을 모든 짝들에 반복해서 얻은 실수는 가령, 0.031818......와 같이 생겼을 것이다. 여기서 명심할 것은 위의 짝짓기가 빠짐이 없다는 점이다. 즉 방금 만든 실수 0.031818....은 어떤 자연수-가령 32034-와 짝을 이루고 있다. 또 한 가지 명심해야 할 점은 새로 만든 실수는 32034와 짝을 이룬 실수와 32034번째 소수 자리수가 다르게 만들어 졌다는 점이다. 즉 32034와 짝을 이룬 실수는 새로 만든 실수 0.031818....와 절대 같을 수 없다! 32034뿐만 아니라 다른 모든 자연수 짝에 대해서도 똑같은 결론을 얻을 수 있다. 즉 새로 만든 실수는 위의 짝짓기 어디에도 해당하지 않는다. 즉, 빠짐없이 짝을 지었다는 출발점에 모순이 된다. 물론 위의 예와는 다르게 짝지을 수 있지만, 핵심은 어떤 짝짓기를 하던지 자연수와 대응되는 실수들과는 다른 새로운 실수 하나를 찾을 수 있다는 점이다.
이렇게 무한에 대한 소개, 그리고 수학에서 어떻게 학문을 하고 있는가에 대한 짧은 소개가 끝났다. 하지만 실제와 다른 점이 있는데 집합론 수강생들은 위의 구구절절한 설명 없이 전단사함수를 이용한 건조한 정의를 익힌 후 여러 연습문제를 풀며 그 내막을 이해한다는 것이다. 독자들도 한 번 다음 연습문제를 풀면서 대각선 논증에 대한 이해를 점검해 보자.
위의 대각선 논법을 왜 유리수 집합에는 적용할 수 없을까?