R&E FOR YOU(vol.7) - 위상수학이란 무엇인가?

본문

수학은 무엇을 탐구하는 학문일까? 대부분의 사람은 이 질문에 대해 정수, 실수, 무리수 등의 '수'나, 일차함수, 이차함수, 삼각함수와 같은 '함수'를 떠올릴 것이다. 하지만 수학이 탐구하는 중요한 내용 중 하나는 바로 '모양'이다. 삼각형, 사각형 등의 도형을 다루는 기하학이나, 우리가 살고 있는 공간의 성질을 탐구하는 위상수학 역시 수학의 중요한 분야이다.

모양을 연구하는 기하학의 역사는 인류의 역사만큼이나 오래되었다. 수천 년 전부터 사람들은 땅의 넓이를 측정하여야 했고, 그렇기 위해서는 각도나 길이를 정확하게 측정해야 했다. 기하학의 영어 표현인 Geometry라는 영어 단어는 그리스어에서 땅을 의미하는 γεω와 측량을 의미하는 μετρία의 합성어인 γεωμετρία로부터 유래하였고, 이는 땅의 측량이라는 기하학의 본질적인 의미를 반영하고 있다.

기하학은 이처럼 실용적인 목적으로 탄생하였기 때문에, 도형의 각이나 크기 같은 계산 가능한 양이 중심적인 관심사이다. 삼각형 중에서도 모든 변의 길이가 동일한 정삼각형이 특별히 중요하게 다루어지거나, 삼각형의 세 각의 합이 180도가 된다는 것이 의미가 있는 것은 변의 길이나 각의 크기 같은 개념을 중요하게 생각하기 때문이다.

하지만 그런 길이나 크기와 같은 개념이 늘 중요한 것은 아니다. 예컨대 삼각형이 고무줄로 만들어져 있는 상황을 생각해 보자. 각 변은 적당히 늘리거나 줄일 수 있기 때문에 더 이상 변의 길이가 가지는 의미는 없다고 보면 좋을 것이다. 동시에 각의 개수도 크게 의미가 없을 것이고, 각 변이 꼭 직선이 아니어도 될 것이다. 즉, 고무줄로 만들어진 삼각형을 이리저리 변형하다 보면 [그림1]과 같은 도형들을 얻을 수 있다. 이 도형들은 본질적으로 서로 다른 도형이라 할 수 있을까? 만약 같은 도형이라 생각한다면 이 도형들의 공통점은 무엇이라 생각하는가?

조금 더 나아가서 [그림1] 모양처럼 생긴 고무줄이 있을 때, 누군가 가위를 가져와서 고무줄을 잘라버렸다고 하자. 그럼 [그림2]와 같은 도형들이 생길 수 있을 것이다. 이렇게 얻어진 도형은 과연 [그림1]과 같은 도형이라 할 수 있을까?

[그림1]과 [그림2]의 도형을 보다보면 도형의 본질적인 모양이 무엇인지에 대한 생각해 볼 수 있다. [그림1]의 도형들은 소위 단일폐곡선이라 불리는 도형으로 1개의 '구멍'을 가진 도형이라 이해할 수 있다. 그러나 [그림2]의 도형은 그런 구멍이 없는 도형이다. 이러한 구멍의 존재는 단순히 변의 길이나 각의 크기 같은 측량정인 개념이 아니라, 도형의 본질적 모양이라 할 수 있다. 이렇게 도형의 '본질'적인 모양을 다루는 학문이 바로 위상수학이다. 이런 이유로 위상수학을 '고무판 기하'라 부르기도 한다. 기하학과 위상수학은 모두 도형의 모양을 다루는 학문이지만, 기하학은 측정할 수 있는 양을 중요시하는 학문이라면, 위상수학은 그런 양이 아닌 모양 그 자체에 관심 있는 학문이라 할 수 있다. 이것이 기하학과 위상수학의 가장 큰 차이이다.

이런 위상수학의 아이디어는 1700년대 오일러에 의해 탄생 되었다. 오일러는 "다면체의 구성요소 (Elementa doctrinae solidorum)"라는 논문에서 다면체의 꼭짓점, 변, 면의 개수 사이의 관계에 대해 처음으로 소개하였다. 어떤 다면체가 있을 때 그 다면체의 꼭짓점(vertex)의 개수를 V, 모서리(edge)의 개수를 E, 면(face)의 개수를 F라 한다면 V-E+F=2가 성립한다는 것이다. 가령 정육면체의 경우 V=8, E=12, F=6이라 V-E+F=2가 성립하고, 축구공 모양의 도형인 경우 V=60, E=90, F=32 이므로 역시 V-E+F=2가 성립한다.

사실 이 공식은 100년 전 데카르트에 의해 먼저 소개되었다. 그래서 를 데카르트 공식이라 불러야 한다는 사람도 있다. 데카르트는 변의 개수 대신 각 면이 이루는 "평면각의 개수"라는 표현을 썼다. 모서리가 결국 두 개의 면이 만나서 생기는 것이므로 모서리의 개수나 평면각의 개수나 무슨 차이인지 의문을 가지는 독자도 있을 것이다. 재미있는 사실은 다면체는 매우 오래된 개념이고 기원전 300년 고대 그리스에서부터 이미 중요한 수학적 대상으로 다루어졌음에도 오일러 이전에는 모서리라는 개념이 존재하지 않았다고 한다. 오일러가 처음으로 소개한 모서리는 두 꼭짓점을 연결하는 선분의 의미로 길이 등 기하학에서 다루어지는 양의 개념이 아닌 '연결한다'는 추상적 개념에 가깝다. 평면각은 여전히 '각'이라는 측정할 수 있는 기하학적 개념인 데 반해서, 모서리는 연결되었다는 상태를 표현한다는 점에서 위상수학적 개념이라 할 수 있다. 오일러의 이러한 고찰은 오늘날 위상수학이 탄생하는 바탕이 되기 때문에, V-E+F=2라는 공식은 데카르트 공식이라는 이름보다는 오일러 공식으로 더 많이 알려지게 된 것이다.

물론 이러한 개념이 '위상수학의 탄생'을 바로 이끈 것은 아니다. 사실 꼭 다면체가 아니더라도 오일러 공식이 성립할 수 있는데, 가령 [그림5]와 같이 볼록하지 않은 도형이나 면이 평면이 아닌 도형들도 오일러 공식이 성립한다. 하지만 [그림6]과 같은 도형들은 오일러 공식이 성립하지 않는다.

따라서 어떤 도형이 오일러 공식이 성립하는지, 그리고 도형의 어떤 성질이 오일러 공식을 성립하게 만드는지에 대한 오랜 시간에 걸친 연구가 있었다. 르장드르, 코시, 륄리에, 뫼비우스, 리스팅 등 유명한 수학자들에 의해 도형의 본질적인 모양, 즉, 위상적인 모양이라는 개념이 정립되었고, 1847년 리스팅의 책 Vorstudien zur Topologie에서 위상수학(Topology) 란 용어가 처음으로 도입되었다. 이후 푸앵카레 등의 연구를 거쳐 오늘날 위상수학의 형태가 완성되었다.

도형의 본질적인 모양을 이야기 하기 위해서는 도형의 모양(위상)이 무엇인지, 그리고 두 도형이 위상적으로 같다 혹은 다르다는 것이 어떤 의미인지 알아야 한다. '모양'이란 것을 수학적으로 정의할 수 있을까?

수학자들은 어떤 집합에도 모양을 정의할 수 있는 위상이라는 개념을 도입하였다. 수학자들이 정의한 위상은 '근방'이라는 개념으로부터 나온다. 어떤 공간의 모양을 알아차리기 위해서는 그 모양을 보아야 한다. 그 공간의 한 점에서 "보이는" 부분을 '그 점의 근방'이라고 한다면, 그 공간에 있는 모든 근방을 다 모으면 그것을 공간의 모양이라고 할 수 있지 않을까? 이때 근방이라면 예를 들어 어떤 점에서 볼 수 있는 두 근방이 있다면 두 영역의 교집합 안에서도 볼 수 있는 더 작은 근방이 있을 것이다. 이때 "본다"라는 것은 어디까지나 생물학적인 개념이므로, 일반적으로는 그냥 볼 수 있는 공간을 부분집합으로 나타내어야 할 것이다.

집합 X의 부분집합들의 모임 B에 대해서 다음 두 성질을 생각하자.
(1) 임의의 점 x∈X에 대하여 x∈U인 B의 원소 U가 존재한다.
(2) x를 포함하는 B의 원소 U₁,U₂ 가 있으면 x∈U₃ ⊂ U₁ ∩ U₂인 의 원소 U₃가 존재한다.

이 두 성질을 모두 만족하는 B가 있으면 x를 포함하는 B의 원소를 x의 근방(neighborhood)라고 부르고, 이 를 위상의 기저(basis)라고 부른다. 또한 B의 원소들의 합집합으로 구성된 집합 J(IMAG)를 집합 X의 위상(topology)이라 하고, 이렇게 위상을 가진 집합을 위상공간(topological space) 혹은 공간(space)이라고 부른다.

이런 위상의 정의를 이용하면 추상적인 집합에 대해서도 모양을 정의할 수 있다. 다소 어려운 개념이긴 하지만, 우리가 알고 있는 '자연스러운 모양'과 크게 다르지도 않다. 가령 자연수 집합 N(VecN)과 유리수 집합 Q(VecQ)를 생각해보자. 이 두 집합은 서로 일대일대응이 있다는 것이 알려져 있다. 즉, 집합으로 보았을 때는 두 개는 완전히 일치한다. 하지만 자연수나 유리수를 자연스레 수직선상에 올려두면, 자연수에서는 다른 자연수를 포함할 수 있게 동그라미를 칠 수 있지만, 유리수에서는 어떻게 동그라미를 치더라도 다른 유리수를 포함한다. 동그라미 치는 것이 근방이라 본다면 자연수 집합의 기저는 {{1},{2},...} 처럼 한 개의 원소로만 이루어진 집합으로 만들 수 있지만 유리수 집합의 기저는 그렇게 할 수 없다. 따라서 자연수 집합와 유리수 집합은 집합으로서는 같지만 위상으로서는 다르다고 이해할 수 있다. 보다 일반적으로 두 공간이 서로 같다는 것은 두 공간 사이에 일대일 대응이 존재하면서 각 점에서의 근방을 보존할 수 있으면 두 공간이 같다고 정의한다. 일반적으로 수학과 학생이 대학교 3학년, 혹은 4학년 때 배우는 개념인 만큼 위 내용을 이해하는 것이 쉽지는 않을 것이다. 조금 더 쉽게 '서로 같은 공간'이란 개념을 이해하기 위해서는 근방이 근방으로 가야 한다는 점을 생각하면 좋다. 고무줄을 길게 늘리는 것을 생각하면 이 과정은 "연속적인 과정"이므로 한 점의 근방도 자연스럽게 늘어난다. 따라서 원래의 고무줄의 근방이 늘어난 고무줄의 근방이 되는 일대일대응을 찾는 것은 어렵지 않다. 이렇듯 두 개의 공간이 있을 때 하나의 공간을 연속적으로 변화하여 다른 공간을 만들 수 있고, 그 반대도 성립할 때 두 공간은 위상적으로 같은 도형이라 할 수 있다. 이때 이 두 공간은 서로 '위상동형(homeomorphic)' 하다고 표현한다.

하지만 고무줄을 끊는다면 어떨까? 끊어진 고무줄의 양 끝 점은 원래는 한 점이었기 때문에 근방을 서로 공유해야 한다. 하지만 끊어진 이후에는 양 끝점의 근방은 서로 달라 보이는게 명백하다. 따라서 하나의 근방이 다른 근방이 되지 못한다. 따라서 [그림1]의 도형들과 [그림2]의 도형들은 서로 다른 위상을 갖는다는 것을 설명할 수 있다. 필자가 어렸을 때 동네의 어떤 아이들은 [그림7]과 같은 고무줄 놀이를 하곤했다. 고무줄을 양 기둥에 고정시켜 두고 음악에 맞춰 고무줄을 밟는 놀이이다. 짖궂은 다른 무리의 아이들은 고무줄 놀이를 하고 있는 곳으로 가서 고무줄을 끊고 도망가는 장난을 쳤는데, 그 댓가로 등짝을 맞기 일쑤였다. 고무줄을 자른다는 행위는 고무줄의 위상을 바꾸는 일인만큼 등짝을 맞을 법 하다는 생각이 든다.

이제 우리는 공간이라는 개념이 집합의 모양을 나타낸다는 것을 배웠고, 두 공간이 서로 같다는 것과 다르다는 것이 어떤 개념인지를 배웠다. 이렇게 공간의 위상을 안다는 것은 중요하다. 가령 우리가 살고 있는 지구를 생각하자. 우리는 지구가 둥근 것은 이미 잘 알고 있지만 사실 인공위성을 쏘아 올려서 지구의 사진을 찍기 전에는 지구가 둥글다고 유추할 뿐이었다. 우리 인간은 지구에 비해 매우 작은 존재라서 지구의 한 점에서는 그저 평평한 곳 위에 있다고 느낄 뿐이다. 여러 가지 유추를 통해 지구가 평평하지 않고 둥글다는 것 정도는 알 수 있지만, 사실 완전히 둥근 구체라는 것은 지구 안에서는 알기 어렵다. '앞으로'라는 어린이 동요 가사에는 '지구는 둥그니까 자꾸 걸어 나가면 온 세상 어린이들 다 만나고 오겠네!'라는 표현이 있다. 앞으로 계속 걸어 나가서 한 바퀴 돌아 자기 자리로 돌아온다는 성질을 이야기하는 것이지만, 사실 그런 성질을 가졌다고 해서 항상 구체가 된다고 이야기할 수 있을까? 가령 지구의 모양이 도넛 모양으로 생겼어도, 특정 방향으로 걸어나가면 원래 자리로 돌아오게 된다.

비슷한 질문을 우주의 모양에 대해서 할 수도 있다. 우주 어디에서도 우리는 항상 평평한 3차원 공간상에 있다고 느낄 것이다. 하지만 그렇다고 우주가 전체적으로 평평할까? 지구가 평평하지 않은 것처럼 우주도 평평하지 않은 모양일 가능성이 높다. 그런데 우리는 우주의 밖에 나갈 수도 없고, 또 차원 등의 문제로 우주의 모양을 바로 눈으로 보기는 불가능하다. 하지만 우주의 모양이라는 것은 어쩌면 굉장히 근본적인 질문이기 때문에 그 문제는 매우 중요한 문제라고 할 수 있다. 따라서 우리는 공간의 위상적 성질을 최대한 많이 이해하고, 이에 기반하여 우주의 모양을 유추해야 한다.

비단 우주뿐 아니라 우리가 탐구하는 대부분은 '모양'을 가지고 있고, 그 모양을 이해함으로써 알 수 있는 것들이 매우 많다. 이런 의미에서 위상수학은 매우 중요하다.

두 공간이 서로 같다는 것을 보이는 것은 연속한 변화를 통해 설명할 수 있음을 알지만, 두 공간이 서로 다르다는 것을 보이는 것은 생각보다 어렵다. 특정한 성질을 만족하는 일대일대응이 존재하지 않음을 보여야 하기 때문이다. 그런데 어떻게 해야 존재하지 않음을 보일 수 있을까?

가령 누군가 '화성에 사람이 가는 방법이 있느냐?' 라고 물으면 지금은 그러한 기술이 존재 하지 않으므로 방법이 없다고 할 것이다. 그런데 100년 뒤에도 같은 질문에 대해서 방법이 존재하지 않는다고 대답할까? 그렇다면 200년 뒤에는 어떨까? 사실 기술 발전의 정도를 예단할 수는 없으므로 그러한 기술의 부존재 성은 그 누구도 장담할 수 없다.

하지만 수학에서는 '존재성'을 중요하게 생각한다. 가령 '임의의 각을 삼등분하는 작도법은 존재하지 않는다'라던가 '5차 방정식의 근의 공식은 존재하지 않는다' 같은 유명한 명제들은 지금도 수학자들을 흥분시킨다. 같은 질문은 위상수학에서도 유효하다. 앞에서 고무줄 놀이에 대한 이야기를 했을 때, 연결된 고무줄과 끊어진 고무줄은 서로 위상이 다르다고 설명하였다. 그 말은 위상동형성을 결정하는 일대일대응을 찾을 수 없단 말인데, 100년 뒤에도 여전히 찾을 수 없을지 어떻게 보장할 수 있을까?

수학자들은 서로 다르다는 것을 보일 때 불변값(invariant)이라는 개념을 사용한다. 불변값이라는 서로 같은 것들끼리 공유하는 값 또는 성질이다. 서로 위상동형인 공간들이 공유하는 성질을 위상불변값(topological invariant)이라 한다. 앞에서 소개했던 오일러 정리를 떠 올려 보자. 오일러 공식에 나오는 값은 사실 오일러종수 (Euler characteristic number)이라 불리는 위상불변값이다. 즉, 서로 위상적으로 같은 도형은 값이 모두 같다. 임의의 다면체나, [그림5]에 나오는 도형들이 값이 2인 이유는 이들이 모두 지구의 모양과 같은 구면과 위상동형이기 때문이다. 실제 이들이 고무판으로 이루어져 있다고 생각하면, 연속적으로 변화시켜 둥근 모양으로 만드는 것은 어렵지 않다.

오일러종수 V-E+F는 꼭 2차원 도형에만 쓰이는 것은 아니다. 고무줄 같은 1차원 공간에도 적용할 수 있다. 단지 F=0인 것만 다르다.

즉, 연결된 고무줄은 잘 변형하여 사각형 모양으로 만들 수 있고, V=4, E=4, F=0이므로 V-E+F=0인 반면, 끊어진 고무줄은 선분 모양이라 생각할 수 있고 이때는 V=2, E=1, F=0이므로 V-E+F=1이다. ([그림9] 참조) 따라서 이 한 고무줄에서 다른 고무줄로 연속적으로 변화시킬 수 있는 방법은 존재하지 않음, 즉, 두 고무줄이 서로 위상적으로 다름을 증명할 수 있다.

필자가 좋아하는 노래 중에 'Trivia 承(승) : Love'이란 노래가 있다. 대한민국의 자랑스러운 K-POP 그룹 방탄소년단(BTS)의 멤버 RM이 2018년 발매한 노래이다. 가운데 한자는 이을 승이라는 의미로 사소한 것에서 행복과 사랑을 찾아 보고자 하는 의미라고 이해할 수 있을 듯 하다.

"너 땜에 알았어
왜 사람과 사랑이 비슷한 소리가 나는지
You make live to a love
Live to a love yeah
너 땜에 알았어
왜 사람이 사랑을 하며 살아가야 하는지
I와 U의 거린 멀지만
모든 글잘 건너 내가 네게 닿았지
봐 내와 네도 똑같은 소리가 나잖아
그렇다고 내가 넌 아니지만"

노래 가사의 주요 내용은 아래와 같다.
(a) 사람과 사랑이 비슷한 소리가 나기 때문에 사람은 사랑을 하여야 한다.
(b) LIVE에서 LOVE가 되어야 한다.

아마 본 원고를 자세하게 읽은 독자라면 위 가사의 내용이 위상적으로 매우 흥미로운 소재라는 것을 눈치챘을 것이다. (a)와 같이 사람과 사랑이 비슷한 소리가 나는건 ㅁ과 ㅇ이 비슷하게 생겼기 때문이고, ㅁ과 ㅇ은 위상적으로 같은 도형이라는 점에서 사람과 사랑은 위상 동형이라고 이해할 수 있다. 심지어 이들은 하트 모양과도 위상 동형이다.

또한 (b)와 같이 LIVE에서 LOVE가 되는 것이 쉽지 않은 이유는 [그림9]와 같이 I가 O가 단순히 알파벳으로서 다를 뿐 아니라 위상적으로 완전히 다른 도형이기 때문이다. 실제로 좋아하는 사람과 사랑이 결실을 맺으려면 고백도 해야하고, 환심을 사기 위해 노력도 해야 하고 일상적이지 않은 많은 노력을 해야 하는 것처럼 I가 O가 되는 것은 연속적이지 않은 변화를 해야지만 가능한 것이다.

RM의 이 노래 가사는 뭔가 묘하게 위상수학적 상황과 딱 맞아 떨어져서 재미가 있다. 우리 주변에 이렇게 위상수학적 아이디어를 이용하여 설명할 수 있는 것이 많이 있다. 이 원고가 독자들에게 위상수학이라는 다소 생소한 학문에 흥미가 생길 수 있는 계기가 되길 바란다.