세상은 넓고 천재는 많다. 인류 역사상 최악의 수학 난제를 남긴 수학자 피에르 드 페르마(Pierre de Fermat, 1607~1665)도 그중 한 명이다. 페르마는 데카르트와 함께 17세기 해석 기하학의 기본원리를 발견한 최고의 수학 천재다.

그의 명성은 대한민국에서도 높다. 서울 강남구 학원가에는 그의 이름을 딴 수학학원이 있을 정도니 말이다. 아무튼 그의 공식 중 ‘페르마의 마지막 정리(Fermat’s Last Theorem)’는 오랫동안 인류가 풀지 못한 수학 역사상 최악의 난제였다.

후대까지 이어진 페르마 정리를 둘러싼 설전, 과연 후대의 수학천재들은 페르마의 마지막 정리를 어떻게 풀었을까.

350년 동안 풀지 못한 수학 난제를 증명하라

페르마의 마지막 정리는 ‘n> 2 일 때, xⁿ +yⁿ =zⁿ  방정식을 만족하는 양의 정수 x, y, z는 존재하지 않는다’이다.

1637년 페르마는 “나는 경이적인 방법으로 이 정리를 증명했지만 이 책의 여백이 너무 좁아 여기에 풀이를 적지는 않는다”라며 자신의 노트에 기록했다.

얼핏 보기에는 단순해 보이는 이 공식을 왜 증명할 수 없는 것일까. 무려 350년 동안이나 전국에서 내로라하는 수학 천재들이 풀이에 도전했지만 번번이 실패를 맛봐야 했다. 이 난제는 1994년이 돼서야 수학자 앤드루 와일스(Andrew Wiles)에 의해 증명됐다.

앤드루 와일스 또한 이 난제를 풀기 위해 남몰래 6년 이상 홀로 연구한 끝에 성공했다. 그가 처음 페르마의 난제에 흥미를 가진 것은 10살 때. 도서관을 다녀오던 중 그는 ‘왜 이렇게 단순한 공식의 증명을 할 수 없는 것일까’ 의문을 품었다고. 과연 천재는 떡잎부터 달랐다.

하지만 앤드류 와일즈는 이 증명으로 수학의 노벨상이라 불리는 필즈상을 수상하지 못했다. 필즈상은 수상 기준으로 40세 미만이라는 규정이 있는데 홀로 연구한 탓에 연령을 살짝 넘은 것이다. 마지막 정리를 증명한 1995년 당시 앤드류 와일스의 나이는 41세였다.

하지만 그가 남긴 페르마의 마지막 정리 증명은 ‘인류의 위대한 업적’으로 평가된다. 때문에 국제수학연맹은 그의 업적을 기리기 위한 기념 은판을 제작해 전달하였다. 또한 필즈상을 수상하지 못했음에도 그는 1998년 역대 필즈상 수상자 명단에 당당히 이름이 올라가는 영광도 차지했다.

하지만 사실 페르마의 마지막 정리의 ‘끝판왕’은 현재 수학 천재 ‘앤드류 와일스’에게 돌아갔지만, 그의 증명은 350년 동안 수많은 수학자들이 뿌려놓은 수학적 증명을 토대로 만들어진 성과다.

그 첫 번째는 레온하르트 오일러(Leonhard Euler, 1707~1783)의 증명이다. 오일러는 페르마 사후 133년 후 ‘n이 3일 경우’의 증명에 성공한다.

오일러 또한 수학 천재 중 천재라 불릴만하다. 그는 18세기 수론, 해석학, 대수학, 기하학, 그래프 이론, 미분기하학, 천문학, 물리학 등 현대 수과학에 지대한 공헌을 한 수학자이며 물리학자다.

오일러가 ‘n이 3일 경우’를 증명했지만 이후 나머지 수들에 대한 증명은 더딘 시간 속에서 ‘n이 5였을 때’와 ‘n이 7일 경우’만이 증명된다.

오랜 시간이 지난 후 수많은 뇌섹남들의 도전을 한방에 정리한 수학자가 나오는데 바로 여성 수학자 소피 제르맹(Sophie Germain, 1776~1831)이다. 그는 ‘n<197’까지 증명하는데 성공한다.

20세기가 들어서 현대 과학이 컴퓨터를 만들면서 사람들은 컴퓨터에 마지막 정리를 의존하기 시작하는데 컴퓨터조차 수많은 수를 대입해도 마지막까지 정리를 풀지 못했다.

페르마 마지막 정리, 끝장낼 수학 천재가 나타났다

수학자들은 다른 방법으로 이 난제를 풀기 위해 노력했다. 독일의 수학자 게르하르트 프라이가 페르마의 마지막 정리를 타원 곡선의 형태로 변형시킨 시도가 앤드류 와일스가 정리를 끝낼 수 있는 시발점이 됐다.

게르하르트 프라이는 페르마의 마지막 정리가 ‘타니야마-베유-시무라 추측’과 연관성을 가지고 있다고 판단했다. 따라서 ‘타니야마-베유-시무라 추측’을 증명하면 페르마의 정리도 같이 증명된다’고 봤다.

앤드류 와일스는 불완전한 곡선에 대한 ‘타니야마-베유-시무라 추측’에 대한 증명을 제시하면서 타원 함수 추측에 대한 리벳의 증명을 페르마의 마지막 정리에 도입하면서 이 역사적 난제를 종결시킬 수 있었다.

하지만 수학자들은 난제 해결과 동시에 또 다른 새로운 난제 풀이에 목말라했다. 사람들은 와일스에게 미국의 수학 천재들이 만든 클레이연구소에서 2000년에 선정한 7개의 수학 난제인 ‘밀레니엄 7대 난제’를 풀어달라고 부탁했다.

앤드류 와일스는 이에 동참하기로 한다. 아마도 그는 지금도 새로운 난제를 푸는데 여념이 없을 것이다. 천재들은 난제를 풀면서 인생의 즐거움을 맛보는 '신기한 존재'임이 틀림없다.