Riemann Hypothesis

리만 가설

이중섭 (아주대학교)

이 글은 2000년 3월자 대한수학회 소식 76호에 실린 글입니다.

1859년 리만(Riemann)은 소수에 관한, 8쪽의 짧은 논문을 발표하였다. 리만의 유일한 수론 논문이지만, 다른 어떤 논문보다도 수론과 복소수 함수론에 심대한 영향을 주었다. 그 논문에서 리만은 리만 제타 함수(zeta function)의 중요한 성질들을 기술하고, 당시에 최대의 미해결 문제였던 소수 정리의 증명방법을 제시하였다. 그 후 약 30년 동안 복소수 함수론을 발전시킨 결과, 아다마르(Hadamard)와 발레뿌셍(de la Vallée Poussin)이 소수 정리를 증명함으로써 결실을 맺게 된다. 그의 논문에서 리만이 주장한 제타 함수에 대한 사실들은 한 가지를 제외하고 모두 후에 엄격하게 증명되었다. 그것은 제타 함수의 영점의 위치에 대한 추측인데, 그 스스로도 증명에 성공하지 못했다고 고백하고 있다. 후에 이 추측은 리만 가설(Riemann Hypothesis)이란 이름을 얻게 되었고, 아직까지 그 해결을 기다리고 있다.

2000년 5월 24일 클레이 수학연구소는 리만 가설을 포함하여 백만 달러 현상금 문제 7개를 발표하였다. 서울대학교에서는 12월 "새 천년 수학문제 소개회"를 열어 그 중 4문제를 소개하였다. 거기서 필자가 행한 강연 내용을 바탕으로 이 글은 구성되었다. 학부 신입생도 이해할 수 있는 수준의 강연을 하는 것이 목표였으나, 주제의 특성상 복소수 함수에 대한 약간의 지식을 가정할 수 밖에 없었다. 강연내용을 재구성하다 보니 다소 엄밀성이 부족한 점에 대하여 독자의 양해를 구한다. 이 글을 쓰는데 조언을 주신 세종대 김영원 교수께 감사드린다.

리만 제타 함수

해석적 수론에서는 관례적으로 복소수를 s로 표시하며, 그것의 실수 부분은 σ, 허수부분을 t로 표시한다. 즉, s = σ + it이다. 리만 제타 함수는 아래와 같이 급수로 표현되는 복소수 함수이다.
ζ(s) = ∞
∑
n = 1 1
n^s
물론 이것은 σ > 1일 때 정의되는 해석 함수(analytic function)이다. 지금부터 이 글의 마지막 절 이전까지, 제타 함수는 리만 제타 함수를 뜻하는 것으로 한다.

제타 함수에 대한 연구는 오일러(Eular)까지 거슬러 올라간다. 그는 제타 함수가 다음과 같은 곱셈공식(product formula)을 만족함을 관찰하였다.
ζ(s) =
∏
p (1 - 1
p^s )^-1
여기서 곱은 모든 소수 p에 관한 것이다. 그는 또한

∑
p 1
p = ∞
임을 보였는데 이것은 소수의 개수는 무한하다는 유클리드(Euclid) 정리의 새로운 증명이다. 오일러의 작업의 중요한 의미는 제타 함수가 소수의 분포와 관련되어 있다는 사실의 발견이며, 이것은 해석학적 수론의 기원이라고 말할 수 있다.

소수의 분호에 대한 더욱 깊은 결과를 얻기 위하여, 제타 함수의 정의역을 σ > 1인 반 평면보다 더욱 넓은 영역으로 확장할 필요가 있다. 여기서는 비교적 손쉬운 방법 두 가지를 소개한다. 간단한 대수적 조작을 하면
ζ(s) = 1

1 - 2^{1 - s} ∞
∑
n = 1 (-1)^{n - 1}

n^s
가 됨을 쉽게 알 수 있다. 이것은 σ > 0일 때 정의되며, s = 1에서 유수 1인 단순 극(simple pole)을 갖는 유리형(meromorphic) 함수이다. 제타 함수가 s = 1에서 극을 갖는다는 사실은 앞의 오일러의 공식과 동치이다. 지금 설명한 제타함수의 연속화(continuation) 방법은 간단하기는 하지만 제타 함수의 연구에 큰 도움이 되지는 않는다. 다른 연속화 방법을 소개한다. 실수의 x의 소수 부분(fractional part)을 {x}로 표시하자. 리만-스틸레스(Riemann-Stieltjes) 적분을 사용하여
ζ(s) = s

s - 1 - s ∞

{x}

x^{s + 1} dx
임을 보일 수 있고, 이 공식도 σ > 0일 때 성립한다. 이 표현은 오일러 맥클로린 합 공식(Eular-Maclaurin summation formula)으로 일반화 되며, 이것을 이용하면 제타함수를 복소수 평면 전체로 확장할 수 있다. 이미 말한 바와 같이, 제타 함수는 s = 1에서만 극을 갖는 유리형 함수이며, s = -2, -4, -6... 에서 영점을 갖는데 이들을 자명한(trivial) 영점이라 부른다. 자명하지 않은 영점(nontrivial) 영점은 모두 0 < σ < 1인 띠 안에 있음은 알려진 사실이다. 이 띠를 임계대(critical strip)라 부른다. 리만 가설은 자명하지 않은 영점이 모두 σ = 1/2인 직선상에 있다는 주장이다.

리만의 논문

여기서 리만 논문의 주요 내용을 간단히 언급할 필요가 있다. 리만은 제타 함수의 정의역을 복소수 평면 전체로 확장한다. 위 절에서 서술한 방법과는 달리, 그는 감마 함수(gamma function)의 적분표현을 이용한다. 리만은 유명한 함수 방정식(functional equation)을 유도한다.
1
2 s(s - 1)π^-s/2 Γ( s
2 ) ζ(s) = 1
2 s(s - 1)π^{-(1 - s)/2} Γ( 1 - s
2 ) ζ(1 - s)
이 방정식은 제타함수가 직선 σ = 1/2에 대하여 모종의 대칭성을 갖고 있음을 시사한다. 특히 자명하지 않은 영점들은 직선 σ = 1/2에 대하여 대칭적으로 위치해야 함을 알 수 있고, 이것은 리만 가설의 논거 중에 하나이다. 사실상, 리만가설이 참이라고 말할 수 있는 이론적 이유는, 이 함수 방정식밖에 없다고 해도 과언이 아니다. s = 1/2 + it를 위 식의 좌변에 대입하여 얻어지는 함수를 ξ(t)라 놓는다. ξ는 전해석 함수이고, ξ의 영점들은 모두 허수 부분이 -i/2와 i/2 사이의 영역 안에 있고, 리만 가설은 ξ의 영점이 모두 실수라는 것과 같다.

리만은 제타 함수의 영점에 대하여 중요한 결과들을 얻었다. T가 양의 실수일 때, ζ(s)의 영점 중에서, 허수 부분이 0보다 크고 T보다 적은 것들의 개수를 N(T)라 하면
N(T) ∼   T
2π log   T
2π -   T
2π
여기서 기호 f(x) ∼ g(x)는
lim
x → ∞ f(x)
g(x) = 1
을 뜻하다. 함수 ξ는 마치 다항식처럼 일차 인수로 분해된다.
ξ(t) = ξ(0)
∏
ρ (1 - t
ρ )
단, 여기서 곱은 ξ(t)의 모든 영점 ρ에 대한 것이다. 리만이 제타 함수의 영점에 대하여 관심을 가졌던 이유는 그것이 소수의 분포와 불가분의 관계에 있다는 것을 인지하였기 때문이다.

마지막으로, 리만은 위의 결과들을 이용하여 소수정리를 증명하는 과정을 개술하였다. 산술 함수를 제타 함수에 대한 경로(contour) 적분으로 표현하고, 제타 함수의 영점에 관한 정보를 이용하여 적분을 계산하는 것이 그 방법의 핵심이다.

소수 정리

소수 정리는, 주어진 실수 x를 넘지 않는 소수의 개수 π(x)는 근사적으로 x/log x라는 명제다. 즉,
π(x) ∼ x

log x
가우스(Gauss)는 이것보다 한층 더 정확한 근사공식
π(x) ∼ Li(x) = ∞

2 dt

log t
를 발견했지만 증명에 성공하진 못 했다. 이 형태의 소수 정리는 ζ(s)가 직선 σ = 1에서 영점을 갖지 아니함과 동치이다. 위의 근사 공식의 오차에 대한 정보는 ζ(s)의 자명하지 않은 영점의 분포와 깊이 관련되어 있다. 설명의 편의를 위해, π(x)를 대신할 새로운 함수를 생각한다. 자연수 소수 p의 거듭제곱이면 즉 n = p^k이면 Λ(n) = log p, 그렇지 않으면 Λ(n) = 0이라 정의한다.
ψ(x) =
Σ
n ≤ x Λ(n)
이라 놓는다. 그러면 π(x)에 대한 모든 주장은 ψ(x)에 대한 그것으로 번역될 수 있으며 그 반대도 성립한다. 예를 들면, 소수정리는 ψ(x) ∼ x와 동치이다. 멜린 변환(Mellin transform)을 이용하면 다음과 같은 경로 적분표현을 얻는다.
ψ(x) = - 1

2πi c + i∞

c - i∞ ζ'(s)

ζ(s) x^s

s ds
만일 ζ(s)가 직선 σ = 1근처에서 영점을 갖지 않으면 위의 적분에서 c를 1보다 조금 더 작은 수로 택할 수 있고, ζ(s)는 s = 1에서 유수 1인 단순 극을 가지므로, 유수 정리에 의하여 Ψ(x)의 주요항 x를 얻을 수 있다. ζ(s)가 영점을 갖지 않는 한, 적분선을 왼쪽으로 이동 하여 오차 항을 작게 만들 수 있다. 만일 리만 가설이 옳다면 c = 1/2 + ε(ε은 임의로 작은 양수)로 택할 수 있으며, 그러면 Ψ(x) = x + O(x^{1/2 + ε}) 또는 π(x) = Li(x) + O(x^{1/2 + ε})을 얻는다. 실제로, 이 식들은 리만 가설과 동치이다. 일반적으로 말하면, 실수 α ≥ 1/2에 대하여 ζ(s)가 σ > α인 영점을 갖지 않는다는 것과 π(x) = Li(x) + O(x^{α + ε})은 동치이다. 아다마르와 발레뿌셍은 적당한 상수 A가 존재하여 ζ(s)가 σ > 1 - A/log t일 때 영점이 없음을 보이고 그 결과로
π(x) = Li(x) + O(xe
-k√ log x

) (k > 0, 상수)
를 얻었다. ζ(s)가 영점을 갖지 않는 수직 때 모양의 영역이 임계대 안에 존재하는지 아직도 밝혀지지 않았다.

제타 함수에 대한 복소수 이론이나 푸리에 해석을 이용한 소수 정리의 증명을 해석학적 증명이라 부르는데 반하여, 그렇지 않은 증명을 초등적(elementary) 증명이라 한다. 소수 정리의 해석학적 증명이 발견된 후, 수학자들은 초등적 증명을 시도했다. 이것이 가능하다면 소수 정리의 산술적 의미를 더욱 분명하게 할 뿐 아니라, 소수 정리의 오차를 향상시킴으로써 제타 함수의 영점의 위치에 대한 새로운 결과를 기대하였기 때문이다. 마침내 1949년 셀버그[Selberg]와 에르도스[Erdös]에 의해 결코 쉽지 않은 초등적 증명이 발견되었다. 그들이 얻은 오차는 해석학적 증명으로 얻어지는 그것보다 더 나쁜 것이었다. 그렇지만 소수정리는 제타 함수가 σ = 1인 직선 상에서 영이 되지 않는 것과 동치임을 기억하면, 그들은 함수론의 방법을 전혀 사용하지 않고 제타 함수의 중요한 성질을 증명한 셈이다. 이것은 초등적 증명의 가능성에 대하여 부정적 입장을 갖고 있던 수학자들 뿐 아니라 수학계 전체를 놀라게 하였다. 아직도 초등적 방법에 대한 충분한 이해와 연구가 성취되었다고 보기 힘들며, 초등적 방법을 통하여 얼마나 깊은 해석학적 결과들을 얻을 수 있을 지도 궁금하다.

다른 가설들

리만 가설보다 약한 것으로 가장 널리 알려진 가설은 린델로프(Lindelöf) 가설인데, 그 내용은 다음과 같다. 임의 양수 ε에 대하여
ζ( 1
2 + it) = O(t^ε).
이것은, 제타 함수의 영점의 위치에 대하여, 리만 가설보다 덜 과격한 주장을 하고 있는 셈인데, 그 증명은 리만 가설의 그것보다 결코 쉽지 않으리라 생각된다.

소수의 분포와 관련된 수론 문제들에 대한 최상의 답을 얻기 위하여 리만 가설이 반드시 필요한 것은 아니다. 리만 가설보다 약한 명제를 가정해도 충분히 만족할만한 결과를 얻을 수 있는 경우가 많다. 밀도 가설(density hypothesis)은 그 중 가장 유명한 것으로, 이것을 가정하면 이웃한 소수들의 거리에 대하여 거의 최상의 결과를 유도할 수 있다. 제타 함수의 영점을 ρ = β + iγ로 표시하자. 1/2 ≤ σ ≤ 1이고 T > 0일 때, β > σ와 0 < γ < T를 만족하는 ρ의 개수를 N(σ, T)라 하자. 밀도 가설은 다음의 내용을 주장한다. 임의 양수 ε에 대하여
N(σ, T) = O(T^{2 - 2σ + ε}).
리만 가설이 참이면 N(σ, T) = 0이니 밀도 가설은 허무한 것이 되고 만다.
리만 가설과 동치인 많은 명제 가운데 비교적 이해하기 쉬운 두 개를 소개한다. 첫 번째는 리즈(Riesz)의 조건으로, 그 내용은 임의 양수 ε에 대하여
∞
∑
k = 1 (-1)^{k + 1}x^k

(k - 1)!ζ(2k) = O(x^{1/4 + ε}).
두 번째는 하디(Hardy)와 리틀우드(Littlewood)의 조건으로, 그 내용은
∞
∑
k = 1 (-x)^k

k!ζ(2k + 1) = O(x^1/4).
이 두 조건은 제타 함수의 자명하지 않은 영점의 위치가 제타 함수의 자연수에서의 값에 대한 추정에 관련이 되어 있음을 말하고 있으나, 이 조건들이 어떤 형태로든지 이용된 적은 없다.

다른 제타 함수들

리만 제타 함수는 수학의 한 분야에 국한되어 있는 특이한 주제가 아니다. 해석적 수론, 대수적 수론, 보형 형식론(automorphic form theory), 동역학계 등의 분야에도 자연스럽게 리만 제타 함수와 유사한 성질을 깆는 함수들이 정의되고, 이들은 각각 고유한 이름들을 갖고 있지만 통칭하여 제타 함수라고 한다. 리만 제타 함수는 일반적인 제타 함수를 연구할 때, 전형의 역할을 한다. 일반적으로 제타 함수들은, 연구하려는 대상으로부터 생성되는 무한 수열을 계수로 갖는 멱급수 또는 디리클레(Dirichlet) 급수로 정의된다. 이들의 대부분은, 리만 제타 함수가 그렇듯이, 나름대로 적당한 형태의 오일러 곱셈 공식과 함수 방정식을 만족한다. 연구하려는 대상의 중요한 성질들은 제타 함수의 영점의 위치와 관련되었으며, 당연히 고전적인 리만 가설과 유사한 가설을 생각할 수 있다. 혼란의 염려가 있지만, 이들도 모두 리만 가설이라 부른다.

이제 리만 가설은 한 개의 문제를 가리키는 말이 아니다. 제타 함수와 리만 가설은 수학의 다양한 분야에서 중심적 연구 주제가 되었다. 고전적인 리만 가설 뿐 아니라 대부분의 리만 가설들도 미해결로 남아 있으며, 어느 것도 쉽게 해결되지 않을 것 같다. 비록 유한 수학의 분야에서지만, 한 가지 형태의 리만 가설은 해결되었다. 웨이유[Weil]가, 유한체 위의 사영 곡선에 정의되는 제타 함수에 대한 리만가설을 증명한 것은 1940년대였다. 이것의 일반화는 들린느[Deligne]에 의해 완성되었다. 그는 유한체 위의 임의의 다양체(variety)에 대한 제타 함수의 리만 가설을 해결하였는데 이것은 20세기 수학의 가장 위대한 업적 중에 하나이다. 그러나 한 개의 리만 가설의 증명이 다른 리만 가설들의 증명에 도움이 되리라고 기대하는 거은 너무 경솔하다.

참고 문헌 생략