힐베르트 공간

수치해석 양자역학 마지막 수정: 2026-08-22 04:14:20

1. 개요[편집]

힐베르트 공간 Hilbert Space
정의	내적이 있고 그 노름에 대해 완비인 벡터공간
명명	다비트 힐베르트 (폰 노이만이 1929년 공리화)
대표 예	ℝⁿ · ℓ² · L²(Ω) · H^k(Ω)
핵심 정리	사영 정리 · 리스 표현 정리 · 스펙트럼 정리
수치해석에서	오차를 직교분해할 수 있는 유일한 무대

직각이 정의되는 무한차원. 수치해석자가 이 공간을 사랑하는 이유는 딱 하나다 — 무한차원에서도 피타고라스가 성립하기 때문에 오차를 직교분해할 수 있어서.

힐베르트 공간(Hilbert space)은 내적 $\langle\cdot,\cdot\rangle$ 이 정의되어 있고, 그 내적이 유도하는 노름 $\|x\| = \sqrt{\langle x,x\rangle}$ 에 대해 완비인 벡터공간이다. 조건이 딱 두 개다. 하나는 “각도를 잴 수 있다”(내적), 다른 하나는 “코시 수열이 도망가지 않는다”(완비성).

이 두 조건이 왜 그렇게 대단한가. 노름만 있는 바나흐 공간에서는 “가장 가까운 점”이 유일하다는 보장조차 없다. 그런데 내적이 붙는 순간 평행사변형 법칙이 성립하고, 그러면 닫힌 볼록집합 위의 최근접점이 유일하게 존재하며, 그 최근접점은 오차가 부분공간에 수직이라는 조건으로 완전히 특징지어진다. 이것이 갤러킨 방법·최소자승법·적합직교분해가 전부 같은 그림인 이유이자, 유한요소법의 오차 추정이 성립하는 이유다. 무한차원에서 “근사”라는 단어에 의미를 부여하는 최소한의 구조가 힐베르트 공간이라고 봐도 된다.¹

2. 정규직교기저와 파스발 등식[편집]

유한차원에서 정규직교기저가 하는 일 — 좌표를 내적 한 번으로 뽑아내는 것 — 이 무한차원에서도 그대로 된다. 가산 정규직교집합 $\{e_k\}$ 가 완전(complete)하면, 즉 그 닫힌 생성공간이 $H$ 전체면 임의의 $x \in H$ 에 대해

x = \sum_{k=1}^{\infty} \langle x, e_k\rangle\, e_k, \qquad \|x\|^2 = \sum_{k=1}^{\infty} \bigl|\langle x, e_k\rangle\bigr|^2

가 성립한다. 오른쪽이 파스발 등식(Parseval’s identity)이다. 유한 개만 쓰면 등호가 부등호로 바뀌어 $\sum_{k\le N} |\langle x,e_k\rangle|^2 \le \|x\|^2$ 가 되는데(베셀 부등식), 그 차이가 정확히 절단 오차의 제곱이다.

\Bigl\| x - \sum_{k\le N} \langle x,e_k\rangle e_k \Bigr\|^2 = \|x\|^2 - \sum_{k\le N} \bigl|\langle x,e_k\rangle\bigr|^2 = \sum_{k>N} \bigl|\langle x,e_k\rangle\bigr|^2

계수의 감쇠 속도가 곧 오차의 감쇠 속도다. 푸리에 변환의 에너지 보존, 스펙트럴 방법이 매끄러운 해에서 지수 수렴하는 것, 적합직교분해에서 잘라낸 모드의 에너지 비율로 축소 차수를 정하는 관행 — 전부 이 한 줄의 응용이다. 분리가능(separable)한 무한차원 힐베르트 공간은 전부 $\ell^2$ 와 등거리 동형이므로, 사실상 “제곱합이 수렴하는 수열 공간” 하나를 여러 옷을 입혀 쓰고 있는 셈이다.

3. 사영 정리 — 갤러킨·최소제곱·POD가 한 그림인 이유[편집]

힐베르트 공간의 심장은 사영 정리(projection theorem)다. $M \subset H$ 가 닫힌 부분공간이면 임의의 $x \in H$ 에 대해

\|x - Px\| = \min_{m\in M}\|x - m\| \quad\Longleftrightarrow\quad x - Px \perp M

즉 최근접점이 유일하게 존재하고, 그 최근접점은 “오차가 $M$ 에 수직”이라는 조건으로 완전히 특징지어진다. 그리고 여기서 피타고라스가 나온다.

\|x\|^2 = \|Px\|^2 + \|x - Px\|^2

이 한 장면이 서로 달라 보이던 수치해석의 세 문제를 하나로 묶는다.

최소제곱. $\min_c \|b - Ac\|_2$ 의 해는 잔차가 $A$ 의 열공간에 수직인 점, 즉 정규방정식 $A^{\mathsf T}A c = A^{\mathsf T}b$ 다. “정규방정식”의 “정규”가 직교의 정규다. → 최소자승법
갤러킨. 잔차를 시험함수 공간에 직교시키면 $a(u - u_h, v_h) = 0$ 이 되고, $a$ 가 대칭 양정부호면 이건 에너지 내적에 대한 사영이다. 그래서 갤러킨 해는 그 공간이 낼 수 있는 최선의 근사가 된다. 비대칭이면 직교가 아니라 기울어진 사영이 되어 최적성이 상수배만큼 무너지고, 그 상수가 Céa 보조정리에 나오는 연속상수 대 강제상수의 비다. → 갤러킨 방법
POD·DMD. 스냅숏 집합을 $L^2$ 에서 가장 잘 담는 $k$ 차원 부분공간을 찾는 문제 역시 사영이며, 답은 특이값 분해의 앞쪽 $k$ 개 좌특이벡터다(에카르트-영). → 적합직교분해 · 동적 모드 분해

셋 다 “닫힌 부분공간으로의 사영”이라는 똑같은 문제이고, 셋 다 답이 직교 조건으로 나온다. 서로 다른 분야에서 서로 다른 이름으로 재발명된 것뿐이다.²

4. 리스 표현 정리 — 약형식이 사는 이유[편집]

두 번째 기둥은 리스 표현 정리(Riesz representation theorem)다. $H$ 위의 모든 유계 선형범함수 $f \in H^*$ 에 대해

f(x) = \langle x, y_f\rangle \quad \forall x \in H, \qquad \|f\|_{H^*} = \|y_f\|_H

를 만족하는 $y_f \in H$ 가 유일하게 존재한다. 쌍대공간이 자기 자신과 (반선형) 등거리 동형이라는 뜻이다. 힐베르트 공간이 “자기 자신을 거울로 갖는” 공간인 셈.

이 정리 없이는 변분법과 약형식이 성립하지 않는다. 미분방정식을 $a(u,v) = \ell(v)\ \forall v$ 꼴로 바꿔 놓았을 때, 우변 $\ell$ 은 “함수에 수를 대응시키는 규칙”일 뿐인데 리스 정리가 그것을 공간 안의 벡터로 되돌려 준다. 좌변이 대칭 강제적이면 리스 정리가 바로 유일해를 주고, 비대칭이면 그 확장판인 Lax-Milgram 정리가 받는다(자세한 것은 소볼레프 공간 참고). 수반연산자 $A^*$ 의 존재 자체도 리스 정리의 따름정리이며, 형상 최적화의 수반법이 “왜 수반 문제가 존재하는가”를 따지지 않고 그냥 쓰는 것도 이 덕분이다.

5. L²와 H¹ — 유한요소법이 사는 자리[편집]

가장 많이 쓰이는 힐베르트 공간은 제곱적분가능 함수들의 공간이다.

L^2(\Omega) = \Bigl\{ u : \int_\Omega |u|^2\,dx < \infty \Bigr\}, \qquad \langle u,v\rangle_{L^2} = \int_\Omega u\,\bar v\,dx

리스-피셔 정리가 이것의 완비성을 보장하는데, 여기서 르베그 적분이 필수다 — 리만 적분으로는 $L^2$ 가 완비가 되지 않는다. “측도론을 배워야 하는 이유”가 사실상 이 한 줄이다.

하지만 미분방정식에는 $L^2$ 만으로 부족하다. 약형식이 1계 도함수를 요구하기 때문에, 함수와 그 약도함수가 함께 $L^2$ 에 있는 공간 $H^1(\Omega)$ 이 필요하다. 이 $H^1$ 이 힐베르트 공간이라는 사실이 위의 사영 정리·리스 정리를 전부 불러오고, 그 위에서 유한요소법의 존재·유일성·오차 추정이 통째로 세워진다. 자세한 것은 소볼레프 공간에 있고, 여기서는 결론만 적는다 — FEM이 $H^1$ 에서 세워지는 것은 취향이 아니라, 사영 정리를 쓰려면 힐베르트여야 하기 때문이다. $L^p$ ( $p \ne 2$ )에는 내적이 없어서 이 논법이 통째로 죽는다.

6. 재생핵 힐베르트 공간 — 커널법이 유한차원으로 내려오는 트릭[편집]

$L^2$ 에서는 “한 점에서의 값”이라는 개념이 없다(측도 0인 집합 위의 값은 의미가 없다). 그런데 어떤 함수공간에서는 점 평가 범함수 $\delta_x : f \mapsto f(x)$ 가 유계다. 그러면 리스 정리에 의해

f(x) = \langle f,\ k(\cdot,x)\rangle_{\mathcal H} \qquad \forall f \in \mathcal H

를 만족하는 함수 $k(\cdot,x) \in \mathcal H$ 가 존재한다. 이 $k$ 를 재생핵(reproducing kernel)이라 하고, 그런 공간을 재생핵 힐베르트 공간(RKHS)이라 부른다. 무어-아론샤인 정리에 의해 양정부호 커널과 RKHS는 1:1로 대응한다 — 커널 하나를 고르는 것이 함수공간 하나를 고르는 것과 같다.

실용적 파괴력은 표현자 정리(representer theorem)에서 나온다. 데이터 $\{(x_i,y_i)\}_{i=1}^n$ 에 대해 정규화된 손실

\min_{f\in\mathcal H}\ \sum_{i=1}^n L\bigl(y_i, f(x_i)\bigr) + \lambda\|f\|_{\mathcal H}^2

를 푸는 최소화자는 반드시 $f = \sum_i \alpha_i\, k(\cdot,x_i)$ 꼴이다. 증명은 사영 정리 한 줄이다 — $\mathrm{span}\{k(\cdot,x_i)\}$ 에 직교하는 성분은 데이터 항에 아무 영향을 못 주면서 노름만 키우므로, 최적해에서는 0이어야 한다. 무한차원 최적화가 $n$ 차원 최적화로 정확히 내려앉는다. 이것이 서포트 벡터 머신·커널 릿지 회귀·가우스 과정 회귀가 굴러가는 이론적 근거이며, 커널 트릭이 “왜 특징공간을 명시적으로 안 만들어도 되는가”에 대한 답이기도 하다.

7. 양자역학의 상태공간[편집]

양자역학의 공리는 아예 힐베르트 공간 위에 쓰여 있다. 계의 상태는 분리가능한 복소 힐베르트 공간의 단위벡터(위상 제외), 관측가능량은 자기수반 연산자, 측정 확률은 $|\langle \phi|\psi\rangle|^2$ , 시간 발전은 유니터리 군이다. 이것들은 증명되는 정리가 아니라 이론의 출발점으로 놓인 공리이며, 이 정식화를 세운 사람이 폰 노이만이다. 하이젠베르크의 행렬역학과 슈뢰딩거의 파동역학이 “같은 이론”임을 증명한 것도 $\ell^2 \cong L^2$ 라는 등거리 동형이었다.³

자기수반 연산자에 대해서는 **스펙트럼 정리**가 성립해 $A = \int \lambda\, dE(\lambda)$ 로 분해된다. 유한차원의 대칭행렬 대각화가 무한차원으로 확장된 것인데, 결정적인 차이는 스펙트럼이 고유값만으로 이루어지지 않는다는 점이다 — 이산 스펙트럼은 속박 상태, 연속 스펙트럼은 산란 상태에 대응하고, 후자에는 제곱적분가능한 고유함수가 아예 없다. 수소원자의 이산 준위와 이온화 연속체가 같은 연산자의 스펙트럼 두 조각이라는 사실이 여기서 나온다.

수치적으로는 이 구조가 곧바로 돈이 된다. 기저를 유한 개 잡아 $\hat H$ 를 그 부분공간으로 사영하고 대각화하는 것이 레일리-리츠 방법이고, 이는 갤러킨 방법의 고유값 문제 판이다. 사영 정리 덕에 근사 바닥상태 에너지는 항상 참값보다 위에 있고, 기저 공간을 포개어 키우면(작은 것이 큰 것의 부분공간) 단조롭게 내려온다.

E_0 \le \frac{\langle\psi|\hat H|\psi\rangle}{\langle\psi|\psi\rangle}

양자화학에서 기저집합을 키우며 에너지가 위에서 수렴하는 것을 확인하는 관행이 이 부등식 하나에 기대고 있다. 밀도범함수이론이나 슈뢰딩거 방정식 수치해에서 “변분적”이라는 형용사가 붙으면 이 보장이 있다는 뜻이다.⁴

8. 무한차원이 유한차원과 다른 지점[편집]

편하다고만 하면 거짓말이다. 무한차원에서 새로 생기는 함정도 있다.

닫힌 부분공간이어야 한다. 사영 정리는 $M$ 이 닫혀 있을 것을 요구한다. 다항식 전체처럼 닫히지 않은 부분공간에는 최근접점이 없을 수 있다.
유계집합이 콤팩트하지 않다. 정규직교기저 $\{e_k\}$ 는 유계지만 $\|e_i - e_j\| = \sqrt2$ 라 수렴 부분수열이 없다. 그래서 “유계 수열에서 수렴 부분수열 뽑기”라는 유한차원의 무기가 통하지 않고, 대신 약수렴과 콤팩트 매입(렐리히-콘드라쇼프)에 기대야 한다. 변분문제의 존재 증명이 까다로워지는 지점이 정확히 여기다.
비유계 연산자. 미분 연산자는 $L^2$ 전체에서 정의되지 않는다. 정의역을 함께 명시해야 자기수반성이 의미를 갖고, 정의역을 잘못 잡으면 대칭이지만 자기수반은 아닌 물건이 나온다. 물리적으로는 경계 조건을 어떻게 거느냐가 곧 연산자를 어떻게 정의하느냐다.

9. 관련 문서[편집]

정작 힐베르트 본인은 “힐베르트 공간”이라는 말을 쓴 적이 없다. 적분방정식 연구에서 $\ell^2$ 를 다룬 것이 시초이고, 공리적 정의를 세워 이름을 붙인 것은 1929년 폰 노이만이다. 힐베르트가 그 강연을 듣고 “그런데 힐베르트 공간이 대체 뭔가?”라고 물었다는 일화가 전해지는데, 출처가 불분명한 학계 전설에 가깝다. ↩
그래서 “우리 분야의 방법 A와 저쪽 분야의 방법 B가 사실 같은 것이더라”는 논문이 주기적으로 나온다. 대개 둘 다 힐베르트 공간에서의 사영이다. 논문을 쓰기 전에 내적이 뭔지부터 적어 보면 시간을 아낄 수 있다. ↩
정확히는 스톤-폰 노이만 정리가 정준교환관계의 기약 표현이 유니터리 동치임을 말해 준다. 무한차원 힐베르트 공간이 전부 서로 동형이라는 사실이, 서로 완전히 달라 보이던 두 이론이 같다는 결론으로 이어진 것이다. 수학이 물리 논쟁을 종결시킨 드문 사례. ↩
반대로 말하면 “변분적이지 않은” 방법 — 예컨대 결합 클러스터(CC)나 다체 섭동론(MP2) — 은 참값 아래로 내려가는 것이 정상이고, 그걸 버그로 신고하면 곤란해진다. ↩