스티펠 다양체

1. 개요[편집]

스티펠 다양체 Stiefel Manifold
정의	$\mathrm{St}(n,p) = \{X \in \mathbb R^{n\times p} : X^{\mathsf T}X = I_p\}$
차원	$np - p(p{+}1)/2$
위상	컴팩트. $p$ 가 $n$ 보다 작으면 연결
특수한 경우	$p=1$ → 구면 $S^{n-1}$, $p=n$ → $O(n)$
계량	매장(유클리드) 계량 / 정준 계량 — 측지선이 다르다
레트랙션	QR, 극분해(폴라), 케일리
단골 문제	직교 제약 최적화, 부분공간 추적, ICA, 신경망 가중치 직교화

“열들이 서로 직교하고 길이가 1”이라는 조건은 제약이 아니라 무대다. 무대 위에서는 제약을 신경 쓸 필요가 없다.

스티펠 다양체 $\mathrm{St}(n,p)$는 $\mathbb R^n$ 안의 정규직교 $p$-프레임 전체가 이루는 매끄러운 다양체, 즉

$$\mathrm{St}(n,p) \;=\; \bigl\{\, X \in \mathbb R^{n\times p} \;:\; X^{\mathsf T}X = I_p \,\bigr\} \qquad (p \le n)$$

이다. 열이 정규직교인 키 큰 행렬들의 집합이라고 보면 된다. 스위스 수학자 에두아르트 슈티펠이 1935년 다양체 위의 벡터장 문제를 다루며 도입했고¹, 60여 년이 지나 에델만·아리아스·스미스(1998)의 논문이 이 공간을 수치선형대수와 최적화의 표준 작업대로 만들었다.

리만 다양체 문서가 측지선·지수사상·레트랙션의 일반론을 다루므로 여기서는 반복하지 않는다. 이 문서의 요점은 스티펠에서만 벌어지는 세 가지다. 첫째, 차원이 주변 공간보다 훨씬 작아서 “유클리드 경사를 그냥 재면 틀린다”. 둘째, 자연스러운 계량이 하나가 아니라 둘이고, 둘의 측지선이 실제로 다르다. 셋째, 그럼에도 지수사상이 닫힌 형태로 존재해서, $p \ll n$ 이면 근사 레트랙션과 비용 차이가 거의 없다.

$$\dim \mathrm{St}(n,p) = np - \frac{p(p+1)}{2}$$

차원 계산은 셈만 하면 나온다. 자유 성분 $np$ 개에 대칭행렬 등식 $X^{\mathsf T}X = I_p$ 가 독립인 스칼라 제약을 $p(p{+}1)/2$ 개 걸기 때문이다. 각 열의 노름이 1이라 유계이고 등식이 닫힌 조건이므로 컴팩트하다 — 연속함수는 반드시 최솟값을 가진다는 뜻이라, 직교 제약 최적화에서 “발산해서 답이 없다”는 일은 원리적으로 없다.

2. 두 개의 극단 — 구면과 직교군[편집]

극단을 보면 감이 온다.

• $p = 1$: $x^{\mathsf T}x = 1$, 즉 단위구면 $S^{n-1}$. 차원 $n-1$.
• $p = n$: $X^{\mathsf T}X = I_n$, 즉 직교군 $O(n)$. 차원 $n(n{-}1)/2$. 단 $\det = \pm1$ 두 성분으로 갈라져 있어 연결이 아니다. 리 군·회전행렬 문서의 무대가 이쪽이다.
• $1 \le p < n$: 연결이고 리 군이 아니다. 그러나 몫공간으로는 군에서 나온다 — $O(n)$ 이 프레임에 추이적으로 작용하고 고정군이 $O(n{-}p)$ 라서

$$\mathrm{St}(n,p) \;\cong\; O(n)/O(n-p) \;\cong\; SO(n)/SO(n-p)\ \ (p<n)$$

이 몫 표현이 뒤에 나올 정준 계량의 출처다. 그리고 열 방향으로 한 번 더 나누면 그라스만 다양체가 된다: $\mathrm{Gr}(n,p) = \mathrm{St}(n,p)/O(p)$. 이 둘 중 무엇이 내 문제의 무대인지 고르는 것이 첫 번째이자 가장 중요한 설계 결정이다.

3. 접공간과 사영[편집]

$X^{\mathsf T}X = I_p$ 를 미분하면 $X^{\mathsf T}\Delta + \Delta^{\mathsf T}X = 0$, 즉 $X^{\mathsf T}\Delta$ 가 반대칭이어야 한다는 조건이 나온다. $X_\perp$ 를 $X$ 의 직교여공간의 정규직교기저($n\times(n{-}p)$)라 하면 접벡터는 두 조각으로 깔끔하게 쪼개진다.

$$T_X\mathrm{St}(n,p) = \bigl\{\, XA + X_\perp B \;:\; A^{\mathsf T} = -A \in \mathbb R^{p\times p},\ B \in \mathbb R^{(n-p)\times p} \,\bigr\}$$

차원을 세어 보면 $p(p{-}1)/2 + (n{-}p)p = np - p(p{+}1)/2$ 로 위와 정확히 맞는다. $A$ 조각은 “열공간 안에서 프레임을 돌리는” 방향이고, $B$ 조각은 “열공간 자체를 움직이는” 방향이다. $B$ 만 부분공간을 바꾼다 — 이 분리가 스티펠과 그라스만을 가르는 지점이다.

주변 공간의 임의의 행렬 $Z$ 를 접공간으로 떨어뜨리는 (유클리드) 사영은

$$\Pi_X(Z) = Z - X\,\mathrm{sym}(X^{\mathsf T}Z), \qquad \mathrm{sym}(M) = \tfrac12(M + M^{\mathsf T})$$

이다. 비용 $O(np^2)$. 실제로 확인해 보면 $X^{\mathsf T}\Pi_X(Z) = \mathrm{skew}(X^{\mathsf T}Z)$ 라 반대칭 조건을 만족하고, 잘려 나간 $X\,\mathrm{sym}(X^{\mathsf T}Z)$ 는 대칭×반대칭 트레이스가 0이므로 접공간과 직교한다.

4. 계량이 둘이다 — 그래서 측지선도 둘이다[편집]

여기가 스티펠 문서에서 가장 중요한 부분이다. 접벡터 $\Delta = XA + X_\perp B$ 에 대해 두 계량은 이렇게 생겼다.

$$g^{e}_X(\Delta,\Delta) = \mathrm{tr}(\Delta^{\mathsf T}\Delta) = \|A\|_F^2 + \|B\|_F^2$$ $$g^{c}_X(\Delta,\Delta) = \mathrm{tr}\Bigl(\Delta^{\mathsf T}\bigl(I - \tfrac12 XX^{\mathsf T}\bigr)\Delta\Bigr) = \tfrac12\|A\|_F^2 + \|B\|_F^2$$

매장 계량(embedded, 유클리드 계량이라고도 한다)은 그냥 주변 $\mathbb R^{n\times p}$ 의 프로베니우스 내적을 물려받은 것이다. 정준 계량(canonical)은 $O(n)/O(n{-}p)$ 몫 구조에서 $O(n)$ 의 양불변 계량을 내려받은 것이며, 차이는 $A$ 조각에 붙는 $\tfrac12$ 하나뿐이다.

그 $\tfrac12$ 이 왜 붙는지는 자유도를 세어 보면 안다. $A$ 는 반대칭이라 독립 성분이 $p(p{-}1)/2$ 개인데 $\|A\|_F^2 = 2\sum_{i<j}a_{ij}^2$ 로 각 독립 성분이 두 번 세어진다. 정준 계량은 그 중복을 걷어내 모든 독립 방향에 동일한 가중치를 준다. 즉 정준 쪽이 “치우침이 없는” 계량이고, 매장 쪽은 프레임 회전 방향에 두 배 무게를 얹은 계량이다.

두 계량이 실제로 다른 답을 주는가? 극단에서는 아니다. $p=1$ 이면 $A$ 가 $1\times1$ 반대칭이라 $A=0$ 이므로 둘이 완전히 같고, $p=n$ 이면 $B$ 가 없어져 둘이 상수배 차이라 측지선이 같다. 차이는 오직 $1 < p < n$ 에서만 나타난다. 그리고 거기서는 진짜로 다르다 — 같은 시작점과 같은 초기 접벡터에서 출발한 두 측지선이 서로 다른 곡선을 그린다.

경사도 갈린다. 주변 공간의 유클리드 경사를 $G = \nabla f(X)$ 라 할 때

$$\mathrm{grad}^{e} f = G - X\,\mathrm{sym}(X^{\mathsf T}G), \qquad \mathrm{grad}^{c} f = G - X G^{\mathsf T}X$$

이다.² 둘 다 접공간에 들어 있지만 방향이 다르고, 따라서 최급강하 궤적이 다르다. 실무 감각으로는 정준 계량 쪽이 조금 더 좋은 조건수를 주는 경우가 많다고 알려져 있으나 문제 의존적이라 정론은 없다. 라이브러리(Manopt, Pymanopt, geoopt)는 대개 두 계량을 모두 제공하고 기본값만 다르다.

5. 지수사상 — 닫힌 형태가 있다[편집]

대부분의 다양체와 달리 스티펠에서는 측지선이 유한 개의 행렬 지수함수로 정확히 쓰인다. 에델만·아리아스·스미스(1998)의 결과다.

정준 계량. $X \in \mathrm{St}(n,p)$, 접벡터 $H$ 에 대해 $A = X^{\mathsf T}H$ (반대칭), $K = (I - XX^{\mathsf T})H$ 를 얇은 QR 분해해 $K = QR$ 이라 두면

$$\begin{bmatrix} M(t) \\ N(t)\end{bmatrix} = \exp\!\left( t\begin{bmatrix} A & -R^{\mathsf T} \\ R & 0 \end{bmatrix}\right) \begin{bmatrix} I_p \\ 0 \end{bmatrix}, \qquad \gamma(t) = X\,M(t) + Q\,N(t)$$

매장 계량. $A = X^{\mathsf T}H$, $S = H^{\mathsf T}H$ 에 대해

$$\gamma(t) = \begin{bmatrix} X & H\end{bmatrix} \exp\!\left( t\begin{bmatrix} A & -S \\ I_p & A\end{bmatrix}\right) \begin{bmatrix} I_p \\ 0\end{bmatrix} \exp(-tA)$$

두 식 모두 $\gamma(0) = X$, $\dot\gamma(0) = H$ 를 미분으로 바로 확인할 수 있다. 형태가 완전히 다르다는 점을 눈으로 봐 두면 좋다 — “계량이 다르면 측지선이 다르다”의 가장 구체적인 증거다.

비용이 의외로 싸다. 두 식 모두 $2p \times 2p$ 행렬의 지수함수($O(p^3)$)와 얇은 QR($O(np^2)$)만 있으면 되므로 총 $O(np^2 + p^3)$ 이다. $p \ll n$ 인 전형적 상황(예: $n = 10^5$, $p = 20$)에서는 QR 레트랙션과 비용이 사실상 같다. “지수사상은 비싸니까 레트랙션을 쓴다”는 통념은 스티펠에는 잘 안 맞는다. 비싸지는 것은 $p$ 가 $n$ 에 가까워질 때다.

로그사상(두 점을 잇는 초기 속도 되찾기)은 반대로 닫힌 형태가 없다. 침머만(2017)의 반복 알고리즘이 정준 계량에서 표준으로 쓰인다.

6. 레트랙션 — 실제 코드가 하는 일[편집]

그럼에도 레트랙션을 쓰는 이유는 구현이 짧고 미분이 쉽기 때문이다. 리만 다양체 문서에 일반 정의가 있으니 여기서는 스티펠의 세 가지를 비용·성질로만 비교한다.

레트랙션	식	비용	성질
QR	$\mathrm{qf}(X+\xi)$	$O(np^2)$	가장 쌈. 1차
극분해(폴라)	$(X+\xi)(I_p + \xi^{\mathsf T}\xi)^{-1/2}$	$O(np^2 + p^3)$	2차, $X+\xi$ 에 최근접
케일리	$(I - \tfrac{\tau}{2}W)^{-1}(I + \tfrac{\tau}{2}W)X$	$O(np^2)$	직교성 정확 보존
지수사상	위 절	$O(np^2 + p^3)$	진짜 측지선

QR 레트랙션은 그냥 더한 뒤 QR 분해의 $Q$ 를 취한다. 단 $\mathrm{qf}$ 는 $R$ 의 대각을 양수로 고정해야 유일하고 매끄럽다 — LAPACK geqrf 는 그 규약을 보장하지 않으므로 부호를 직접 맞춰 줘야 한다. 이걸 안 하면 궤적이 눈에 안 띄게 튄다.

극분해 레트랙션은 극분해의 직교 인수를 취하는 것인데, 접벡터에서는 계산이 공짜에 가깝다. $\xi \in T_X$ 이면 $X^{\mathsf T}\xi + \xi^{\mathsf T}X = 0$ 이므로

$$(X+\xi)^{\mathsf T}(X+\xi) = I_p + \xi^{\mathsf T}\xi$$

이 되어, 역제곱근을 취할 대상이 $n\times n$ 이 아니라 $p\times p$ 다. 게다가 극분해 레트랙션은 2차 레트랙션이라 리만 신뢰영역법이나 2차 수렴 증명이 요구하는 조건을 만족한다. QR이 못 하는 일이다.

케일리 변환은 반대칭 $W$ 에 대해 $(I-\tfrac\tau2 W)^{-1}(I+\tfrac\tau2 W)$ 가 항상 직교라는 사실을 쓴다. 원(Wen)과 인(Yin, 2013)은 $W = GX^{\mathsf T} - XG^{\mathsf T}$ 로 잡으면 $W$ 의 계수(rank)가 $2p$ 이하라, 셔먼-모리슨-우드베리 항등식으로 $n\times n$ 역행렬을 $2p\times2p$ 역행렬로 줄여 $O(np^2)$ 에 끝난다는 것을 보였다. 직교성을 대수적으로 정확히 보존하므로 수십만 스텝을 밟는 장기 실행에서 $\|X^{\mathsf T}X - I\|$ 누적이 문제될 때 유리하다.³

7. 무엇이 진짜 스티펠 문제인가[편집]

가장 흔한 실수부터. 레일리 몫 최소화

$$\min_{X^{\mathsf T}X = I_p} \ \mathrm{tr}(X^{\mathsf T}AX)$$

는 스티펠 문제처럼 보이지만 아니다. 임의의 $Q \in O(p)$ 에 대해 $\mathrm{tr}((XQ)^{\mathsf T}A(XQ)) = \mathrm{tr}(X^{\mathsf T}AX)$ 라 목적함수가 $O(p)$ 방향으로 완전히 평평하다. 최적해가 다양체 하나(연속체)를 이루고 헤세가 그 방향으로 특이해져, 뉴턴법·신뢰영역법이 조용히 망가진다. 이건 그라스만 다양체 문제다. 판정법은 간단하다 — $f(XQ) = f(X)$ 가 모든 직교 $Q$ 에 대해 성립하면 그라스만, 아니면 스티펠.

진짜 스티펠 문제는 프레임 자체가 의미를 갖는 경우다.

• 직교 프로크루스테스 문제 — $\min_{\Omega^{\mathsf T}\Omega=I}\|A\Omega - B\|_F$. $p=n$ 인 스티펠(즉 $O(n)$) 최적화이며, 닫힌 해가 존재하는 예외적인 사례다. 대부분의 스티펠 문제에는 그런 행운이 없다.
• 독립성분분석 — 백색화 후에는 미지의 혼합행렬이 직교행렬로 줄어들어 문제 전체가 $O(n)$ 위의 대비함수 최적화가 된다. 성분의 순서와 부호가 의미를 갖기 때문에 그라스만으로 뭉갤 수 없다.
• 결합 대각화·희소 PCA — 여러 공분산 행렬을 하나의 직교 기저로 동시에 근사 대각화하는 문제. 회전 자유도가 답을 바꾼다.
• 부분공간 추적 — 스트리밍 데이터에서 $X$ 를 갱신할 때 기저까지 유지해야 하면 스티펠, 부분공간만 필요하면 그라스만.

신경망 가중치 직교화도 이 목록에 든다. 순환 신경망의 기울기 소실·폭발은 상태 전이 행렬의 특이값이 1에서 멀어지는 데서 오므로, 전이 행렬을 직교(또는 유니터리) 다양체 위에 묶어 두면 구조적으로 막힌다. 초기 구현은 매 스텝 케일리 레트랙션을 쓰다가, 최근에는 반대칭 파라미터 $A$ 를 자유변수로 두고 $W = \exp(A)$ 로 파라미터화 자체를 바꾸는 방식(리 지수 사상)이 더 널리 쓰인다. 제약 최적화를 아예 무제약 최적화로 바꾸는 셈이라 옵티마이저를 그대로 재사용할 수 있다는 것이 실무적 장점이다.

전자구조 계산도 오래된 고객이다. 밀도범함수이론의 콘-샴 궤도는 정규직교 조건을 만족해야 하고, 에너지 범함수 최소화는 그대로 스티펠(닫힌 껍질이면 그라스만) 위의 최적화가 된다. 에델만·아리아스·스미스 논문이 예제로 든 것이 정확히 이 문제였다.

8. 실무 노트[편집]

• 수렴 판정은 반드시 리만 경사의 노름으로. 접공간 차원이 $np$ 보다 훨씬 작으므로 $\|\nabla f\|$ 를 그대로 재면 접공간 밖 성분까지 세게 되어 절대 0으로 안 내려간다.
• 직교성 드리프트를 감시하라. QR·극분해 레트랙션은 직교성을 반올림 수준까지만 지킨다. $\|X^{\mathsf T}X - I_p\|_F$ 를 주기적으로 찍어 보고 $\sqrt{\varepsilon}$ 근처로 올라오면 재직교화하거나 케일리로 갈아탄다.
• $p$ 가 커지면 $p^3$ 항이 물기 시작한다. $n \gg p$ 라는 가정이 깨지면($p > n/4$ 정도) 위 비용표의 순위가 뒤집힐 수 있으니 직접 재 보는 편이 낫다.
• 초기값은 랜덤 가우시안의 QR로. $n\times p$ 가우시안 행렬을 QR 분해한 $Q$ 는 스티펠 위의 하르 측도(균등분포)를 따른다. 단 $R$ 의 대각을 양수로 맞추는 부호 보정이 반드시 있어야 한다 — LAPACK 의 하우스홀더 QR 은 그 규약을 보장하지 않아서, 보정 없이 뽑으면 미묘하게 균등하지 않은 표본이 나온다(메차드리 2007).
• 계량을 바꿔 보는 것은 공짜 실험이다. 매장과 정준의 전환은 경사 한 줄 차이이므로, 수렴이 느리면 다른 쪽을 한 번 돌려 볼 값어치가 있다.

9. 관련 문서[편집]

• 리만 다양체 · 그라스만 다양체 · 프레셰 평균 · 직교 프로크루스테스 문제
• 리 군 · 회전행렬 · 행렬 지수함수
• QR 분해 · 극분해 · 특이값 분해 · 그람-슈미트 · 하우스홀더 변환
• 레일리 몫 · 고유값 문제 · 주성분 분석 · 독립성분분석
• 경사하강법 · 준-뉴턴법 · 신뢰 영역 방법 · 켤레기울기법
• 밀도범함수이론 · 순환 신경망 · 저랭크 근사 · 케일리 변환

10. Footnotes[편집]

1. 같은 슈티펠이 17년 뒤 헤스테네스와 함께 켤레기울기법을 내놓는다. 위상수학으로 이름을 남기고 수치해석으로 한 번 더 남긴 셈인데, 공교롭게도 그 두 업적이 이 문서와 관련 문서 목록에서 다시 만난다. 학계의 세계는 좁다. ↩

2. 정준 경사식 $G - XG^{\mathsf T}X$ 가 진짜 맞는지 의심스러우면 $g^c(\mathrm{grad}^c f, \Delta) = \mathrm{tr}(G^{\mathsf T}\Delta)$ 를 직접 전개해 보면 된다. 남는 항이 “대칭행렬 × 반대칭행렬의 트레이스”라 0으로 사라진다. 리만 최적화 논문에서 갑툭튀하는 식들은 대개 이 정도 계산이 각주에 안 적혀 있을 뿐이다. ↩

3. 참고로 케일리 변환은 고윳값 $-1$ 을 갖는 직교행렬을 절대 만들어 내지 못한다($I + Q$ 가 특이해서 역상이 없다). 레트랙션으로 쓸 때는 원점 근방만 필요하니 아무 문제가 없지만, “케일리로 $O(n)$ 전체를 파라미터화하겠다”는 계획을 세우면 그 구멍에서 정확히 물린다. 국룰이 된 반례다. ↩