케일리 변환

수치해석 최적설계 마지막 수정: 2026-08-27 04:31:05

1. 개요[편집]

케일리 변환 Cayley Transform
정의	$Q = (I-A)(I+A)^{-1}$
역변환	$A = (I-Q)(I+Q)^{-1}$ — 자기 자신이 역이다
대응	반대칭 $\leftrightarrow$ 직교 · 반에르미트 $\leftrightarrow$ 유니터리 · 해밀턴 $\leftrightarrow$ 심플렉틱
구멍	고윳값 $-1$ 을 갖는 $Q$ 는 상이 없다
스칼라 판본	뫼비우스 변환 — 좌반평면 $\to$ 단위원판
정체	지수함수의 $(1,1)$ 대각 파데 근사
첫 등장	아서 케일리, 1846

제약을 만족시키려 애쓰지 말고, 제약이 자동으로 만족되는 좌표를 쓰면 된다.

케일리 변환은 반대칭행렬 $A$ ( $A^{\mathsf T}=-A$ )를 직교행렬로 보내는 사상

Q \;=\; \mathrm{Cay}(A) \;=\; (I-A)(I+A)^{-1}

이며, 더 일반적으로는 리 대수(제약의 미분 버전)와 리 군(제약 자체) 사이를 유리식만으로 오가는 사전이다. 아서 케일리가 1846년 반대칭 행렬식을 다루는 논문에서 처음 적었다.¹ $I+A$ 는 반대칭행렬의 고윳값이 순허수라 항상 가역이므로 정의는 언제나 잘 된다.

$Q$ 가 정말 직교인지는 한 줄이면 확인된다. $(I-A)^{\mathsf T}=I+A$ 이고 $(I\pm A)$ 는 서로 교환하므로

Q^{\mathsf T}Q = (I-A)^{-1}(I+A)(I-A)(I+A)^{-1} = I

이다. 이 문서가 다루는 것은 이 한 줄이 수치해석·최적화·해밀토니안 역학·안정성 이론에서 각각 어떤 얼굴로 다시 나타나는가이다.

2. 기본 성질 — 자기 자신이 역이다[편집]

$I-Q = 2A(I+A)^{-1}$ , $I+Q = 2(I+A)^{-1}$ 이므로

(I-Q)(I+Q)^{-1} = 2A(I+A)^{-1}\cdot\tfrac12(I+A) = A

즉 같은 공식이 정방향과 역방향을 모두 한다(대합, involution). 그리고 $\det(I-A) = \det\bigl((I+A)^{\mathsf T}\bigr) = \det(I+A)$ 이므로 $\det Q = 1$ — 케일리 변환의 상은 항상 특수직교군 $SO(n)$ 안에 있다. 반사는 절대 안 나온다.

더 중요한 것은 못 만드는 것이다. $I+Q = 2(I+A)^{-1}$ 은 가역이므로, $Q$ 가 고윳값 $-1$ 을 가지면 원상이 존재하지 않는다. 케일리 변환은 $SO(n)$ 전체가 아니라 $\det(I+Q)\neq0$ 인 조밀한 열린 부분집합만 덮는 좌표계다. 3차원에서 이 구멍은 정확히 $\pi$ 회전이다 — 회전행렬을 각 $\theta$ 로 쓰면 케일리 파라미터는 $\tan(\theta/2)$ 에 비례하는 깁스 벡터가 되고, $\theta\to\pi$ 에서 발산한다. 자세를 케일리(로드리게스) 파라미터로 표현한 코드가 뒤집힌 자세에서 터지는 고전적 사고가 여기서 나온다. 쿼터니언이 그 구멍이 없다는 이유로 이겼다.

스펙트럼도 깔끔하게 대응한다. $A$ 의 고윳값이 $i\theta$ 면 $Q$ 의 고윳값은 $(1-i\theta)/(1+i\theta)$ 로 크기가 정확히 1이다. 허수축이 단위원으로 간다 — 이 한 문장이 뒤의 모든 절을 지배한다.

3. 스칼라로 보면 뫼비우스 변환[편집]

$1\times1$ 로 내려오면 케일리 변환은 $z \mapsto (1-z)/(1+z)$ 라는 뫼비우스 변환이다. 뫼비우스 변환은 원과 직선을 원과 직선으로 보내는 등각사상이므로, 허수축(직선)이 단위원(원)으로 가는 것은 우연이 아니라 구조다. 방향까지 확인하면 우반평면 $\to$ 단위원판 내부, 좌반평면 $\to$ 단위원 바깥이다.

복소해석에서 “케일리 변환”이라고 하면 보통 $z\mapsto (z-i)/(z+i)$ 를 가리키는데, 상반평면을 단위원판으로 보내는 그 사상이다. 등각사상 논의에서 상반평면 모형과 원판 모형을 오갈 때 쓰는 표준 도구이며, 위 행렬 판본과 같은 뿌리다. 함수해석으로 올라가면 폰 노이만이 이 변환으로 대칭 연산자를 등거리 연산자로 바꿔 자기수반 확장을 결손 지수로 분류했다. “경계가 무한대까지 뻗은 영역”을 “경계가 유계인 영역”으로 바꾸는 만능 열쇠라고 기억하면 대체로 맞는다.

4. 리 대수에서 리 군으로[편집]

케일리 변환이 통하는 대상은 반대칭행렬만이 아니다. 고정된 $J$ 에 대해

G = \{\,X : X^{\mathsf T}JX = J\,\}, \qquad \mathfrak g = \{\,A : A^{\mathsf T}J + JA = 0\,\}

로 정의되는 이차 군이면 $\mathrm{Cay}(\mathfrak g)\subset G$ 가 항상 성립한다. 그래서 하나의 공식이 세 가지 일을 한다.

대상	리 대수	리 군
직교	반대칭 $A^{\mathsf T}=-A$	$SO(n)$
유니터리	반에르미트 $A^{*}=-A$	$U(n)$
심플렉틱	해밀턴 $(JA)^{\mathsf T}=JA$	$Sp(2n)$

에르미트 $H$ 에 대해 $A=iH$ 를 넣으면 $U=(I-iH)(I+iH)^{-1}$ 이 유니터리가 되는 것이 두 번째 줄이다. 리 군과 리 대수의 관계를 잇는 정통 도구는 행렬 지수함수 $\exp$ 지만, 실제 계산에서는 케일리 쪽이 자주 이긴다.

비용. $\exp$ 는 스케일링-제곱법으로 여러 번의 행렬곱과 LU 분해를 요구하는 반면, 케일리는 선형계 한 번( $O(n^3)$ 이되 상수가 훨씬 작다)이다.
정확성. 두 사상 모두 대수를 군으로 정확히 보낸다. 반올림 오차를 빼면 $\|Q^{\mathsf T}Q-I\|$ 가 원리적으로 0이다.
차수. 전개해 보면 $\mathrm{Cay}(A) = I - 2A + 2A^2 - 2A^3 + \cdots$ 이고 $\exp(-2A) = I-2A+2A^2-\tfrac43A^3+\cdots$ 이므로, 케일리는 $\exp(-2A)$ 의 $(1,1)$ 대각 파데 근사다. 2차까지 일치하고 3차에서 갈린다.

마지막 줄이 핵심이다. 대각 파데 근사는 이차 불변량을 정확히 보존한다 — 이것이 케일리 변환이 ” $\exp$ 의 싸구려 대용품”이 아니라 그 자체로 구조 보존 사상인 이유이고, 아래 두 절의 공통 배경이다.²

5. 직교 제약 최적화[편집]

$X^{\mathsf T}X = I_p$ 라는 제약 위에서 함수를 최소화할 때, 갱신을 어떻게 하든 직교성이 조금씩 무너지는 것이 고질병이다. QR이나 극분해로 매번 되돌려도 반올림 수준의 오차는 남고, 수십만 스텝을 밟으면 누적된다. 케일리 갱신

X_{k+1} = \Bigl(I - \tfrac{\tau}{2}W\Bigr)^{-1}\Bigl(I + \tfrac{\tau}{2}W\Bigr)X_k, \qquad W^{\mathsf T} = -W

는 앞 절의 성질 덕분에 직교성을 대수적으로 정확히 보존하며³, 스텝 크기 $\tau$ 가 곧 선탐색 파라미터가 된다. 원과 인(2013)은 $W = GX^{\mathsf T}-XG^{\mathsf T}$ 로 잡으면 $W$ 의 랭크가 $2p$ 이하라 셔먼-모리슨-우드베리 항등식으로 $n\times n$ 역행렬을 $2p\times2p$ 로 줄일 수 있음을 보였다. 스티펠 다양체 문서에 레트랙션으로서의 비교와 비용표가 있으니 여기서는 반복하지 않는다.

같은 아이디어가 신경망에도 들어온다. 순환 신경망의 기울기 폭발·소실은 상태 전이 행렬의 특이값이 1에서 멀어지는 데서 오므로, 전이 행렬을 반대칭 파라미터 $A$ 의 케일리 상으로 두면 학습 내내 직교성이 유지된다. 이때 앞에서 본 $-1$ 구멍이 실제로 문제가 된다 — 케일리 상은 $\det(I+Q)\neq0$ 인 부분만 덮으므로 표현 가능한 전이 행렬이 제한된다. 부호 대각행렬 $D=\mathrm{diag}(\pm1)$ 을 곱해 $QD$ 로 파라미터화하는 변형이 그 구멍을 메우려고 나온 것이다.

6. 시간 적분기가 사실은 케일리 변환이다[편집]

선형 시스템 $y' = Ay$ 에 크랭크-니콜슨법(사다리꼴 규칙)을 적용하면

y_{n+1} = \Bigl(I - \tfrac{h}{2}A\Bigr)^{-1}\Bigl(I + \tfrac{h}{2}A\Bigr)y_n

이다. 오른쪽은 정확히 $\mathrm{Cay}$ 꼴이고, 그래서 다음이 정리가 아니라 항등식으로 따라온다.

유니터리 보존. 슈뢰딩거 방정식 $\psi' = -\tfrac{i}{\hbar}H\psi$ 에서 $A=-\tfrac{i}{\hbar}H$ 는 반에르미트다. 따라서 크랭크-니콜슨 전파자는 반올림 오차를 제외하면 정확히 유니터리이고, $\|\psi\|$ 가 시간에 무관하게 보존된다. 명시적 오일러는 노름이 자라고 음해 오일러는 줄어드는데, 케일리만 정확히 1을 유지한다. 시간의존 슈뢰딩거 방정식 코드가 거의 예외 없이 크랭크-니콜슨인 이유가 이것이다.
심플렉틱성. 선형 해밀턴계 $y'=J S y$ 에서 $JS$ 는 해밀턴 행렬이므로 위 갱신은 심플렉틱 행렬이다. 즉 선형 문제에서 크랭크-니콜슨은 심플렉틱 적분기다.
다만 비선형에서는 갈라진다. 선형 문제에서 크랭크-니콜슨과 일치하는 암시적 중점법은 일반 해밀턴계에서도 심플렉틱이지만, 사다리꼴 규칙은 그렇지 않다(대칭이고 심플렉틱 사상에 켤레일 뿐이다). “크랭크-니콜슨은 심플렉틱하다”는 말을 비선형 문제로 확장하면 틀린다.

안정성 이론의 좌반평면-단위원 대응도 같은 사상이다. 스칼라 시험방정식의 증폭 인자는 $R(z) = (1+z/2)/(1-z/2)$ , $z=h\lambda$ 이고 이것은 $z/2$ 의 케일리 변환이다. 앞 절에서 본 대로 좌반평면이 단위원판으로 통째로 옮겨 가므로 $\mathrm{Re}\,\lambda<0$ 이면 항상 $|R|<1$ , 즉 A-안정이 공짜로 나온다. 동시에 $z\to-\infty$ 에서 $|R|\to1$ 이라 A-안정성보다 강한 L-안정성은 없다는 것도 같은 식에서 즉시 읽힌다 — 크랭크-니콜슨의 톱니 진동은 이 사상이 무한대를 $-1$ 로 보내기 때문에 생긴다. 연속계 안정성(좌반평면)과 이산계 안정성(단위원판)을 잇는 이 사전은 신호처리에서 쌍선형 변환(터스틴 변환) $s = \tfrac{2}{T}\tfrac{z-1}{z+1}$ 이라는 이름으로 아날로그 필터를 디지털 필터로 옮기는 데 그대로 쓰인다. 아날로그 필터의 안정성이 자동으로 물려받아진다는 것이 이 방법의 판매 포인트다.

7. 고유값 문제의 스펙트럼 변환[편집]

대형 고유값 문제에서 관심 영역의 고윳값만 뽑고 싶을 때 쓰는 것이 스펙트럼 변환이고, 그중 하나가 케일리 변환 $(A-\sigma B)^{-1}(A-\tau B)$ 다. 흔한 이동-역변환 $(A-\sigma B)^{-1}$ 이 $\sigma$ 근처를 크게 만드는 데 비해, 케일리 쪽은 어떤 수직선의 오른쪽 전체를 단위원 밖으로 밀어낸다.

이 차이가 유동 안정성 해석에서 결정적이다. 정상해가 불안정해지는지를 보려면 ” $\mathrm{Re}\,\lambda>0$ 인 고윳값이 있느냐”를 알아야 하는데, 이건 특정 점 근처가 아니라 반평면 전체에 대한 질문이다. 케일리 변환을 씌우면 그 반평면이 단위원 바깥으로 나가고, 크기가 큰 고윳값부터 잡는 크리로프 부분공간법의 습성이 정확히 원하는 답을 준다. ARPACK 기반 대형 유동 안정성 코드가 이 변환을 표준으로 쓰는 이유다. 대가는 $(A-\sigma B)$ 에 대한 희소 LU 분해를 감당해야 한다는 것.

8. 주의사항[편집]

$-1$ 구멍은 사라지지 않는다. 국소 좌표(레트랙션, 원점 근방 갱신)로 쓰면 아무 문제가 없지만, “케일리로 $SO(n)$ 전체를 파라미터화하겠다”는 계획은 반드시 그 구멍에서 물린다. 전역 파라미터화가 필요하면 행렬 지수함수나 쿼터니언 쪽이다.
$I+A$ 의 조건수를 보라. 정의는 항상 되지만 $A$ 의 순허수 고윳값이 $\pm i$ 에 가까우면(즉 회전각이 $\pi$ 에 가까우면) $I+A$ 가 병적으로 조건이 나빠진다. 스텝 크기 $\tau$ 를 줄이는 것이 실질적 처방이다.
역행렬을 만들지 마라. $(I-\tfrac\tau2W)^{-1}M$ 은 선형계로 풀어야지 역행렬을 명시적으로 조립하면 비용도 정밀도도 손해다. 저랭크 $W$ 라면 저랭크 근사 항등식(SMW)으로 작은 계로 줄인다.
직교성을 실제로 찍어 보라. 대수적으로 정확해도 반올림은 쌓인다. $\|X^{\mathsf T}X-I\|_F$ 를 주기적으로 확인하는 습관은 케일리를 써도 여전히 유효하다.

9. 관련 문서[편집]

같은 케일리의 이름이 케일리-해밀턴 정리에도 붙어 있어서 둘을 헷갈리는 사람이 꾸준히 나온다. 관계는 전혀 없다. 19세기 영국 수학자가 손댄 분야가 워낙 많아서 벌어지는 흔한 참사이며, 케일리 그래프·케일리 표·케일리 수까지 가면 이름표만 보고는 아무것도 알 수 없다. ↩
파데 근사와 구조 보존의 관계를 알고 나면 가우스-르장드르 룽게-쿠타법이 왜 심플렉틱한지도 같은 이유로 설명된다. 단계 수 $s$ 인 가우스법의 안정함수가 정확히 $(s,s)$ 대각 파데 근사이고, 대각 파데는 $|R(iy)|=1$ 을 만족한다. “고차 심플렉틱 적분기”라는 무거운 이름의 정체가 사실 케일리 변환의 형제라는 걸 알면 조금 허탈해진다. ↩
“직교성을 정확히 보존한다”는 표현에는 늘 각주가 필요하다. 정확한 것은 대수적 항등식이고, 실제 부동소수점 연산에서는 선형계를 푸는 과정의 반올림이 들어간다. 다만 그 오차는 스텝마다 새로 생길 뿐 누적되지 않는다 — QR 레트랙션처럼 “조금씩 어긋난 상태에서 다시 어긋나는” 구조가 아니기 때문이다. 이 차이가 장기 실행에서 갈린다. ↩