케일리-해밀턴 정리

수치해석 마지막 수정: 2026-08-08 04:47:29

1. 개요[편집]

케일리-해밀턴 정리 Cayley–Hamilton theorem
진술	$p(\lambda)=\det(\lambda I - A)$ 이면 $p(A)=O$
적용 범위	가환환 위의 모든 정사각행렬
핵심 따름정리	$f(A)$ 는 차수 $\le n-1$ 다항식으로 표현된다
연결	최소다항식 · 조르당 표준형
수치 계산	이 정리에 기반한 알고리즘은 대부분 불안정

모든 정사각행렬은 자기 자신의 특성다항식을 만족한다. 그리고 그 사실로 수치 계산을 하려 들면 벌을 받는다.

케일리-해밀턴 정리(Cayley–Hamilton theorem)는 $n\times n$ 행렬 $A$ 의 특성다항식

p(\lambda) = \det(\lambda I - A) = \lambda^n + c_{n-1}\lambda^{n-1} + \cdots + c_1\lambda + c_0

에 $A$ 자신을 대입하면 영행렬이 된다는 정리다. 즉

p(A) = A^n + c_{n-1}A^{n-1} + \cdots + c_1 A + c_0 I = O.

케일리가 1858년 $2\times2$ · $3\times3$ 에 대해 확인하고 일반 경우는 “검증할 필요를 못 느꼈다”고 적어둔 뒤,¹ 프로베니우스가 1878년에 제대로 증명했다. 결론이 짧아서 그런지 틀린 증명이 가장 널리 퍼진 정리이기도 하다.

2. ”자명한 증명”의 함정[편집]

거의 모든 선형대수 수강생이 한 번쯤 떠올리는 논증이 있다.

$p(\lambda) = \det(\lambda I - A)$ 이니까 $\lambda$ 자리에 $A$ 를 넣으면 $p(A) = \det(A I - A) = \det(O) = 0$ . 증명 끝.

틀렸다. 이유는 두 겹이다.

첫째, 타입이 맞지 않는다. $\det(\cdot)$ 의 값은 스칼라다. 이 논증의 결론은 스칼라 $0$ 이지만 정리가 주장하는 것은 영행렬 $O$ 다. 결론의 종류부터 다르다.

둘째, 그리고 더 본질적으로, 두 대입은 서로 다른 연산이다. $p(A)$ 의 정의는 ” $\det(\lambda I - A)$ 를 전개해서 얻은 $\lambda$ 의 다항식에 $A$ 를 대입한 것”이지, ” $\det$ 안의 $\lambda$ 를 $A$ 로 바꾼 것”이 아니다. 후자는 $\lambda I$ 자리에 $n\times n$ 블록이 들어가 버려 애초에 정의되지 않는다. 이 가짜 논증이 왜 위험한지는 같은 수법으로 명백히 거짓인 명제도 “증명”된다는 데서 드러난다 — 스칼라 항등식에 행렬을 무비판적으로 밀어 넣는 순간 아무 말이나 만들어낼 수 있다.²

3. 제대로 된 증명 두 가지[편집]

수반행렬(adjugate) 항등식. 임의의 정사각행렬 $M$ 에 대해 $\operatorname{adj}(M)\,M = \det(M)\,I$ 가 성립한다. $M = \lambda I - A$ 를 넣으면

\operatorname{adj}(\lambda I - A)\,(\lambda I - A) = p(\lambda)\, I .

수반행렬의 각 성분은 $(n-1)\times(n-1)$ 소행렬식이므로 $\lambda$ 에 대한 차수가 $n-1$ 이하다. 따라서 상수행렬 $B_k$ 들로

\operatorname{adj}(\lambda I - A) = \sum_{k=0}^{n-1} B_k \lambda^k

로 쓸 수 있다. 좌변을 전개해 $\lambda$ 의 거듭제곱별로 계수를 비교하면 $B_{n-1}=I$ , $B_{k-1} - B_k A = c_k I$ ( $1\le k\le n-1$ ), $-B_0 A = c_0 I$ 를 얻는다. $k$ 번째 등식에 오른쪽에서 $A^k$ 를 곱해 전부 더하면 좌변이 완전히 상쇄되고(망원 합) 우변에는 $p(A)$ 만 남는다. 여기서 $\lambda$ 는 $A$ 와 교환하는 형식적 변수로만 쓰였다는 점이 앞의 가짜 증명과 갈리는 지점이다.

조밀성 논증. 대각화 가능한 $A = V\Lambda V^{-1}$ 에 대해서는 자명하다. $p(A) = V\,p(\Lambda)\,V^{-1} = V\operatorname{diag}(p(\lambda_i))V^{-1} = O$ 이기 때문이다. 그런데 $\mathbb{C}^{n\times n}$ 에서 고유값이 서로 다른 행렬(따라서 대각화 가능한 행렬)의 집합은 조밀하다. 슈어 분해의 삼각 대각 성분을 임의로 작게 흔들면 언제든 만들 수 있다. $A \mapsto p_A(A)$ 는 성분별 다항식이라 연속이고, 조밀집합에서 0인 연속함수는 전체에서 0이다.

4. 따름정리 — 모든 행렬함수는 차수 $n-1$ 다항식[편집]

정리를 이항하면 $A^n = -(c_{n-1}A^{n-1} + \cdots + c_0 I)$ 이다. 양변에 $A$ 를 계속 곱하면 $A^{n+1}, A^{n+2}, \dots$ 도 전부 $I, A, \dots, A^{n-1}$ 의 선형결합으로 내려온다. 즉

\{I, A, A^2, \dots\} \subset \operatorname{span}\{I, A, \dots, A^{n-1}\}

이고, 결과적으로 $A$ 의 임의의 해석함수 $f(A)$ 는 차수 $n-1$ 이하의 다항식으로 정확히 표현된다. 무한급수로 정의된 행렬 지수함수조차 실은 유한 합이라는 뜻이다. 고유값이 모두 다를 때 그 계수를 명시적으로 주는 것이 실베스터 공식

f(A) = \sum_{i=1}^{n} f(\lambda_i) \prod_{j \neq i} \frac{A - \lambda_j I}{\lambda_i - \lambda_j}

이고, 고유값 중복까지 다루는 실용적 형태가 퍼처 알고리즘(Putzer, 1966)이다.

주의할 점은 이 표현이 $A$ 에 의존한다는 것이다. 다항식의 계수는 $f$ 뿐 아니라 $A$ 의 고유값에 따라 달라지므로, 행렬이 바뀌면 계수를 처음부터 다시 만들어야 하고 그러려면 결국 고유값이 필요하다. “유한 다항식으로 쓸 수 있다”는 사실이 “계산이 쉽다”로 이어지지 않는 첫 번째 이유다.

가장 자주 보는 응용 둘. 하나는 역행렬 공식이다. $A$ 가 정칙이면 $c_0 = (-1)^n\det A \neq 0$ 이므로

A^{-1} = -\frac{1}{c_0}\left(A^{n-1} + c_{n-1}A^{n-2} + \cdots + c_1 I\right),

$2\times2$ 에서는 그 유명한 $A^{-1} = (\operatorname{tr}A\, I - A)/\det A$ 가 된다. 다른 하나는 로드리게스 회전 공식이다. 단위 축 벡터의 반대칭행렬 $K$ 는 특성다항식이 $\lambda^3 + \lambda$ 라 $K^3 = -K$ 이고, 이 관계로 지수급수를 접으면

R = e^{\theta K} = I + \sin\theta\, K + (1-\cos\theta)\,K^2

가 그대로 떨어진다. 회전행렬을 축-각으로 만드는 공식이 케일리-해밀턴의 직접적 산물인 셈이다.

5. 최소다항식과 조르당 구조[편집]

$p(A)=O$ 는 ” $A$ 를 죽이는 다항식이 존재한다”는 말이고, 그런 다항식 중 차수가 가장 낮은 모닉 다항식이 최소다항식 $m_A$ 다. 케일리-해밀턴은 곧 $m_A \mid p_A$ 를 뜻한다. 둘의 관계는 조르당 표준형이 정확히 설명한다 — $m_A(\lambda) = \prod_i (\lambda - \lambda_i)^{m_i}$ 에서 $m_i$ 는 고유값 $\lambda_i$ 에 붙은 가장 큰 조르당 블록의 크기이고, $p_A$ 의 지수는 그 고유값의 블록 크기 총합이다. 따라서 $A$ 가 대각화 가능하다는 것과 $m_A$ 가 중근을 갖지 않는다는 것은 동치다.

이 차수는 수치 알고리즘에도 직접 나타난다. 크리로프 부분공간법에서 $\mathcal{K}_m(A,b)$ 의 차원은 $m_A$ 의 차수를 넘길 수 없고, 그래서 정확 산술에서 GMRES와 CG는 늦어도 $\deg m_A$ 회 안에 정확해에 도달한다. 서로 다른 고유값이 $k$ 개뿐인 행렬에서 반복법이 $k$ 스텝 만에 끝나 버리는 현상의 근거가 바로 이것이다.³

6. 수치적으로는 쓰지 말 것[편집]

이론적 위력과 수치적 유용성이 이만큼 어긋나는 정리도 드물다. 케일리-해밀턴을 계산 절차로 옮기려면 특성다항식 계수 $c_k$ 가 필요한데, 이 경로가 두 번 무너진다.

계수 계산 자체가 불안정하다. 파데예프-르베리에(Faddeev–LeVerrier) 알고리즘은 $A$ 의 거듭제곱과 대각합만으로 $c_k$ 를 $O(n^4)$ 에 뽑아내는 우아한 절차지만, 중간에 크기가 극단적으로 다른 항들이 상쇄되며 유효숫자가 증발한다. $n$ 이 20만 넘어가도 배정도로 쓸 만한 계수가 나오지 않는다.

계수 자체가 정보를 파괴한다. 다항식 계수는 근에 대해 조건이 극도로 나쁘다. 윌킨슨의 고전적 예에서 근이 $1,2,\dots,20$ 인 다항식의 $\lambda^{19}$ 계수를 $2^{-23}$ 만큼 흔들자 몇몇 근이 실축을 벗어나 복소 켤레쌍이 되고 위치가 수 단위로 이동했다. 고유값을 얻자고 특성다항식을 거치는 순간, 원래 조건수가 멀쩡했던 문제도 스스로 나쁘게 만든 셈이 된다.

그래서 실제 고유값 계산은 다항식을 만들지 않고 유니터리 상사변환만 반복하는 QR 알고리즘(슈어 분해)으로 간다. 행렬 지수함수 계산에서도 “특성다항식으로 차수 $n-1$ 다항식을 만든다”는 경로가 Moler–Van Loan의 미심쩍은 방법 목록에 일찌감치 올라 폐기됐다. 케일리-해밀턴은 구조를 이해하고 손으로 $2\times2$ · $3\times3$ 을 다룰 때 쓰는 정리이지, $n=1000$ 짜리 코드를 짜라고 있는 정리가 아니다.⁴

7. 관련 문서[편집]

케일리의 원문은 “I have not thought it necessary to undertake the labour of a formal proof of the theorem in the general case of a matrix of any degree” 라는 취지였다. 21세기 학부생이 과제에 이렇게 쓰면 감점이지만, 1858년의 케일리는 행렬이라는 개념 자체를 막 만들어내던 중이라 사정이 좀 달랐다. ↩
재밌는 반전은, 이 가짜 증명을 고칠 수는 있다는 것이다. 위의 수반행렬 증명이 하는 일이 정확히 그 수선 작업이다. 다항식 환 $\mathbb{C}[\lambda]$ 위의 행렬로 옮겨 $\lambda$ 가 $A$ 와 교환하도록 판을 깐 뒤에야 “대입”이 합법이 된다. 직관이 완전히 틀린 게 아니라 절차가 빠져 있었던 셈. ↩
실제 부동소수점에서는 반올림 때문에 이 유한 종료성이 거의 살아나지 않는다. 크릴로프 벡터의 직교성이 무너지면 이론상 끝났어야 할 스텝에서도 잔차가 남는다. 그래서 GMRES/CG는 ” $n$ 스텝 직접법”이 아니라 “잘 전처리하면 훨씬 일찍 멈추는 반복법”으로 취급된다. ↩
그래도 제어 쪽에서는 여전히 현역이다. 가제어성 행렬 $[B\ AB\ \cdots\ A^{n-1}B]$ 의 열이 $n-1$ 차에서 끊기는 이유, 상태 피드백 극배치가 특성다항식 계수를 직접 지정하는 구조가 전부 이 정리에서 나온다. 손으로 $3\times3$ 을 만지는 세계에서는 아직 케일리-해밀턴이 왕이다. ↩