크라메르-라오 하한

통계 최적설계 마지막 수정: 2026-08-08 04:49:41

1. 개요[편집]

크라메르-라오 하한 Cramér–Rao Lower Bound
약칭	CRLB, CRB, 정보 부등식
제안	Fréchet (1943), Darmois (1945), Rao (1945), Cramér (1946)
1변수 형태	Var(θ̂) ≥ 1/I(θ)
다변수 형태	Cov(θ̂) − I(θ)^-1 이 준정부호
전제	불편성 + 정칙조건
주 용도	추정기 성능의 벤치마크, 실험설계, 식별성 진단

크라메르-라오 하한은 어떤 영리한 방법을 쓰더라도 불편추정량의 분산이 피셔 정보의 역수보다 작아질 수 없다는 부등식으로, 추정 문제의 정보이론적 바닥을 알려 주는 결과다.

\mathrm{Var}(\hat\theta) \;\ge\; \frac{1}{I(\theta)}, \qquad I(\theta) = \mathbb{E}\!\left[\left(\frac{\partial \log L}{\partial\theta}\right)^{\!2}\right]

모수가 여럿이면 스칼라 부등식이 행렬 부등식으로 승격된다.

\mathrm{Cov}(\hat{\boldsymbol\theta}) \;\succeq\; I(\boldsymbol\theta)^{-1}

여기서 $\succeq$ 는 뢰브너 순서, 즉 차 $\mathrm{Cov}(\hat{\boldsymbol\theta}) - I^{-1}$ 가 대칭 준정부호라는 뜻이다. 성분으로 읽으면 $\mathrm{Var}(\hat\theta_i) \ge (I^{-1})_{ii}$ 이며, 임의의 방향 $c$ 에 대해 $\mathrm{Var}(c^{T}\hat{\boldsymbol\theta}) \ge c^{T}I^{-1}c$ 도 자동으로 따라온다.

이 하한이 공학에서 사랑받는 이유는 추정기를 만들기 전에 성능의 상한선을 알려 주기 때문이다. 센서를 몇 개 달아야 하는지, 표본을 얼마나 모아야 목표 정밀도가 나오는지, 애초에 이 실험 설계로 그 파라미터를 뽑을 수 있기는 한지 — 알고리즘을 한 줄도 짜지 않고 답할 수 있다.¹

2. 유도와 정칙조건[편집]

증명이 짧아서 외워 둘 만하다. 정칙조건 아래에서 스코어 $s(\theta) = \partial_\theta \log L$ 의 기댓값은 0이다. 그리고 $\hat\theta$ 가 불편( $\mathbb{E}[\hat\theta] = \theta$ )이면 양변을 $\theta$ 로 미분하고 미분·적분 순서를 바꿔

1 = \frac{\partial}{\partial\theta}\int \hat\theta(x)\,p(x;\theta)\,dx = \int \hat\theta \,\frac{\partial_\theta p}{p}\, p\, dx = \mathbb{E}[\hat\theta\, s] = \mathrm{Cov}(\hat\theta, s)

를 얻는다. 여기에 코시-슈바르츠를 걸면

1 = \mathrm{Cov}(\hat\theta, s)^2 \le \mathrm{Var}(\hat\theta)\,\mathrm{Var}(s) = \mathrm{Var}(\hat\theta)\,I(\theta)

끝. 읽어 보면 부등식의 의미가 선명하다 — 추정량은 스코어와 상관이 있어야 모수를 따라갈 수 있는데, 상관계수는 1을 넘지 못한다. 정보가 적다는 것( $I$ 가 작다는 것)은 스코어의 요동이 작다는 뜻이고, 그러면 그 작은 요동을 따라가기 위해 추정량이 크게 흔들려야 한다.

2.1. 정칙조건이 깨지면 — 하한도 같이 깨진다[편집]

위 유도에서 미분과 적분의 교환을 두 번 썼다. 이게 허용되려면 밀도의 지지집합이 $\theta$ 에 의존하지 않아야 한다. 이 조건이 깨지는 대표 사례가 균등분포 $U(0,\theta)$ 다.

형식적으로 계산하면 $\log L = -n\log\theta$ 이므로 $I(\theta) = n/\theta^2$ 이고 하한은 $\theta^2/n$ 이다. 그런데 실제 추정량을 보자. MLE는 $\hat\theta_{\text{ML}} = X_{(n)} = \max_i X_i$ 이고 $\mathbb{E}[X_{(n)}] = \frac{n}{n+1}\theta$ 라 편향돼 있으니, 불편화한 $\tilde\theta = \frac{n+1}{n}X_{(n)}$ 을 쓰면

\mathrm{Var}(\tilde\theta) = \frac{\theta^2}{n(n+2)}

이다. $\theta^2/n$ 보다 $n+2$ 배 작다. 게다가 수렴 속도 자체가 $O(n^{-2})$ 로, 정칙 문제의 $O(n^{-1})$ 과 차원이 다르다. 부등식을 위반한 게 아니라 애초에 이 문제에 부등식이 적용되지 않는다. 지지집합의 끝이 $\theta$ 를 따라 움직이는 순간 ” $\theta$ 를 조금 바꿨을 때 가능도가 얼마나 휘느냐”라는 국소적 질문이 무의미해지고, 정보는 곡률이 아니라 경계에 들어 있게 된다.²

같은 이유로 다변수에서 $I(\boldsymbol\theta)$ 가 특이행렬이면 하한이 무한대가 되며, 이는 그 방향의 모수 조합이 데이터로 구별되지 않는다는 뜻이다. 즉 피셔 정보행렬의 특이성 = 구조적 식별 불가능성이고, 조건수가 크면 “이론적으로는 식별되지만 실질적으로는 거의 불가능”한 상태다. 민감도 해석에서 파라미터 추정 가능성을 진단할 때 실제로 보는 것이 이 행렬의 스펙트럼이다.

3. 등호 조건 — 효율적 추정량은 아무 때나 없다[편집]

코시-슈바르츠가 등호가 되는 것은 두 확률변수가 선형종속일 때뿐이다. 즉

\frac{\partial \log L}{\partial \theta} = I(\theta)\,\bigl(T(x) - \theta\bigr)

같은 형태로 스코어가 어떤 통계량의 아핀 함수로 쓰일 때에만 등호가 성립하고, 그때 $T$ 가 유일한 효율적 추정량이다. 이 미분방정식을 $\theta$ 에 대해 적분하면 밀도가

p(x;\theta) = h(x)\exp\bigl(\eta(\theta)T(x) - A(\theta)\bigr)

꼴, 즉 지수족이어야 하고 그것도 $\theta$ 가 평균값 모수로 놓인 매개화여야 한다는 결론이 나온다. 정리하면 이렇다.

정규분포의 평균, 포아송의 $\lambda$ , 베르누이의 $p$ 처럼 지수족의 자연스러운 매개화에서는 표본평균 계열이 하한을 정확히 달성한다.
같은 정규분포라도 표준편차 $\sigma$ 를 추정하면 효율적 불편추정량이 없다( $\sigma^2$ 에 대해서는 있다). 매개화를 바꾸는 것만으로 달성 여부가 바뀐다.
코시분포의 위치모수, 로지스틱 회귀의 계수 등 대부분의 실전 모형에서는 유한표본에서 하한을 달성하는 불편추정량이 존재하지 않는다. 하한은 도달 불가능한 바닥일 수 있고, 그래서 “CRLB에 못 미쳤다”는 것이 곧 추정기가 나쁘다는 증거는 아니다.

4. 편향을 허용하면 — 하한은 뚫린다[편집]

CRLB의 전제는 불편성이다. 편향 $b(\theta) = \mathbb{E}[\hat\theta]-\theta$ 를 허용하면 부등식은

\mathrm{Var}(\hat\theta) \ge \frac{\bigl(1 + b'(\theta)\bigr)^2}{I(\theta)}, \qquad \mathrm{MSE}(\hat\theta) \ge \frac{\bigl(1 + b'(\theta)\bigr)^2}{I(\theta)} + b(\theta)^2

로 바뀐다. 여기서 핵심은 $b'(\theta)$ 가 음수일 수 있다는 것이다. $\theta$ 를 향해 조금씩 줄여 놓는 축소(shrinkage) 추정량은 $1+b' < 1$ 을 만들어 분산 하한을 통째로 끌어내린다. 편향 제곱만큼 손해를 보더라도 분산에서 더 크게 이득이면 총 MSE가 줄어든다 — 이것이 편향-분산 트레이드오프이고, 티호노프 정규화나 능형회귀가 하는 일과 정확히 같은 거래다.

가장 유명한 사례가 **제임스-스타인 추정량**이다. $X \sim N(\boldsymbol\theta, \sigma^2 I_p)$ 에서 차원 $p \ge 3$ 이면

\hat{\boldsymbol\theta}_{JS} = \left(1 - \frac{(p-2)\sigma^2}{\|X\|^2}\right)X

가 모든 $\boldsymbol\theta$ 에서 MLE인 $X$ 보다 총 MSE가 작다. MLE가 각 좌표에서 CRLB를 정확히 달성하는데도 그렇다. 이 결과가 1961년에 나왔을 때 통계학계가 받은 충격은 상당했고, 오늘날 모든 정규화·축소·베이즈 계층모형의 정당화 근거로 인용된다.³

5. MLE의 점근 효율성 — 유한표본 보장이 아니다[편집]

정칙조건 아래에서 최대우도추정량은 iid 표본 수 $n$ 에 대해

\sqrt{n}\,(\hat\theta_n - \theta) \;\xrightarrow{d}\; N\!\bigl(0,\; I_1(\theta)^{-1}\bigr)

를 만족한다( $I_1$ 은 관측 1개당 정보). 점근 분산이 정확히 CRLB이므로 MLE는 점근적으로 효율적이다. 실무에서 “MLE 쓰고 CRLB를 오차막대로 삼는다”는 관행이 여기서 나온다.

다만 이 문장이 보장하지 않는 것을 분명히 해 둘 필요가 있다.

유한 $n$ 에서는 아무것도 보장하지 않는다. 소표본에서 MLE는 편향돼 있고 분산도 CRLB를 웃돈다. 비선형 모형에서는 $n$ 이 수백이어도 CRLB가 낙관적인 경우가 흔하다.
모형이 맞다는 전제가 있다. 모형이 틀리면 정보 등식이 깨지고 점근 분산은 $I^{-1}$ 이 아니라 샌드위치 형태 $I^{-1}JI^{-1}$ 이 된다.
“점근 효율”은 초효율(superefficiency)의 존재 때문에 정의가 미묘하다. 호지스의 유명한 반례는 한 점에서 점근 분산을 0으로 만든다. 르 캉이 정리했듯 그런 초효율 지점의 집합은 르베그 측도 0이고, 게다가 그 근방에서 위험이 폭증하므로 실용적 이득은 없다.

6. 임계 효과와 더 조인 하한들[편집]

비선형 추정 문제(도래시간·주파수·방향 추정 등)에서 실제 MSE를 SNR에 대해 그리면 특징적인 모양이 나온다. SNR이 높으면 CRLB를 따라 내려가다가, 어떤 임계 SNR 아래에서 갑자기 몇 자릿수씩 튀어 오른다. 가능도 곡면에 부엽(sidelobe)이 있어서 추정기가 엉뚱한 봉우리를 잡기 시작하는 구간인데, CRLB는 참값 근방의 곡률만 보므로 이 현상을 원리적으로 예측하지 못한다.

그래서 더 조인(그리고 더 계산이 힘든) 하한들이 있다.

바타차리야 하한: 1차 미분만이 아니라 고차 미분까지 써서 CRLB를 조인다. 지수족에서는 CRLB와 같아진다.
바라킨 하한: 국소 미분 대신 여러 시험점에서의 가능도비를 쓰며, 불편추정량 부류에서 가장 조인 하한이다(상한을 취하는 형태라 계산이 어렵다). 임계 효과를 포착한다.
지브-자카이·바이스-바인슈타인 하한: 모수에 사전분포를 두는 베이즈 하한. 검출 문제로 환원해 임계 영역을 잘 설명한다.

7. 실험설계에서 — 정보를 최대화하라[편집]

CRLB를 뒤집으면 설계 지침이 된다. 추정 오차의 바닥이 $I(\boldsymbol\theta)^{-1}$ 이므로, 실험 조건(측정 시점·센서 위치·입력 파형)을 골라 $I$ 를 “크게” 만들면 된다. 행렬을 크게 만드는 스칼라 기준이 여럿이라 실험계획법의 알파벳 최적성이 생겼다.

D-최적 설계: $\det I$ 를 최대화. $\det I^{-1}$ 은 신뢰타원체의 부피에 비례하므로, 기하학적으로 “불확실 영역의 부피 최소화”다. 매개화 재척도에 대해 불변이라는 좋은 성질이 있어 가장 널리 쓰인다.
A-최적: $\mathrm{tr}(I^{-1})$ 최소화. 분산의 합, 즉 평균적 정밀도.
E-최적: $\lambda_{\min}(I)$ 최대화. 가장 못 보는 방향을 개선 — 최악의 경우 대비.

한 가지 함정. 비선형 모형에서는 $I(\boldsymbol\theta)$ 가 참값 $\boldsymbol\theta$ 에 의존한다. 즉 최적 설계를 하려면 이미 답을 알아야 한다는 순환이 생긴다. 실무 대응은 초기 추정값을 넣는 국소 최적 설계, 사전분포에 대해 평균하는 베이즈 최적 설계, 그리고 실험을 진행하며 갱신하는 순차 설계다. 다변수에서 놓치기 쉬운 점 하나 더 — 성분별 하한은 $(I^{-1})_{ii}$ 이지 $1/I_{ii}$ 가 아니며, 준정부호 행렬에서 항상 $(I^{-1})_{ii} \ge 1/I_{ii}$ 다. 다른 미지 모수(nuisance parameter)가 끼어 있으면 그 자체로 하한이 올라간다는 뜻이고, 등호는 그 모수가 관심 모수와 정보적으로 직교할 때만 성립한다. 불확실성 정량화에서 “모수 하나만 잘 추정하면 되는데 왜 다 같이 나빠지느냐”의 답이 이것이다.

8. 관련 문서[편집]

그래서 레이더·소나·GPS 논문의 절반은 “제안 기법의 RMSE가 CRLB에 근접함”이라는 그래프 하나로 성능을 주장한다. 점선(CRLB)에 실선이 붙어 있으면 리뷰어가 만족하고, 떨어져 있으면 “SNR이 낮아서 임계 영역에 들어갔다”는 문장이 따라붙는다. 이 바닥의 국룰이다. ↩
이 현상을 두고 “MLE가 CRLB를 뚫었다”고 말하면 반쯤 맞고 반쯤 틀렸다. 뚫은 게 아니라 링 밖에서 싸운 것이다. 비정칙 문제에서는 정보의 척도 자체가 달라지며, 실제로 $U(0,\theta)$ 의 극한분포는 정규분포가 아니라 지수분포다. ↩
재미있는 사실은 제임스-스타인이 축소하는 대상들이 서로 아무 관련이 없어도 된다는 것이다. 밀의 가격, 대만의 강수량, 어떤 별의 밝기를 동시에 추정할 때조차 셋을 함께 축소하면 총 MSE가 줄어든다(스타인의 역설). 물론 “총합”이 줄어드는 것이지 개별 항목이 다 좋아지는 것은 아니어서, 밀 가격만 담당하는 사람은 억울할 수 있다. ↩