피셔 정보

편집 역사 토론
통계 수치해석 최적설계 마지막 수정: 2026-08-06 04:12:41

1. 개요[편집]

피셔 정보
Fisher Information
제안R. A. Fisher (1922~1925)
정의스코어의 분산 = 로그가능도의 기대 곡률
단위모수 단위의 −2제곱 (모수마다 다름)
다변수 형태피셔 정보행렬, 대칭 준정부호
핵심 부등식크라메르-라오 하한

피셔 정보(Fisher information)는 관측 데이터가 모수 θ\theta 에 대해 얼마나 많은 정보를 담고 있는지를 재는 양으로, 로그가능도 log⁡L(θ;x)\log L(\theta;x) 의 미분인 스코어(score) s(θ)=∂θlog⁡Ls(\theta) = \partial_\theta \log L 의 분산으로 정의된다.

I(θ)=E[(∂log⁡L∂θ)2]=− E[∂2log⁡L∂θ2]I(\theta) = \mathbb{E}\left[\left(\frac{\partial \log L}{\partial\theta}\right)^{2}\right] = -\,\mathbb{E}\left[\frac{\partial^{2}\log L}{\partial\theta^{2}}\right]

두 표현이 같다는 것(정보 등식)은 공짜가 아니다. 정칙 조건(regularity condition) — 밀도의 지지집합이 θ\theta 에 의존하지 않고, θ\theta 에 대한 미분과 xx 에 대한 적분을 교환할 수 있어야 한다는 조건 — 아래에서만 성립한다. 이 조건이 깨지면 두 값이 다르거나 아예 존재하지 않는다.1

직관은 단순하다. 로그가능도의 봉우리가 뾰족하면 데이터를 조금만 바꿔도 최대점이 확실히 정해지고, 뭉툭하면 어디가 꼭대기인지 알 수 없다. 피셔 정보는 그 봉우리의 평균 곡률이다. 곡률이 크다 = 정보가 많다 = 추정이 정밀하다.

2. 스코어와 정보 등식[편집]

정칙 조건 하에서 스코어의 기댓값은 0이다. ∫p(x;θ) dx=1\int p(x;\theta)\,dx = 1 을 θ\theta 로 미분하고 순서를 바꾸면

E[s(θ)]=∫∂θpp p dx=∂θ∫p dx=0\mathbb{E}[s(\theta)] = \int \frac{\partial_\theta p}{p}\, p \, dx = \partial_\theta \int p \, dx = 0

이므로, 스코어의 2차 적률이 곧 분산이 되어 I(θ)=Var(s)I(\theta) = \mathrm{Var}(s) 다. 여기서 한 번 더 미분하면 정보 등식 E[s2]=−E[∂θ2log⁡L]\mathbb{E}[s^2] = -\mathbb{E}[\partial_\theta^2 \log L] 이 나온다. 즉 1차 미분의 요동과 2차 미분의 평균 휘어짐이 같은 숫자라는 것이 피셔 정보의 본질이고, 모형이 참일 때만 성립하는 이 등식이 깨지는 순간이 최대우도추정에서 샌드위치 분산이 필요해지는 시점이다.

독립 관측에 대해서는 로그가능도가 합이라 정보도 더해진다. iid 표본 nn 개면 In(θ)=n I1(θ)I_n(\theta) = n\,I_1(\theta) 다. “표본을 두 배로 늘리면 정보도 두 배”라는, 통계학에서 가장 쓸모 있는 덧셈.

간단한 예로 베르누이 Bern(p)\mathrm{Bern}(p) 는 I(p)=1/(p(1−p))I(p) = 1/(p(1-p)) 이고, 분산 σ2\sigma^2 이 알려진 정규분포의 평균은 I(μ)=1/σ2I(\mu) = 1/\sigma^2 이다. 베르누이 쪽을 보면 pp 가 0이나 1에 가까울수록 정보가 폭발하는데, 이는 극단적인 확률일수록 한 번의 관측이 주는 놀라움이 크기 때문이다.

3. 크라메르-라오 하한[편집]

피셔 정보가 유명해진 진짜 이유는 이 부등식이다. 불편추정량 θ^\hat\theta (즉 E[θ^]=θ\mathbb{E}[\hat\theta] = \theta)에 대해

Var(θ^)  ≥  1n I1(θ)\mathrm{Var}(\hat\theta) \;\ge\; \frac{1}{n\,I_1(\theta)}

가 성립한다. 크라메르-라오 하한이라 부르고, 증명은 스코어와 θ^\hat\theta 사이의 코시-슈바르츠 부등식 한 줄이다. 이 하한을 등호로 달성하는 추정량을 효율적(efficient)이라 하고, 달성률 1/(nI Var)1/(nI\,\mathrm{Var}) 을 효율이라 부른다.

주의할 점 두 가지. 첫째, 불편성 조건이 붙어 있다. 편향을 허용하면 이 하한 아래로 내려가는 추정량이 얼마든지 있다 — 축소(shrinkage) 추정량이나 정규화된 역문제 해가 대표적이며, 편향-분산 트레이드오프의 전부가 여기에 걸려 있다. 둘째, 하한이 항상 달성 가능한 것은 아니다. 등호는 스코어가 θ^−θ\hat\theta - \theta 에 비례할 때, 즉 지수족의 자연모수 근처에서나 성립한다.

다변수로 가면 정보행렬 Iij(θ)=E[∂ilog⁡L ∂jlog⁡L]I_{ij}(\theta) = \mathbb{E}[\partial_i \log L \, \partial_j \log L] 이 되고, 하한은 행렬 부등식

Cov(θ^)⪰I(θ)−1\mathrm{Cov}(\hat{\boldsymbol\theta}) \succeq I(\boldsymbol\theta)^{-1}

로 승격된다(⪰\succeq 는 차가 준정부호라는 뢰브너 순서). 대각 성분만 읽으면 개별 모수의 분산 하한이지만, 진짜 정보는 비대각 성분에 있다. I−1I^{-1} 의 대각합이 아니라 II 자체의 조건수가 나쁘면, 개별 모수는 못 맞춰도 특정 선형결합은 아주 정밀하게 추정되는 상황이 생긴다. 이른바 sloppy model의 전형.

4. 관측 정보 대 기대 정보[편집]

실무에서 표준오차를 뽑을 때 쓰는 것은 대개 관측 정보(observed information)

J(θ^)=−∇2log⁡L(θ^)J(\hat\theta) = -\nabla^{2}\log L(\hat\theta)

이지 기댓값을 취한 I(θ)I(\theta) 가 아니다. 이유는 두 가지다. (1) 기댓값 적분이 해석적으로 안 풀리는 모형이 대부분이고, (2) 최적화 루틴이 어차피 헤세 행렬이나 그 준-뉴턴법 근사를 이미 들고 있어서 공짜다. 에프론과 힝클리(1978)는 조건부 추론 관점에서 관측 정보가 실제로 그 표본에 대한 정밀도를 더 잘 반영한다고 논증했고, 이 관점이 현대 통계 소프트웨어의 기본값이 됐다. optim 이 뱉는 헤세를 뒤집어 표준오차라고 쓰는 그 관행이 바로 이것이다.2

한편 최적화 알고리즘 안에서는 기대 정보 쪽이 유리하다. I(θ)I(\theta) 는 항상 준정부호라 상승 방향을 보장하는데, 관측 헤세는 최적점에서 멀면 부정부호가 되어 뉴턴-랩슨법을 엉뚱한 곳으로 보낸다. 헤세를 II 로 갈아끼운 것이 피셔 스코어링이다.

5. KL의 국소 곡률 — 계량으로서의 피셔 정보[편집]

쿨백-라이블러 발산을 같은 모수족 안에서 전개하면 0차와 1차가 사라지고 2차부터 살아난다.

DKL(pθ ∥ pθ+dθ)  ≈  12 dθ⊤I(θ) dθD_{\mathrm{KL}}\big(p_\theta \,\|\, p_{\theta+d\theta}\big) \;\approx\; \tfrac{1}{2}\, d\theta^{\top} I(\theta)\, d\theta

즉 피셔 정보행렬은 확률분포 공간 위의 리만 계량이며, KL은 그 계량이 만드는 제곱거리의 절반처럼 행동한다. 이 한 줄이 정보 기하의 출발점이고, 파라미터 공간이 아니라 분포 공간에서 스텝 크기를 재는 자연경사법 Δθ=−η I−1∇L\Delta\theta = -\eta\, I^{-1}\nabla L 의 근거다. 경사하강법이 모수를 어떻게 쓰느냐(로그 스케일이냐 선형 스케일이냐)에 따라 완전히 다르게 움직이는 반면, 자연경사는 그 선택에 둔감하다.

같은 불변성이 베이지안 쪽에서는 제프리스 사전분포 π(θ)∝det⁡I(θ)\pi(\theta) \propto \sqrt{\det I(\theta)} 로 나타난다. 재매개변수화 θ=g(φ)\theta = g(\varphi) 를 하면 정보행렬은 Iφ=J⊤IθJI_\varphi = J^\top I_\theta J 로 변환되므로 det⁡Iφ=∣det⁡J∣det⁡Iθ\sqrt{\det I_\varphi} = |\det J| \sqrt{\det I_\theta} 이고, 이는 확률밀도의 변수변환 야코비안과 정확히 상쇄된다. 좌표계를 바꿔도 같은 사전분포라는 것이 제프리스 사전의 존재 이유이며, 균등 사전분포에는 없는 성질이다.3

6. 공학에서 — 실험 설계와 식별 가능성[편집]

  • D-최적 설계. 실험계획법에서 어느 조건에 실험점을 배치할지 정할 때, 정보행렬의 행렬식을 최대화하는 것이 D-최적 설계다. det⁡I\det I 를 키우면 det⁡I−1\det I^{-1} 이 줄고, 이는 신뢰타원체의 부피가 줄어든다는 뜻이다. 대각합을 쓰면 A-최적, 최대 고유값을 누르면 E-최적. 비선형 모형에서는 II 가 θ\theta 에 의존해서 “설계하려면 답을 알아야 하는” 순환이 생기고, 이걸 순차 설계나 베이지안 최적 설계로 푸는 것이 베이지안 최적화와 만나는 지점이다.
  • 식별 가능성 진단. 불확실성 정량화와 모형 보정에서 가장 흔한 사고는 “데이터로 구분할 수 없는 모수를 열심히 피팅한 것”이다. 정보행렬이 특이하거나 조건수가 10810^{8} 쯤 되면, 영공간 방향의 모수 조합은 데이터가 아무 말도 해주지 않는다는 뜻이다. 고유값 분해로 그 방향을 뽑아 보면 대개 “두 파라미터의 곱만 결정된다” 같은 형태로 정체가 드러난다. 민감도 해석의 국소 야코비안을 그대로 재활용해 I≈J⊤Σ−1JI \approx J^\top \Sigma^{-1} J 로 조립할 수 있으므로, 추가 비용도 거의 없다.
  • 정보 필터. 칼만 필터의 정보형(information filter)은 공분산 PP 대신 정보행렬 Y=P−1Y = P^{-1} 을 전파한다. 측정 갱신이 단순한 덧셈 Y+=Y−+H⊤R−1HY^{+} = Y^{-} + H^\top R^{-1} H 이 되어 다중 센서 융합에서 압도적으로 편하고, 초기 정보가 0(= 완전 무지)인 상태도 표현할 수 있다. 대가는 시간 전파가 복잡해진다는 것.

7. 관련 문서[편집]

8. Footnotes[편집]

  1. 대표적 반례가 균등분포 U(0,θ)U(0,\theta) 다. 지지집합의 끝이 θ\theta 를 따라 움직여서 미분과 적분을 바꿔칠 수 없고, 그래서 피셔 정보로 계산한 하한 자체가 무의미해진다. 실제로 이 경우 MLE의 분산은 크라메르-라오 하한보다 작다. 부등식을 위반한 게 아니라, 애초에 부등식이 적용되지 않는 구역이다. ↩

  2. 그래서 “표준오차 = 헤세 역행렬의 대각 제곱근”이라는 한 줄이 수렴하지도 않은 최적화 결과에 그대로 적용되는 사고가 끊이지 않는다. 헤세가 부정부호로 나와서 음수의 제곱근을 뽑으려다 NaN이 뜨면 그나마 다행이고, 아슬아슬하게 양수라 그럴듯한 숫자가 나오면 그게 보고서에 들어간다. ↩

  3. 다만 제프리스 사전분포도 다변수에서는 논란거리다. 정규분포의 (μ,σ)(\mu,\sigma) 에 그대로 적용하면 1/σ21/\sigma^2 이 나오는데, 제프리스 본인이 이건 좀 아닌 것 같다며 1/σ1/\sigma 를 권했다. 규칙을 만든 사람이 규칙을 안 지키는 고전적 사례. ↩