충분통계량

통계 수치해석 마지막 수정: 2026-08-11 04:28:41

1. 개요[편집]

충분통계량 Sufficient Statistic
정의	T(X) 가 주어졌을 때 X 의 조건부분포가 θ 에 의존하지 않음
판정	피셔-네이만 분해정리
도입	R. A. Fisher (1920, 1922)
핵심 정리	라오-블랙웰 · 레만-셰페 · 바수 · 피트먼-쿠프먼-다르무아
대표 예	정규: (Σx, Σx²) · 포아송: Σx · 균등 U(0,θ): max x
실무적 의미	데이터를 고정 크기로 압축해도 추론이 손해 보지 않음

충분통계량(sufficient statistic)은 표본 $X = (X_1,\dots,X_n)$ 을 요약한 함수 $T(X)$ 중에서, $T$ 의 값을 알고 나면 원자료가 모수 $\theta$ 에 대해 더 이상 아무 말도 해 주지 않는 것을 말한다. 형식적으로는 조건부분포

P_\theta\big(X \in A \mid T(X) = t\big) \quad\text{가 모든 } A,\, t \text{ 에 대해 } \theta \text{ 에 의존하지 않는다}

는 조건으로 정의한다. 사람 말로 옮기면 이렇다. $T=t$ 만 받아 적고 데이터를 태워도, 그 $t$ 로부터 원자료와 통계적으로 구분 불가능한 가짜 데이터를 시뮬레이션해 낼 수 있다. 태운 것이 아깝지 않다는 게 “충분”의 의미다.

동전을 100번 던져 앞면이 37번 나왔다면, 앞면 확률 $p$ 를 추론하는 데 필요한 것은 37이라는 숫자뿐이고 “몇 번째에 앞이 나왔는가”라는 순서 정보는 통째로 버려도 된다. 실제로 $\sum X_i = 37$ 을 조건으로 걸면 가능한 배열들은 $p$ 와 무관하게 전부 같은 확률을 갖는다. 이것이 충분성의 원형이며, 피셔가 1920년대에 이 개념을 만들면서 현대 추정론의 문법이 시작됐다.¹

2. 피셔-네이만 분해정리[편집]

정의를 그대로 확인하려면 조건부분포를 계산해야 해서 성가시다. 실무에서 쓰는 것은 분해정리다. $T$ 가 충분할 필요충분조건은 우도가

f(x \mid \theta) = g\big(T(x),\ \theta\big)\; h(x)

로 모수를 포함한 부분과 데이터만의 부분으로 쪼개지는 것이다. $\theta$ 가 데이터를 오직 $T(x)$ 를 통해서만 만나면 충분하다는, 거의 동어반복처럼 보이지만 판정 도구로는 압도적으로 편한 정리다.

이 정리를 지수족에 적용하면 왜 그 분포족이 특별한지가 한 줄로 나온다. 표준형 $p(x\mid\eta)=h(x)\exp(\eta^\top T(x) - A(\eta))$ 를 $n$ 개 곱하면

p(x_{1:n}\mid\eta) = \Big(\textstyle\prod_i h(x_i)\Big)\exp\!\Big(\eta^{\top}\!\sum_i T(x_i) - nA(\eta)\Big)

이라 $\sum_i T(x_i)$ 가 곧바로 충분통계량이다. 표본이 몇 개든 차원이 늘지 않는다.

몇 가지 표준 예시.

베르누이 $\mathrm{Bern}(p)$ : $\sum X_i$
포아송 $\mathrm{Pois}(\lambda)$ : $\sum X_i$
정규 $N(\mu,\sigma^2)$ , 둘 다 미지: $\big(\sum X_i,\ \sum X_i^2\big)$
균등 $U(0,\theta)$ : $\max_i X_i$
균등 $U(\theta-\tfrac12,\ \theta+\tfrac12)$ : $\big(\min_i X_i,\ \max_i X_i\big)$
코시 위치모수: 순서통계량 전체. 압축 불가.

마지막 두 개가 중요하다. 균등분포는 지수족이 아닌데도 1차원(또는 2차원) 충분통계량을 갖는다 — 지지집합이 $\theta$ 에 의존하는 덕에 정리의 가정을 빠져나가기 때문이다. 코시는 정반대로, 표본 1억 개를 요약할 방법이 원리적으로 없다.

3. 최소충분통계량[편집]

충분통계량은 유일하지 않다. 극단적으로 $T(X) = X$ 자체가 항상 충분하고(아무것도 안 버렸으니 당연히), 충분통계량의 가역변환도 여전히 충분하다. 그러니 의미 있는 질문은 “가장 많이 압축한 것은 무엇인가”다.

최소충분통계량(minimal sufficient statistic)은 다른 모든 충분통계량의 함수로 표현되는 충분통계량이다. 레만과 셰페가 준 실용적 판정법은 우도비를 보는 것이다.

\frac{f(x\mid\theta)}{f(y\mid\theta)} \text{ 가 } \theta \text{ 에 무관} \iff T(x) = T(y)

즉 “두 데이터셋이 모든 모수에서 같은 우도 곡선을 그린다”는 관계로 표본공간을 분할하면, 그 분할이 최소충분통계량이다. 이 관점은 우도원리와 곧장 연결된다. 추론이 우도 곡선의 모양에만 의존해야 한다면, 최소충분통계량 밖의 정보는 정의상 볼 필요가 없다.

정규분포에서 $(\sum X_i, \sum X_i^2)$ 가 최소충분이고, 표본평균 하나만으로는 $\sigma^2$ 정보를 버리므로 충분하지 않다. 반대로 $\sigma^2$ 가 기지라면 $\sum X_i$ 만으로 최소충분이다. 무엇이 미지인가에 따라 압축률이 달라진다는 점이 종종 헷갈리는 지점.

4. 라오-블랙웰 정리 — 조건부 기댓값은 손해를 안 본다[편집]

충분성이 단순한 정리 놀음이 아닌 이유가 이 정리다. $\delta(X)$ 가 임의의 추정량이고 $T$ 가 충분통계량이면

\delta^{*}(T) = \mathbb{E}\big[\delta(X) \mid T\big]

은 여전히 추정량이며(충분성 덕에 $\theta$ 가 들어가지 않는다 — 이게 결정적이다), 볼록 손실함수에 대해

R(\theta, \delta^{*}) \le R(\theta, \delta) \qquad \forall\,\theta

를 만족한다. 제곱오차 손실이면 젠센 부등식 한 방이고, 분산 분해 $\mathrm{Var}(\delta) = \mathrm{Var}(\mathbb{E}[\delta\mid T]) + \mathbb{E}[\mathrm{Var}(\delta\mid T)]$ 에서 두 번째 항이 통째로 사라지는 것이 개선분이다. 편향은 반복기댓값 법칙으로 그대로 보존된다.

실용적 번역: 엉성한 불편추정량 하나를 아무렇게나 만든 다음 충분통계량으로 조건부 기댓값을 취하면 무조건 더 좋아진다. 라오(1945)와 블랙웰(1947)이 독립적으로 얻은 결과이며, 오늘날 몬테카를로 분산감소 기법인 “라오-블랙웰화”의 어원이기도 하다. 입자 필터에서 선형-가우시안 부분을 칼만 필터로 해석적으로 적분하고 나머지만 입자로 다루는 Rao-Blackwellised particle filter가 정확히 이 정리를 몬테카를로 방법에 적용한 것이다.²

5. 완비성과 레만-셰페 — UMVU로 가는 길[편집]

라오-블랙웰은 “더 좋아진다”만 말하지 “이게 최선이다”를 말하지 않는다. 시작 추정량이 다르면 다른 곳에 도착할 수도 있다. 이 마지막 구멍을 막는 것이 완비성(completeness)이다.

\mathbb{E}_\theta\big[g(T)\big] = 0 \;\;\forall\theta \quad\Longrightarrow\quad g(T) = 0 \ \ \text{(거의 확실히)}

를 만족하면 $T$ 를 완비라 한다. 풀어 쓰면 ” $T$ 의 함수 중에 항등적으로 0을 불편추정하는 것은 0뿐”이라는 뜻이고, 결국 $T$ 의 함수로서 어떤 양의 불편추정량은 많아야 하나라는 유일성 진술이다.

여기서 레만-셰페 정리가 나온다. $T$ 가 완비충분통계량이고 $\delta^*(T)$ 가 $\tau(\theta)$ 의 불편추정량이면, $\delta^*$ 는 유일한 UMVU 추정량(uniformly minimum variance unbiased)이다. 실무 레시피는 두 줄로 끝난다.

완비충분통계량 $T$ 를 찾는다(대개 지수족이면 자동).
$T$ 의 함수 중 불편인 것을 하나 찾는다. 그게 답이다.

정규분포의 $\bar X$ 와 $S^2$ (분모 $n-1$ )가 각각 $\mu$ , $\sigma^2$ 의 UMVU인 것이 이 레시피의 결과다. $U(0,\theta)$ 에서는 $\max X_i$ 가 완비충분이고 $\mathbb{E}[\max X_i] = \frac{n}{n+1}\theta$ 이므로 $\frac{n+1}{n}\max X_i$ 가 UMVU다 — 표본평균의 2배( $=2\bar X$ , 역시 불편)보다 분산이 압도적으로 작고, 심지어 $n$ 이 커지면 오차가 $1/n$ 로 줄어 크라메르-라오 하한의 $1/\sqrt n$ 을 “뚫는” 것처럼 보인다. 물론 뚫은 게 아니라 정칙조건 밖에서 논 것.³

바수 정리도 완비성의 부산물이다. 완비충분통계량은 임의의 부수통계량(ancillary statistic, 분포가 $\theta$ 에 무관한 통계량)과 독립이다. 정규표본에서 $\bar X$ 와 $S^2$ 의 독립성을 계산 없이 세 줄로 증명할 수 있고, 이 독립성이 t-분포 유도의 출발점이다.

완비성이 깨지는 사례도 알아 둘 가치가 있다. 굽은 지수족 $N(\theta,\theta^2)$ 에서는 $(\sum X_i, \sum X_i^2)$ 가 최소충분이지만 완비가 아니다 — 두 통계량이 같은 $\theta$ 를 서로 다른 방식으로 추정하므로, 그 차이가 0을 불편추정하는 비자명한 함수가 된다. 완비가 아니면 UMVU 유일성 논증이 통째로 무너진다. 최소충분 ≠ 완비임을 기억해 두면 시험에서 한 문제 건진다.

6. 피트먼-쿠프먼-다르무아 정리[편집]

충분통계량 이야기의 정점은 그 역이다.

지지집합이 모수에 의존하지 않는 정칙 분포족 중에서, 표본 크기 $n$ 이 커져도 차원이 고정된 충분통계량을 갖는 것은 지수족뿐이다.

다르무아(1935), 쿠프먼(1936), 피트먼(1936)이 거의 동시에 독립적으로 얻었다. 함의가 상당히 잔인하다.

데이터를 유한 개 숫자로 요약해 두고 원자료를 버리는 관행 — 온라인 추정, 스트리밍 집계, 분산 학습에서 각 노드가 부분합만 보내는 방식 — 은 지수족 모형에서만 정확히 정당화된다. 그 밖에서는 근사다.⁴
코시나 스튜던트 t 같은 두꺼운 꼬리 모형에서는 요약이 원리적으로 불가능하다. 로버스트 통계가 유독 계산량이 많은 이유의 절반은 여기에 있다.
정리의 가정(지지집합 조건)을 빼먹으면 $U(0,\theta)$ 라는 반례가 즉시 등장한다. 세미나에서 이 정리를 인용할 때 가정을 안 붙이면 반드시 손이 올라온다.

7. 계산과 시뮬레이션에서의 충분성[편집]

교과서 밖에서 이 개념이 실제로 일하는 곳들.

기댓값 최대화 알고리즘: 완전자료 로그우도가 충분통계량에 선형이면 E-단계는 “충분통계량의 조건부 기댓값 몇 개”로 붕괴하고, M-단계는 완전자료 MLE에 그 기댓값을 대입하는 것으로 끝난다. 가우시안 혼합 모형이나 은닉 마르코프 모형의 갱신식이 깔끔한 이유가 이것이다.
온라인·스트리밍 추정: 충분통계량 벡터 하나만 들고 다니면 되므로 메모리가 $n$ 과 무관하다. 미니배치마다 누적합을 갱신하는 확률적 EM, 분산 환경에서 부분합을 합치는 집계 방식이 전부 여기에 기댄다.
필터링의 믿음 상태: 과거 이력 전체를 요약하는 충분통계량이 존재하면 상태공간이 유한 차원으로 닫힌다. 칼만 필터에서 그것이 (평균, 공분산) 두 개이고, 부분관측 마르코프 결정 과정에서는 믿음 상태 전체다.
근사 베이즈 계산(ABC): 우도를 못 쓰는 시뮬레이터 기반 추론에서는 관측과 시뮬레이션 결과를 요약통계량으로 비교한다. 그 요약통계량이 충분하지 않으면 정보 손실이 그대로 사후분포 왜곡으로 나타난다 — ABC가 “근사”인 첫 번째 이유가 요약통계량의 불충분성이다. 지수족이 아닌 복잡한 시뮬레이터에서 충분통계량은 존재하지 않으므로, 이 손실은 원리적으로 피할 수 없고 잘 고른 요약통계량으로 줄이는 수밖에 없다.
신경망의 병목층: 표현학습에서 “정보를 잃지 않는 압축”을 말할 때 참조하는 이상적 기준이 충분성이다. 물론 실제 신경망 표현이 충분하다는 보장은 어디에도 없다.

8. 관련 문서[편집]

피셔는 “sufficient”라는 단어를 1922년 논문에서 확정했는데, 같은 논문에서 “efficiency”, “likelihood”, “estimation”까지 한꺼번에 정의했다. 한 편으로 학문 용어집을 새로 쓴 셈. 덕분에 후대 통계학도는 그 논문 하나를 이해하려다 학기를 보낸다. ↩
이름이 재미있는 것은 라오-블랙웰이 원래 “추정량을 개선하는 정리”인데 몬테카를로 동네에서는 “적분할 수 있는 건 적분해라”라는 실천 지침으로 쓰인다는 점이다. 샘플링으로 때울 수 있다고 다 때우면 분산이 커진다 — 손으로 풀 수 있는 부분은 손으로 푸는 게 이득이라는, 수치해석 전반에 통하는 국룰의 통계학 버전. ↩
지지집합이 모수에 의존하는 문제를 통칭 비정칙(non-regular) 문제라 하고, 수렴률이 $n^{-1}$ 이나 그보다 빠른 것들이 흔히 튀어나온다. 처음 보면 “공짜로 정밀도가 좋아졌다”는 착각을 하는데, 대신 극한분포가 정규가 아니라서 표준오차·신뢰구간 공식이 전부 못 쓰게 된다. 세상에 공짜는 없다. ↩
그래서 “우리 파이프라인은 평균과 분산만 저장합니다”라는 문장은 은근히 강한 모형 가정을 깔고 있다. 두꺼운 꼬리가 의심되는 로그 데이터에 이 관행을 적용해 놓고 나중에 분포를 다시 보고 싶어지면, 이미 태워 버린 원자료를 되살릴 방법이 없다. ↩