지수족

1. 개요[편집]

지수족 Exponential Family
표준형	p(x; θ) = h(x)·exp(η(θ)ᵀT(x) − A(θ))
구성	기저측도 h, 자연모수 η, 충분통계량 T, 로그 분배함수 A
정립	Darmois(1935) · Koopman(1936) · Pitman(1936)
A(η)의 성질	볼록 · 큐뮬런트 생성함수 · ∇A = E[T]
쌍대성	자연모수 ↔ 평균모수 (르장드르-펜셸 변환)
대표 식구	정규 · 베르누이 · 포아송 · 감마 · 다항 · 볼츠만

지수족(exponential family)은 확률밀도(또는 확률질량)가 다음 한 줄의 꼴로 쓰이는 분포족을 통틀어 부르는 이름이다.

$$p(x \mid \theta) = h(x)\,\exp\!\big(\eta(\theta)^{\top} T(x) - A(\theta)\big)$$

여기서 $h(x)$ 는 모수와 무관한 기저측도, $T(x)$ 는 충분통계량, $\eta(\theta)$ 는 자연모수(natural parameter), $A(\theta)$ 는 정규화를 담당하는 로그 분배함수(log-partition function)다. $\eta$ 를 직접 모수로 쓰면(정규 형태, canonical form) 식은 더 깔끔해진다.

$$p(x \mid \eta) = h(x)\,\exp\!\big(\eta^{\top}T(x) - A(\eta)\big), \qquad A(\eta) = \log \int h(x)\,e^{\eta^{\top}T(x)}\,dx$$

이 정의가 하는 일은 **“데이터와 모수가 오직 내적 $\eta^\top T(x)$ 로만 만난다”**는 구조를 강제하는 것이다. 그 구조 하나로 충분통계량, 켤레사전분포, 최대 엔트로피, 볼록 쌍대성, 피셔 계량이 전부 자동으로 딸려 나온다. 통계·기계학습·통계역학이 서로 다른 언어로 말하다가 결국 같은 칠판 앞에서 만나는 지점이 바로 여기다.¹

정규분포, 베르누이, 이항, 포아송, 감마, 베타, 지수, 카이제곱, 다항, 디리클레, 폰 미제스, 위샤트가 전부 지수족이다. 반대로 코시 분포, 스튜던트 t, 균등분포 $U[0,\theta]$, 그리고 가우시안 혼합 모형은 지수족이 아니다. 균등분포가 탈락하는 이유가 특히 교훈적인데, 지지집합(support)이 모수에 의존하면 $h(x)$ 로 분리할 수 없기 때문이다. 혼합 모형이 탈락하는 것은 로그를 씌워도 합이 풀리지 않아서고, 이게 기댓값 최대화 알고리즘이 필요한 근본 이유다.

2. 표준형 뜯어보기[편집]

익숙한 분포를 표준형으로 바꿔 쓰는 연습이 이 개념의 절반이다.

분포	자연모수 η	충분통계량 T(x)	A(η)
베르누이(p)	로짓 log(p/(1−p))	x	log(1 + exp η)
포아송(λ)	log λ	x	exp η
정규(μ, σ² 기지)	μ/σ²	x	η²σ²/2
정규(μ, σ² 미지)	(μ/σ², −1/(2σ²))	(x, x²)	−η₁²/(4η₂) − ½·log(−2η₂)
감마(α, β)	(α−1, −β)	(log x, x)	logΓ(η₁+1) − (η₁+1)·log(−η₂)

베르누이의 자연모수가 로짓이라는 사실이 로지스틱 회귀의 존재 이유이고, 정규분포의 자연모수가 $(\mu/\sigma^2, -1/2\sigma^2)$ 라는 사실이 정보 기하에서 “좌표계를 바꾸면 경사하강법 궤적이 달라진다”는 이야기의 출발점이다.

자연모수 벡터의 성분들이 선형독립이고 $T$ 의 성분들도 그렇다면 최소 표현(minimal representation)이라 부른다. 최소가 아니면 서로 다른 $\eta$ 가 같은 분포를 주고, 그러면 $A$ 가 엄격 볼록이 아니게 되어 뒤에 나올 쌍대성이 깨진다. 또 $\eta$ 가 $\theta$ 의 함수로서 자유롭게 움직이지 못하고 저차원 곡면에 갇혀 있으면 굽은 지수족(curved exponential family)이라 하는데, $\mathcal{N}(\theta, \theta^2)$ 같은 것이 대표적이다.

3. 충분통계량과 피트먼-쿠프먼-다르무아 정리[편집]

$n$ 개의 독립 표본을 곱하면 지수는 그냥 더해진다.

$$p(x_{1:n}\mid\eta) = \Big(\prod_i h(x_i)\Big)\exp\!\Big(\eta^{\top}\!\sum_i T(x_i) - nA(\eta)\Big)$$

즉 데이터 $n$ 개가 모수에 대해 하는 말은 전부 $\sum_i T(x_i)$ 라는 고정 차원 벡터 하나에 압축된다. 표본이 백만 개든 1억 개든 들고 다닐 숫자의 개수가 늘지 않는다는 뜻이고, 이것이 최대우도추정을 스트리밍으로 돌릴 수 있게 해 준다.

놀라운 건 그 역이다. 피트먼-쿠프먼-다르무아 정리는, 지지집합이 모수에 의존하지 않는 정칙 분포족 중에서 표본 크기와 무관하게 차원이 고정된 충분통계량을 갖는 것은 지수족뿐이라고 말한다.² 다르무아(1935), 쿠프먼(1936), 피트먼(1936)이 거의 동시에 독립적으로 증명했다. 실무적 함의는 잔인하다 — 코시 분포에서는 아무리 영리해도 데이터를 요약할 수 없고, 표본 전체를 들고 있어야 한다.

4. 로그 분배함수 A는 큐뮬런트 생성함수다[편집]

$A(\eta)$ 는 그냥 정규화 상수의 로그가 아니라, $T(x)$ 의 큐뮬런트 생성함수다. $\int p = 1$ 을 $\eta$ 로 미분하면 바로 나온다.

$$\nabla A(\eta) = \mathbb{E}_{\eta}[T(X)] \;=:\; \mu, \qquad \nabla^{2} A(\eta) = \mathrm{Cov}_{\eta}[T(X)] \succeq 0$$

공분산 행렬은 항상 준정부호이므로 $A$ 는 자동으로 볼록이고, 최소 표현이면 엄격 볼록이다. 이 두 줄에서 따라 나오는 것들:

• 지수족의 로그가능도 $\ell(\eta) = \eta^\top \sum T(x_i) - nA(\eta)$ 는 $\eta$ 에 대해 오목하다. MLE는 볼록 최적화 문제이고 국소 최적해 걱정이 없다. 지역 최적해에 발목 잡히는 일이 없는 몇 안 되는 통계 모형 부류.
• MLE 방정식은 적률 정합(moment matching)으로 붕괴한다: $\nabla A(\hat\eta) = \frac{1}{n}\sum_i T(x_i)$. “모형이 예측하는 평균 통계량 = 데이터의 평균 통계량”이 전부다.
• 피셔 정보행렬이 곧 $\nabla^2 A$ 다. 즉 자연경사법이 쓰는 계량과 뉴턴법이 쓰는 헤세 행렬이 지수족에서는 같은 물건이 되고, 자연경사 스텝이 곧 뉴턴 스텝이 된다.

5. 자연모수 ↔ 평균모수 쌍대성[편집]

$\nabla A$ 가 자연모수 $\eta$ 를 평균모수 $\mu = \mathbb{E}[T]$ 로 보내는 사상이고, $A$ 가 엄격 볼록이므로 이 사상은 가역이다. 역방향은 르장드르-펜셸 변환이 준다.

$$A^{*}(\mu) = \sup_{\eta}\;\big(\eta^{\top}\mu - A(\eta)\big), \qquad \eta = \nabla A^{*}(\mu)$$

그리고 $A^*(\mu)$ 는 그 분포의 음의 엔트로피다. 볼츠만이 자유에너지와 엔트로피를 르장드르 변환으로 연결한 그 구조가, 통계학에서는 자연모수와 평균모수의 관계로 다시 등장한다. 지수족을 다루는 사람이 두 좌표계를 늘 병기하는 이유가 이것 — 하나는 최적화하기 좋고(볼록), 하나는 해석하기 좋다(평균).

여기에 브레그만 발산을 얹으면 그림이 닫힌다. 생성함수를 $A$ 로 두면

$$D_{\mathrm{KL}}\big(p_{\eta_1}\,\|\,p_{\eta_2}\big) = A(\eta_2) - A(\eta_1) - \langle \nabla A(\eta_1),\, \eta_2-\eta_1\rangle = B_{A}(\eta_2,\eta_1)$$

쿨백-라이블러 발산이 로그 분배함수가 생성하는 브레그만 발산과 정확히 같다. 인수 순서가 뒤집힌다는 점만 조심하면 된다. 평균모수 쪽에서는 $B_{A^*}(\mu_1,\mu_2)$ 로 같은 값이 나온다. KL의 비대칭성이 신비로운 성질이 아니라 “어느 점에서 접평면을 그었는가”의 문제로 환원되는 순간이다.

6. 최대 엔트로피, 켤레사전분포, 그리고 볼츠만[편집]

최대 엔트로피 원리: ”$\mathbb{E}[T(X)] = \mu$ 만 알고 나머지는 모른다”는 상태에서 엔트로피를 최대화하면, 답은 반드시 $T$ 를 충분통계량으로 갖는 지수족 원소로 나온다. 라그랑주 승수법을 적용하면 승수가 그대로 자연모수 $\eta$ 가 된다. 평균만 제약하면 지수분포, 평균과 분산을 제약하면 정규분포, 에너지 기댓값을 제약하면 볼츠만 분포가 튀어나온다.

마지막 것이 통계역학과의 접점이다. 정준 앙상블의 $p(x) = e^{-\beta E(x)}/Z(\beta)$ 는 $\eta = -\beta$, $T = E$, $A = \log Z$ 인 1모수 지수족이다. 그래서 $-\partial_\beta \log Z = \langle E\rangle$ 이고 $\partial_\beta^2 \log Z = \mathrm{Var}(E) = k_B T^2 C_V$ 라는 요동-소산 관계가, 통계학 쪽에서는 그냥 "$\nabla^2 A = \mathrm{Cov}[T]$"라는 한 줄로 이미 증명돼 있다. 이징 모형과 맥스웰-볼츠만 분포도 같은 틀 안에 있다.³

**켤레사전분포**도 공짜로 얻는다. 가능도가 지수족이면 사전분포를 $p(\eta \mid \chi, \nu) \propto \exp(\eta^\top \chi - \nu A(\eta))$ 로 두는 순간 사후분포가 같은 꼴이 되고, 갱신은 $(\chi,\nu) \leftarrow (\chi + \sum T(x_i),\, \nu + n)$ 이라는 덧셈 두 번으로 끝난다. 베타-베르누이, 감마-포아송, 디리클레-다항이 전부 이 한 공식의 특수 사례다.

7. 왜 시뮬레이션·ML 하는 사람이 계속 만나는가[편집]

• 일반화 선형 모형(GLM): 반응변수를 지수족으로 두고 $\eta = w^\top x$ 로 놓은 것이 전부다. 로지스틱 회귀·포아송 회귀·선형회귀가 자연모수를 무엇으로 잡느냐의 차이일 뿐이고, 정규방정식이 전부 적률 정합 꼴로 나온다.
• 변분 추론: 평균장 좌표 상승(CAVI)의 갱신식이 “이웃 인자들의 기대 자연모수를 더한다”로 닫히는 것은 조건부 분포가 지수족일 때뿐이다. ELBO의 볼록 쌍대 유도 전체가 $A$ 와 $A^*$ 위에서 굴러간다.
• 자연경사법: 위에서 봤듯 피셔 계량 = $\nabla^2 A$. 지수족 위에서 자연경사 갱신은 “평균모수 좌표에서의 유클리드 스텝”과 같아진다.
• 에너지 기반 모형: 심층 학습의 볼츠만 머신·에너지 기반 모형은 $A(\eta) = \log Z$ 가 계산 불가능한 지수족이다. 대조 발산이나 마르코프 연쇄 몬테카를로가 필요한 이유는 “지수족인데 $A$ 를 못 구해서”로 요약된다.⁴

8. 관련 문서[편집]

• 최대우도추정 · 충분통계량
• 피셔 정보 · 정보 기하 · 자연경사법
• 브레그만 발산 · 쿨백-라이블러 발산
• 르장드르-펜셸 변환 · 볼록 최적화
• 변분 추론 · 기댓값 최대화 알고리즘
• 정준 앙상블 · 맥스웰-볼츠만 분포 · 이징 모형
• 미러 하강

9. Footnotes[편집]

1. 통계학과에서는 “충분통계량이 있는 좋은 분포족”, 최적화 하는 사람에게는 “로그가능도가 오목한 부류”, 물리학과에서는 “분배함수가 있는 계”. 셋이 술자리에서 만나면 자기가 먼저 알았다고 우기는데, 사실 볼츠만이 제일 빨랐다. ↩

2. 정칙 조건이 진짜 필요하다. 균등분포 $U[0,\theta]$ 는 표본 최댓값이라는 1차원 충분통계량을 갖지만 지수족이 아니다 — 지지집합이 $\theta$ 에 의존해서 정리의 가정을 빠져나간다. 정리를 인용할 때 이 예외를 안 붙이면 세미나에서 반드시 손이 올라온다. ↩

3. 그래서 기계학습 논문에 “free energy”, “partition function”, “temperature” 같은 단어가 아무 설명 없이 등장한다. 물리 안 한 사람은 갑자기 열역학 강의를 듣는 기분이 되지만, 사실 그냥 $A(\eta)$, $Z$, $1/\eta$ 를 멋있게 부른 것이다. ↩

4. 정규화 상수 하나 못 구해서 인류가 수십 년간 MCMC를 갈아 넣고 있다. 지수족의 아름다운 이론은 전부 ”$A$ 를 안다”는 가정 위에 서 있고, 현대 모형은 대부분 그 가정을 밟고 지나간다. ↩