최대 엔트로피 원리

1. 개요[편집]

최대 엔트로피 원리 Principle of Maximum Entropy
제창	E. T. Jaynes (1957)
한 줄 요약	아는 것만 제약으로 걸고, 나머지는 엔트로피를 최대로
해의 꼴	라그랑주 승수가 지수에 붙은 지수족
쌍대문제	로그 분배함수 A(λ) − λᵀμ 의 최소화 (볼록)
수치해법	뉴턴법 — 헤세가 충분통계량의 공분산
물리 대응	깁스 분포 · 정준 앙상블 · 자유에너지
고장 지점	모멘트가 실현가능 영역의 경계에 있으면 해가 없다

최대 엔트로피 원리는 확률분포를 정할 때 알고 있는 정보를 제약조건으로 걸고, 그 제약을 만족하는 분포 중 엔트로피가 최대인 것을 고르라는 추론 원칙이다.

$$\max_{p}\; H[p] = -\int p(x)\log \frac{p(x)}{h(x)}\,dx \quad \text{s.t.} \quad \int p(x)\,T_j(x)\,dx = \mu_j,\;\; \int p = 1$$

논리는 단순하다. 엔트로피는 분포가 얼마나 “퍼져 있는가”, 다시 말해 얼마나 정보를 적게 주장하는가의 척도다. 그러니 엔트로피가 최대인 분포를 고른다는 것은 주어진 제약 말고는 아무것도 몰래 가정하지 않겠다는 선언이다. 반대로 엔트로피가 낮은 분포를 고르면, 자료가 말해주지 않은 구조를 내가 지어낸 것이 된다.

제인스는 1957년 Physical Review 논문에서 이 원리를 통계역학의 기초로 제안했다.¹ 그의 주장은 도발적이었다. 에르고드 가설이나 등확률 가정 같은 물리적 전제를 깔지 않아도, “에너지 평균만 안다”는 정보 상태에서 최대 엔트로피를 취하면 깁스 분포가 그냥 나온다는 것. 통계역학은 물리 법칙이 아니라 정보가 부족한 상태에서의 정직한 추론 절차라는 관점이다. 지금은 이 원리가 물리를 넘어 스펙트럼 추정, 영상 복원, 자연어 처리, 기체 운동론의 모멘트 닫힘까지 쓰인다.

2. 변분 문제를 풀면 지수족이 나온다[편집]

제약이 있는 함수 최적화이므로 라그랑주 승수법을 쓴다. 승수 $\lambda_j$ 를 모멘트 제약에, $\lambda_0$ 를 정규화 제약에 붙여

$$\mathcal{L}[p] = -\int p\log\frac{p}{h} + \sum_j \lambda_j\!\left(\int p\,T_j - \mu_j\right) + \lambda_0\!\left(\int p - 1\right)$$

를 $p(x)$ 에 대해 변분하면 $-\log(p/h) - 1 + \sum_j \lambda_j T_j(x) + \lambda_0 = 0$, 즉

$$p_\lambda(x) = h(x)\,\exp\!\Big(\lambda^{\top}T(x) - A(\lambda)\Big), \qquad A(\lambda) = \log\!\int h(x)\,e^{\lambda^{\top}T(x)}\,dx$$

정확히 지수족의 표준형이다. 자연모수 자리에 라그랑주 승수가, 충분통계량 자리에 제약으로 건 함수가, 로그 분배함수 자리에 정규화 상수가 앉는다. 지수족이 통계학 여기저기서 계속 튀어나오는 이유가 여기 있다 — “모멘트 몇 개만 안다”는 정보 상태의 정식 표현이 지수족이기 때문이다.

$-\int p\log p$ 대신 기준측도 $h$ 를 넣은 상대엔트로피 꼴로 쓴 데는 이유가 있다. 연속변수의 미분 엔트로피는 좌표변환에 불변이 아니어서, $x \to x^3$ 으로 바꾸면 “최대 엔트로피 분포”가 달라진다. 즉 기준측도를 명시하지 않은 연속 최대 엔트로피는 정의가 덜 된 문제다. 쿨백-라이블러 발산 최소화(최소 판별정보)로 쓰면 이 문제가 사라지고, 이산 균등분포를 $h$ 로 잡은 특수한 경우가 우리가 아는 섀넌 엔트로피 최대화다.

3. 쌍대문제 — 실제로 푸는 것은 이쪽이다[편집]

원문제는 무한차원(함수 $p$ 를 찾는다)이지만 해의 꼴이 위처럼 정해졌으니, 남은 미지수는 승수 $\lambda \in \mathbb{R}^m$ 뿐이다. $p_\lambda$ 를 목적함수에 도로 넣으면

$$H[p_\lambda] = A(\lambda) - \lambda^{\top}\mu \;\equiv\; \Psi(\lambda)$$

이고, 임의의 실행가능한 $p$ 에 대해 $H[p] \le \Psi(\lambda)$ 가 모든 $\lambda$ 에서 성립한다(약쌍대성). 따라서 풀 문제는

$$\min_{\lambda}\; \Psi(\lambda) = A(\lambda) - \lambda^{\top}\mu$$

유한차원 무제약 볼록 최적화다. 여기서 $A$ 의 두 성질이 전부를 결정한다.

$$\nabla A(\lambda) = \mathbb{E}_{p_\lambda}[T], \qquad \nabla^2 A(\lambda) = \operatorname{Cov}_{p_\lambda}(T) \succeq 0$$

즉 $\nabla\Psi(\lambda) = \mathbb{E}_{p_\lambda}[T] - \mu$ — 경사가 곧 모멘트 잔차다. 경사를 0으로 만드는 것이 제약을 맞추는 것과 정확히 같은 일이라, 원문제의 제약이 쌍대문제에서는 최적성 조건으로 흡수된다. 그리고 헤세가 공분산행렬이므로 $\Psi$ 는 볼록이고, $T$ 가 최소표현이면 엄격 볼록이라 해가 유일하다.

수치적으로는 뉴턴법이 자연스러운 선택이다.

$$\lambda^{(t+1)} = \lambda^{(t)} - \left[\operatorname{Cov}_{p_{\lambda^{(t)}}}(T)\right]^{-1}\!\left(\mathbb{E}_{p_{\lambda^{(t)}}}[T] - \mu\right)$$

한 스텝의 비용은 현재 분포에서 $T$ 의 평균과 공분산을 구하는 것이다. 이산 상태공간이나 1차원 격자면 그냥 합·구적으로 끝나고, 고차원이면 이 기댓값 자체를 몬테카를로 방법으로 추정해야 해서 문제가 갑자기 어려워진다. 볼록성 덕분에 수렴 자체는 얌전하지만, 실무 구현에서 반드시 챙길 것이 둘 있다. 로그합지수(log-sum-exp) 안정화 — $e^{\lambda^\top T}$ 를 그대로 더하면 오버플로로 죽는다. 그리고 공분산의 정칙성 — 제약이 서로 거의 겹치면 헤세가 특이에 가까워지므로 감쇠 뉴턴이나 신뢰영역, 혹은 미소 능형항이 필요하다.

해가 없는 경우도 있다. $\mu$ 가 $T$ 의 치역의 볼록포(모멘트 다면체) 내부에 있어야 쌍대문제의 최소가 달성된다. 경계에 있으면 $\Psi$ 는 아래로 유계지만 최소가 무한대에서만 접근되어 $\lambda$ 가 발산하고, 바깥이면 애초에 그런 분포가 존재하지 않는다. 표본 모멘트를 그대로 제약으로 넣었을 때 알고리즘이 발산한다면 버그가 아니라 이 상황일 가능성이 높다. 기체 운동론의 모멘트 닫힘에서 실현가능 영역 경계 근처의 모멘트에 대해 최대 엔트로피 닫힘이 정의되지 않는 사례가 알려져 있는 것도 같은 이유다.²

4. 제약이 분포를 정한다[편집]

무엇을 제약으로 거느냐에 따라 익숙한 분포들이 차례로 튀어나온다. 아래는 전부 위 유도의 특수한 경우다.

지지집합	제약	최대 엔트로피 분포
유한집합 / 구간 [a,b]	없음	균등분포
(0, ∞)	평균 μ 고정	지수분포 (율 1/μ)
ℝ	평균·분산 고정	정규분포
(0, ∞)	E[x] 와 E[log x] 고정	감마분포
음이 아닌 정수	평균 고정	기하분포
ℝ	E[abs(x)] 고정	라플라스 분포
이산 상태 i	에너지 평균 고정	깁스·볼츠만 분포

여기서 배울 점은 개별 결과가 아니라 “왜 이 분포를 쓰는가”에 대한 답이 바뀐다는 것이다. 정규분포를 쓰는 근거로 보통 중심극한정리를 든다. 최대 엔트로피는 다른 근거를 준다 — 평균과 분산 말고는 아무것도 주장하지 않는 분포가 정규분포다. 그래서 2차 모멘트만 신뢰할 수 있는 상황에서 정규 가정은 낙관이 아니라 가장 보수적인 선택이다. 마찬가지로 대기시간에 지수분포를 쓰는 것은 “평균만 안다”의 표현이고, 여기에 무기억성이라는 강한 성질이 딸려 오는 것은 공짜가 아니라 정보를 그만큼만 넣었기 때문에 생기는 결과다.

다만 반대 방향의 오독을 조심해야 한다. 최대 엔트로피는 제약 목록을 정당화해 주지 않는다. 엉뚱한 모멘트를 걸면 엉뚱한 분포가 가장 정직한 얼굴로 나온다. 이 원칙이 하는 일은 “가정 → 분포” 사상을 유일하게 고정하는 것이지, 가정을 검증하는 것이 아니다.

5. 통계역학과의 연결[편집]

이산 상태 $i$ 에 에너지 $E_i$ 가 있고 평균 에너지 $\langle E\rangle = U$ 만 안다고 하자. 위 공식에 $T(i) = E_i$, $\lambda = -\beta$ 를 넣으면 곧바로

$$p_i = \frac{e^{-\beta E_i}}{Z(\beta)}, \qquad Z(\beta) = \sum_i e^{-\beta E_i}$$

깁스 분포다. 라그랑주 승수 $\beta$ 는 “평균 에너지 제약을 맞추기 위해 필요한 조임 강도”로 등장했을 뿐인데, 열역학과 대조하면 $\beta = 1/k_BT$ 로 온도의 역수다. 온도가 근본량이 아니라 승수로 유도된다는 것이 제인스 관점의 하이라이트다.

그리고 쌍대구조가 그대로 열역학이다. 분배함수 로그 $A(\lambda) = \log Z$ 는 헬름홀츠 자유에너지에 $-\beta$ 를 곱한 것이고, 쌍대문제 $\min_\lambda\{A(\lambda) - \lambda^\top\mu\}$ 는 엔트로피와 자유에너지가 르장드르-펜셸 변환으로 짝을 이룬다는 사실 그 자체다. 통계학의 “자연모수 ↔ 평균모수” 쌍대성과 물리의 “온도 ↔ 에너지” 쌍대성이 같은 볼록해석 한 장이라는 이야기이며, 이 짝짓기의 거리 개념이 브레그만 발산이다. 구체적인 앙상블 계산은 정준 앙상블, 기체 속도분포의 예는 맥스웰-볼츠만 분포, 격자 스핀계의 예는 이징 모형에서 다룬다.

6. 최대우도추정과 같은 문제다[편집]

제약에 넣는 $\mu$ 를 표본 평균 $\hat\mu = \frac1n\sum_i T(x_i)$ 로 잡으면 재미있는 일이 벌어진다. 지수족 $p_\lambda$ 의 로그가능도는

$$\frac{1}{n}\ell(\lambda) = \lambda^{\top}\hat\mu - A(\lambda) + \text{const}$$

이고, 이것을 최대화하는 것은 정확히 $\Psi(\lambda) = A(\lambda) - \lambda^\top\hat\mu$ 를 최소화하는 것이다. 즉

표본 모멘트 제약 하의 최대 엔트로피 = 지수족에서의 최대우도추정

두 문제는 서로의 볼록 쌍대다. 관점만 다르다 — 최대 엔트로피는 “무엇을 가정하지 않을 것인가”에서 출발하고, 최대우도는 “자료를 얼마나 잘 설명하는가”에서 출발하는데 계산 화면에 뜨는 방정식은 같다. 그래서 자연어 처리에서 오래 쓰인 “최대 엔트로피 분류기”는 사실 다항 로짓, 즉 일반화 선형 모형의 한 사례이고 소프트맥스 함수가 그 출력이다. 이름이 둘인 이유는 두 학계가 서로 모르고 각자 발견했기 때문이다.³

7. 쓰이는 곳[편집]

• 스펙트럼 추정. 자기상관을 몇 래그까지만 알 때 최대 엔트로피 스펙트럼(버그의 방법)은 자기회귀모형으로 귀결된다. 짧은 자료에서 주기도(periodogram)보다 분해능이 좋다.
• 영상·신호 복원. 관측이 모자란 역문제에서 “데이터와 모순되지 않으면서 가장 밋밋한 상”을 고르는 정칙화로 쓴다. 전파천문학의 초기 영상 복원이 대표적이며, 성격상 전변분 잡음제거의 $\ell_1$ 벌점과 경쟁 관계다.
• 모멘트 닫힘. 볼츠만 방정식의 모멘트 계층을 유한 개에서 끊을 때, 남는 고차 모멘트를 최대 엔트로피 분포로 재구성한다(볼츠만 방정식 참고).
• 사전분포 선택. 베이즈 추론에서 무정보 사전분포를 만드는 한 방법. 다만 좌표 불변성 문제 때문에 제프리스 사전분포 계열과 늘 논쟁이 있다.

8. 관련 문서[편집]

• 지수족 · 최대우도추정 · 쿨백-라이블러 발산
• 라그랑주 승수법 · 볼록 최적화 · 르장드르-펜셸 변환 · 브레그만 발산
• 정준 앙상블 · 맥스웰-볼츠만 분포 · 이징 모형
• 일반화 선형 모형 · 소프트맥스 함수 · 정보 기하
• 몬테카를로 방법 · 역문제

9. Footnotes[편집]

1. Jaynes, E. T. (1957). Information Theory and Statistical Mechanics, Phys. Rev. 106, 620 (2부는 108, 171). 제인스는 평생 이 관점을 밀어붙였고, 그 과정에서 물리학계와 격렬하게 싸웠다. “엔트로피는 계의 성질이 아니라 우리가 계에 대해 아는 것의 성질”이라는 문장은 지금도 술자리 논쟁을 여는 주문이다. ↩

2. 모멘트 벡터가 실현가능 영역의 경계로 다가가면 승수가 발산하며 닫힘 관계 자체가 정의되지 않는다. “볼록 문제니까 그냥 뉴턴 돌리면 되겠지”로 접근했다가 반복 200회에서 조건수 $10^{16}$ 을 보게 되는 전형적 코스. 볼록성은 해가 있을 때 유일함을 보장하지, 해가 있다는 것까지 보장하지 않는다. ↩

3. 이런 재발견은 이 바닥에서 국룰이다. 물리는 분배함수, 통계는 로그가능도, 기계학습은 소프트맥스, 최적화는 로그합지수라고 부르는데 전부 $\log\sum e^{(\cdot)}$ 한 놈이다. 학회를 옮기면 용어를 새로 배워야 하는 이유. ↩