젠센 부등식

1. 개요[편집]

평균을 넣은 결과와 결과의 평균은 다르다. 이 한 줄이 변분 추론, EM, 정보이론, 그리고 당신의 해석 보고서를 동시에 관통한다.

젠센 부등식(Jensen’s inequality)은 볼록함수 $f$ 와 적분 가능한 확률변수 $X$ 에 대해

$$f(\mathbb{E}[X]) \le \mathbb{E}[f(X)]$$

가 항상 성립한다는 정리다. 1906년 요한 옌센(Johan Jensen)이 정리한 형태로, 볼록 최적화에서 볼록성의 정의 그 자체를 확률측도로 확장한 진술이라고 봐도 된다. $f$ 가 오목이면 부등호가 뒤집힌다.

증명은 지지선(supporting line) 한 줄이면 끝난다. $\mu = \mathbb{E}[X]$ 에서 그은 접선 아래로 볼록함수는 내려가지 않으므로 $f(x) \ge f(\mu) + g\,(x - \mu)$ 이고, 양변에 기댓값을 취하면 우변의 선형항이 사라져 $\mathbb{E}[f(X)] \ge f(\mu)$ 가 남는다. 등호는 $f$ 가 $X$ 의 지지집합 위에서 아핀이거나, $X$ 가 거의 확실히 상수일 때만 성립한다. 등호 조건이 이렇게 빡빡하다는 게 실전에서 제일 자주 쓰이는 부분이다 — 등호가 아니면 간극이 남고, 그 간극이 대개 우리가 진짜로 알고 싶은 양이다.

이산 형태로 쓰면 $f(\sum_i \lambda_i x_i) \le \sum_i \lambda_i f(x_i)$, $\sum \lambda_i = 1$, $\lambda_i \ge 0$. 확률적으로 읽으면 “곡선 위 두 점을 잇는 현은 곡선 위에 있다”의 일반화다.

2. ELBO — 간극이 곧 KL이다[편집]

변분 추론의 출발점이 젠센 부등식이다. 잠재변수 $z$ 를 가진 모형에서 주변 로그가능도는 적분 안에 들어 있어 계산이 안 된다. 임의의 분포 $q(z)$ 를 끼워 넣고 로그(오목함수)에 젠센을 적용한다.

$$\log p(x) = \log \int p(x,z)\, dz = \log \mathbb{E}_q\!\left[\frac{p(x,z)}{q(z)}\right] \ge \mathbb{E}_q\!\left[\log \frac{p(x,z)}{q(z)}\right] \equiv \mathcal{L}(q)$$

우변이 ELBO(evidence lower bound)다. 여기서 진짜 중요한 건 부등식이 아니라 간극의 정체다. 정리해 보면

$$\log p(x) - \mathcal{L}(q) = \mathbb{E}_q\!\left[\log \frac{q(z)}{p(z \mid x)}\right] = \mathrm{KL}\big(q(z) \,\|\, p(z\mid x)\big)$$

즉 젠센 부등식이 남긴 손실은 정확히 근사 사후분포와 참 사후분포 사이의 쿨백-라이블러 발산이다. 그래서 ELBO를 최대화하는 것과 KL을 최소화하는 것이 같은 일이 되고, 변분추론이 “최적화 문제로 바뀐 베이즈 추론”이 되는 것이다. 손실이 어디로 갔는지 정확히 아는 부등식은 흔치 않다.¹

3. EM의 단조성[편집]

기댓값 최대화 알고리즘이 매 반복마다 가능도를 절대 떨어뜨리지 않는다는 성질도 같은 구조에서 나온다. E-단계에서 $q^{(t)}(z) = p(z \mid x, \theta^{(t)})$ 로 놓으면 KL이 0이 되어 경계가 현재 점에서 정확히 가능도에 닿는다(tight). M-단계에서 그 경계를 $\theta$ 에 대해 최대화하면

$$\log p(x \mid \theta^{(t+1)}) \ge \mathcal{L}(q^{(t)}, \theta^{(t+1)}) \ge \mathcal{L}(q^{(t)}, \theta^{(t)}) = \log p(x \mid \theta^{(t)})$$

첫 부등호가 젠센, 둘째가 M-단계의 최대화, 마지막 등호가 경계의 접촉이다. 세 줄로 단조 증가가 증명된다. 가우시안 혼합 모형 적합이 발산하지 않는 이유이자, 동시에 전역 최적을 보장하지 못하는 이유이기도 하다 — 경계를 올리는 것과 진짜 봉우리에 도달하는 것은 다른 문제라서, 지역 최적해에 그대로 갇힌다. 은닉 마르코프 모형의 바움-웰치 알고리즘도 정확히 같은 논리 위에 서 있다.

4. 산술-기하 평균과 깁스 부등식[편집]

AM-GM: $\log$ 가 오목이므로 $\log(\sum \lambda_i x_i) \ge \sum \lambda_i \log x_i$, 양변에 지수를 씌우면

$$\sum_i \lambda_i x_i \ \ge\ \prod_i x_i^{\lambda_i}$$

가중 산술평균 ≥ 가중 기하평균이 한 줄에 나온다. 고교 때 판별식으로 낑낑댔던 그 부등식이다.

깁스 부등식과 KL ≥ 0: $-\log$ 가 볼록이므로

$$\mathrm{KL}(p \| q) = \mathbb{E}_p\!\left[-\log \frac{q}{p}\right] \ \ge\ -\log \mathbb{E}_p\!\left[\frac{q}{p}\right] = -\log 1 = 0$$

등호는 $p = q$ 일 때만. 정보이론의 거의 모든 부등식(엔트로피의 비음성, 상호정보량 $\ge 0$, 데이터 처리 부등식)이 이 한 번의 젠센 적용에서 파생된다. 열역학의 깁스-보고류보프 부등식 $F \le F_0 + \langle H - H_0\rangle_0$ 도 같은 뼈대이고, 이것이 자유에너지 섭동 계산에서 자로 쓰인다.

5. 시뮬레이션에서의 함정 — “평균 입력”의 저주[편집]

여기가 해석 엔지니어에게 가장 실질적인 대목이다. 입력이 불확실할 때 대표값(평균, 공칭값) 하나로 해석 한 번 돌리고 그걸 평균 응답이라 부르는 관행은, 응답이 비선형인 순간 체계적으로 편향된다.

$$f(\mathbb{E}[X]) \ne \mathbb{E}[f(X)]$$

응답이 볼록이면 공칭 해석은 평균 응답을 과소평가하고, 오목이면 과대평가한다. 얼마나 틀리는지는 2차 테일러 전개로 대략 잡힌다. 테일러 급수를 $\mu$ 에서 펼치면

$$\mathbb{E}[f(X)] \approx f(\mu) + \tfrac{1}{2} f''(\mu)\, \mathrm{Var}(X)$$

즉 곡률 × 분산만큼의 간극이 구조적으로 존재한다. 피로 수명처럼 응력의 $-m$ 제곱(바스킨 지수 $m \approx 3\text{–}5$)에 비례하는 극단적 볼록 응답에서는 이 간극이 배수 단위로 벌어진다. 피로 해석에서 “평균 하중으로 계산한 수명”이 실측 평균 수명과 안 맞는 고전적 원인 중 하나가 이것이다.²

그래서 불확실성 정량화는 대표값 해석을 신뢰하지 않고, 몬테카를로 방법·라틴 하이퍼큐브 표본추출·다항식 카오스 전개로 응답 분포 자체를 굴린다. 표본 수가 부족할 때는 중요도 표본추출이나 대리 모델을 얹는다. 신뢰성 해석의 파괴확률 역시 한계상태함수가 대개 볼록이라 공칭 해석 한 방으로는 근처도 못 간다.

젠센은 로그를 쓰는 추정량에도 함정을 판다. 몬테카를로로 $Z = \mathbb{E}[w]$ 를 추정한 뒤 $\log \hat{Z}$ 를 쓰면 $\mathbb{E}[\log \hat{Z}] \le \log \mathbb{E}[\hat{Z}] = \log Z$ 이므로 로그 정규화 상수는 언제나 아래로 편향된다. 표본이 늘면 편향은 줄지만 유한 표본에서는 항상 있다.³

6. 여담[편집]

• 관련 부등식들은 대부분 젠센의 사촌이다. 횔더 부등식, 민코프스키, 코시-슈바르츠, 정보이론의 로그합 부등식이 모두 볼록성 하나에서 나온다.
• 조건부 기댓값 버전 $f(\mathbb{E}[X\mid\mathcal{G}]) \le \mathbb{E}[f(X)\mid\mathcal{G}]$ 는 마르팅게일 이론의 기본 도구다. $|M_t|$ 나 $M_t^2$ 가 서브마르팅게일이 되는 것도 여기서 나오고, 확률미분방정식 수치해의 모멘트 경계 증명에 그대로 쓰인다.
• 하한을 세우고 그 하한을 대신 최적화하는 MM(minorize-maximize) 알고리즘 계열 전체가 젠센의 자식들이다. EM, 변분 EM, 심층 학습의 VAE 학습이 다 같은 골격 위에 있다.⁴

7. 관련 문서[편집]

• 볼록 최적화 · 변분법
• 변분 추론 · 기댓값 최대화 알고리즘
• 가우시안 혼합 모형 · 은닉 마르코프 모형
• 불확실성 정량화 · 신뢰성 해석
• 몬테카를로 방법 · 중요도 표본추출 · 다항식 카오스 전개
• 중심극한정리 · 통계
• 테일러 급수 · 자유에너지 섭동

8. Footnotes[편집]

1. 그래서 ELBO는 “느슨한 하한”이 아니라 “정확히 얼마나 느슨한지 아는 하한”이다. 다만 그 KL을 계산할 수 있으면 애초에 사후분포를 아는 거라 변분추론이 필요 없다는 점이 이 바닥의 개그 포인트. ↩

2. 반대 방향 사례도 있다. 응답이 오목한 구간(예: 포화되는 열전달 계수)에서는 공칭 해석이 평균을 과대평가한다. 방향을 외우지 말고 2계 도함수 부호를 보자. 참고로 Sam Savage는 이 현상 전반을 “the flaw of averages”라 부르며 대중서까지 냈는데, 평균 수심 1 m인 강을 건너다 익사한 통계학자 이야기가 그 책의 간판 일화다. ↩

3. 반대로 중요도 가중 ELBO(IWAE)처럼 표본을 늘려 하한을 조이는 기법도 이 편향의 크기를 줄이는 장치다. 편향은 사라지지 않고 $O(1/K)$ 로 줄어든다. ↩

4. MM 알고리즘의 관점에서 보면 EM은 “젠센으로 만든 접촉 하한을 반복 최대화하는 특수한 경우”에 지나지 않는다. 하한 만들기(minorize)와 최대화(maximize)를 분리해서 보면, 접촉만 보장되면 하한을 뭘로 만들든 단조성은 그대로 따라온다. ↩