켤레사전분포

1. 개요[편집]

켤레사전분포 Conjugate Prior
정의	사전분포와 사후분포가 같은 분포족에 속함
용어 정립	H. Raiffa & R. Schlaifer (1961)
일반형	지수족 가능도에 대한 자연 켤레족
갱신	초모수 덧셈 두 번 (χ ← χ + ΣT(x), ν ← ν + n)
해석	초모수 = 가상의 사전 관측 (유효 사전표본크기)
특징화	Diaconis–Ylvisaker (1979): 사후평균이 데이터에 선형

켤레사전분포(conjugate prior)는 주어진 가능도 모형에 대해 사전분포와 사후분포가 같은 분포족에 머무르게 하는 사전분포족을 말한다. 베이즈 정리

$$p(\theta \mid x) \;\propto\; p(x \mid \theta)\, p(\theta)$$

의 우변을 계산했을 때 결과가 다시 같은 족의 원소로 나오면, 추론은 적분이 아니라 초모수(hyperparameter) 갱신이라는 산수로 축소된다. 베타 사전분포에 이항 데이터를 먹이면 베타가 나오고, 감마에 포아송을 먹이면 감마가 나오고, 정규에 정규를 먹이면 정규가 나온다.

컴퓨터가 없던 시절에는 이것이 베이즈 추론을 가능하게 만드는 유일한 장치였다. 정규화 상수 $\int p(x\mid\theta)p(\theta)d\theta$ 를 손으로 계산할 방법이 없으면 사후분포는 그림의 떡인데, 켤레성은 그 적분을 아예 우회한다. 라이파와 슐레이퍼가 1961년 의사결정 분석 교과서에서 “자연 켤레족”(natural conjugate family)이라는 이름을 붙이며 표준 도구가 됐다.¹

그리고 마르코프 연쇄 몬테카를로가 모든 적분을 표본으로 때울 수 있게 된 지금도 켤레분포는 사라지지 않았다. 깁스 표본추출의 완전조건부분포로, 붕괴 표본추출의 해석적 주변화로, 변분 추론의 닫힌 형태 갱신식으로 살아남았다. 계산 편의를 위한 임시방편이 아니라 지수족 구조가 강제하는 대칭성이었기 때문이다.

2. 지수족의 자연 켤레족[편집]

켤레성은 우연한 성질이 아니다. 가능도가 지수족이면 켤레사전분포는 공식으로 만들어진다. 표준형

$$p(x \mid \eta) = h(x)\exp\!\big(\eta^{\top}T(x) - A(\eta)\big)$$

에 대해 사전분포를

$$p(\eta \mid \chi, \nu) \;\propto\; \exp\!\big(\eta^{\top}\chi - \nu A(\eta)\big)$$

로 두면, 데이터 $x_{1:n}$ 을 곱했을 때 지수 안이 그냥 더해지므로 사후분포가

$$p(\eta \mid x_{1:n}) \;\propto\; \exp\!\Big(\eta^{\top}\big(\chi + \textstyle\sum_i T(x_i)\big) - (\nu+n)A(\eta)\Big)$$

로 똑같은 꼴이 된다. 갱신은

$$\chi \leftarrow \chi + \sum_i T(x_i), \qquad \nu \leftarrow \nu + n$$

이라는 덧셈 두 번이 전부다. 여기서 충분통계량이 결정적인 역할을 한다 — 데이터가 사후분포에 들어오는 통로가 $\sum_i T(x_i)$ 하나뿐이라서, 사후분포가 유한 차원 초모수로 닫히는 것이다. 표본 1억 개를 받아도 들고 다닐 숫자의 개수는 그대로다.

초모수의 의미도 이 식에서 바로 읽힌다. $\nu$ 는 가상의 사전 관측 개수이고 $\chi$ 는 그 가상 관측들의 충분통계량 총합이다. 사전분포를 고르는 일이 “데이터를 보기 전에 몇 개짜리 가짜 데이터를 갖고 시작할 것인가”로 번역되며, 이것을 유효 사전표본크기(effective prior sample size)라 부른다. 사전분포의 세기를 사람이 감각적으로 조절할 수 있게 해 주는 거의 유일한 손잡이라서, 실무 문서에서 “사전분포는 관측 5개 정도의 정보량에 해당한다”는 식으로 보고한다.²

3. 표준 켤레쌍[편집]

가장 자주 쓰는 조합들. 아래에서 $s = \sum_i x_i$, $n$ 은 표본 크기다.

가능도	켤레사전분포	사후 초모수	유효 사전표본크기
베르누이 / 이항 (p)	베타(α, β)	α+s, β+n−s	α+β
포아송 (λ)	감마(α, β)	α+s, β+n	β
지수 (rate λ)	감마(α, β)	α+n, β+s	α
범주형 / 다항	디리클레(α, 성분 K개)	αₖ + nₖ (각 범주 k)	Σαₖ
정규, 분산 기지 (μ)	정규(μ₀, σ²/κ₀)	(κ₀μ₀+s)/(κ₀+n), κ₀+n	κ₀
정규, 평균·분산 미지	정규-역감마(μ₀, κ₀, α, β)	위 갱신 + α+n/2	κ₀ 와 2α
다변량정규 공분산 (Σ)	역위샤트(Ψ, ν)	Ψ+S, ν+n	ν
다변량정규 정밀도	위샤트(V, ν)	갱신 후 ν+n	ν
균등 U(0, θ)	파레토(x₀, k)	max(x₀, max xᵢ), k+n	k

마지막 줄이 재미있다. $U(0,\theta)$ 는 지수족이 아닌데도 켤레사전분포를 갖는다. 켤레성의 진짜 조건은 지수족이 아니라 “고정 차원 충분통계량이 존재하는 것”이기 때문이다.

정규분포의 사후평균을 뜯어보면 켤레 갱신의 성격이 한눈에 보인다.

$$\mathbb{E}[\mu \mid x] = \frac{\kappa_0}{\kappa_0+n}\,\mu_0 + \frac{n}{\kappa_0+n}\,\bar x$$

사전평균과 표본평균의 볼록결합이고, 가중치는 정확히 표본 수의 비다. $n \gg \kappa_0$ 이면 사전분포가 밀려나고, $n \ll \kappa_0$ 이면 사전분포가 이긴다. 이 선형성은 우연이 아니다 — 디아코니스와 일비사커(1979)가 증명했듯, 지수족에서 평균모수의 사후기댓값이 데이터에 선형인 사전분포는 (적당한 조건 하에) 자연 켤레족뿐이다. 켤레성은 “계산이 편한 사전분포”가 아니라 “갱신이 가중평균으로 나오는 사전분포”라는 특징화를 갖는다는 뜻이고, 그래서 칼만 필터의 갱신식이 예측값과 관측값의 가중평균 꼴인 것도 같은 이유의 결과다.

4. MCMC 시대에도 살아남은 이유[편집]

“켤레분포는 컴퓨터가 느리던 시절의 유물”이라는 말은 절반만 맞다. 현대 계산에서 켤레성이 하는 일은 다음과 같다.

• 깁스 표본추출의 완전조건부분포. 결합사후분포 전체가 켤레가 아니어도, 한 블록만 보고 나머지를 고정하면 켤레가 되는 경우가 아주 흔하다(조건부 켤레, conditional conjugacy). 계층 정규 모형에서 평균의 완전조건부는 정규, 분산의 완전조건부는 역감마 — 각 단계가 공식 대입으로 끝나므로 표본을 뽑는 비용이 거저다. BUGS·JAGS 계열이 모형 그래프를 훑어 켤레 관계를 자동 인식하고 그 자리에만 켤레 갱신을 꽂아 넣는 것이 이 구조를 이용한 것이다.
• 붕괴 표본추출(collapsed Gibbs). 켤레인 모수를 해석적으로 적분해 버리고 나머지만 표본추출하면 분산이 줄어든다. 이는 충분통계량 문서의 라오-블랙웰 정리를 그대로 적용한 것이고, 토픽 모형에서 디리클레-다항 켤레쌍을 적분해 없앤 붕괴 깁스가 표준 구현이 된 이유다.
• 변분 추론의 닫힌 형태 갱신. 평균장 좌표상승(CAVI)의 갱신식이 손으로 쓰이려면 각 완전조건부가 지수족이어야 한다 — 즉 조건부 켤레 모형에서만 깔끔한 공식이 나온다. 조건부 켤레가 아닌 모형에서 확률적 경사·재매개화 트릭 같은 무거운 장치가 동원되는 것은 이 공짜 점심이 사라졌기 때문이다.
• 순차 갱신과 온라인 학습. 켤레 갱신은 결합적이라 데이터를 한 번에 주든 조각내서 주든 결과가 같다. 베타-베르누이 켤레쌍 위에서 도는 톰슨 표본추출이 밴딧 문제의 표준 해법인 것, 그리고 칼만 필터가 재귀식으로 닫히는 것이 같은 성질의 두 얼굴이다.
• 비켤레 모형에 켤레 구조를 심기. 스튜던트 t 사전분포는 정규의 스케일 혼합으로 쓸 수 있고, 라플라스 사전분포(라쏘의 베이즈판)도 마찬가지다. 보조변수를 하나 도입하면 조건부로는 전부 켤레가 되어 깁스가 돌아간다. 비켤레 모형을 다루는 실전 기술의 상당 부분이 “어떻게든 조건부 켤레로 만들기”다.

5. 제프리스·무정보 사전분포와의 긴장[편집]

켤레분포는 편하지만 사전분포를 고르는 원리를 주지는 않는다. “정보가 없음”을 표현하려는 무정보 사전분포 계열과는 곳곳에서 충돌한다.

이항 모형에서는 사이가 좋다. 제프리스 사전분포 $\mathrm{Beta}(1/2,1/2)$ 는 베타족의 원소라 켤레이고, 라플라스의 균등 사전분포 $\mathrm{Beta}(1,1)$ 도, 홀데인의 $\mathrm{Beta}(0,0)$(비고유, improper)도 전부 베타족의 경계나 내부에 있다. 셋의 차이는 유효 사전표본크기가 1, 2, 0이라는 것뿐이다.

문제는 그 밖이다.

• 켤레성은 매개화에 불변이 아니다. 어떤 모수화에서 켤레인 사전분포는 다른 모수화로 옮기면 켤레가 아니다. 반면 제프리스 사전분포는 설계상 매개화 불변이다. 두 원리는 애초에 서로 다른 것을 지키려 한다.
• 비고유 사전분포가 많다. 널리 쓰이는 무정보 사전분포들은 적분이 발산해서 확률분포가 아니고, 켤레족의 초모수를 극한으로 보낸 경계값으로만 표현된다. 사후분포가 고유하다는 보장을 매번 따로 확인해야 하고, 계층 모형에서 이 확인을 건너뛰어 사후분포가 발산하는 사고는 지금도 논문에서 잡힌다.
• “무정보 켤레분포”라는 관행의 함정. 무정보를 흉내 내려고 초모수를 아주 작게(예: 분산 성분에 $\mathrm{InvGamma}(\varepsilon,\varepsilon)$) 잡는 관행이 있는데, 이 사전분포는 무정보이기는커녕 0 근처에서 결과에 강하게 개입한다. 계층 모형의 분산 성분처럼 데이터가 정보를 별로 주지 않는 자리에서는 $\varepsilon$ 값이 결론을 바꾼다. 그래서 이런 자리에는 켤레를 포기하고 반코시·반정규 같은 약정보(weakly informative) 사전분포를 쓰라는 것이 현대의 권고다.

6. 켤레성이 강제하는 모형 왜곡[편집]

편의에는 값이 있다. 켤레족은 모양이 정해져 있으므로, 그 모양이 마음에 안 들어도 감수해야 한다.

• 꼬리가 얇다. 정규-정규 켤레쌍에서 사전평균과 데이터가 크게 어긋나면 사후분포는 그 중간 어딘가에 자리 잡는다 — 즉 사전분포와 데이터가 싸우면 둘 다 무시당한다. 반면 두꺼운 꼬리 사전분포(스튜던트 t)를 쓰면 충돌 시 사전분포가 조용히 물러나고 데이터가 이긴다. 이 “이상값 자동 기각” 성질은 켤레분포로는 얻을 수 없다.
• 디리클레는 상관구조를 못 쓴다. 디리클레는 성분들이 음의 상관만 갖도록 강제하고, 자유 초모수도 실질적으로 하나뿐이다. 토픽 사이의 양의 상관을 표현하려면 켤레를 포기하고 로지스틱-정규 쪽으로 가야 한다.
• 역위샤트는 분산과 상관을 한 손잡이로 묶는다. 자유도 하나가 모든 방향의 불확실성을 동시에 결정하므로, 어떤 분산에는 강한 사전정보를 주고 다른 분산에는 약하게 주는 것이 구조적으로 불가능하다. 게다가 작은 분산 쪽에서 편향을 만든다. 요즘은 표준편차와 상관행렬을 분리해 각각에 사전분포를 주는 방식이 권장된다.
• 가짜 확신. 켤레 갱신은 언제나 매끄러운 가중평균을 뱉으므로, 모형이 틀렸을 때조차 결과가 그럴듯해 보인다. 사후분포가 좁다는 것이 답이 맞다는 뜻은 아니다.

이 왜곡들을 완화하는 정직한 장치도 있다. 켤레분포의 유한 혼합은 여전히 켤레적으로 갱신되고(사후분포도 같은 혼합족), 혼합 성분을 충분히 쓰면 임의의 사전분포를 원하는 정밀도로 근사할 수 있다. 켤레성을 완전히 버리지 않으면서 모양의 자유를 되찾는 절충안이다.

7. 시뮬레이션 쪽에서의 쓸모[편집]

불확실성 정량화나 모형 보정(calibration)을 하는 사람에게 켤레분포가 주는 실무적 이득은 명확하다. 비싼 시뮬레이터를 돌려 얻은 관측을 순차적으로 반영할 때, 켤레 갱신이면 매 스텝의 사후분포가 공식 한 줄이라 실험을 하나 추가할 때마다 전체를 다시 돌릴 필요가 없다. 베이지안 최적화의 가우시안 프로세스 사후분포가 닫힌 형태로 나오는 것도 정규-정규 켤레성의 무한차원 버전이고, 노이즈 분산에 역감마 사전분포를 얹어 함께 갱신하는 구성도 흔하다.

다만 늘 붙는 단서 하나. 켤레성은 모형 선택의 근거가 아니다. “감마가 켤레라서 감마를 썼다”는 문장이 논문에 그대로 나오면 심사에서 잡힌다. 켤레분포는 계산 예산이 아니라 사전 신념이 그 모양일 때 쓰는 것이고, 예산 때문에 쓴 것이라면 최소한 민감도 분석으로 그 선택이 결론을 흔들지 않음을 보여야 한다.³

8. 관련 문서[편집]

• 지수족 · 충분통계량 · 최대우도추정
• 변분 추론 · 마르코프 연쇄 몬테카를로 · 기댓값 최대화 알고리즘
• 제프리스 사전분포 · 계층 베이즈 모형 · 디리클레 분포
• 제임스-스타인 추정량 · 능형회귀 · 라쏘
• 칼만 필터 · 입자 필터 · 가우시안 프로세스
• 베이지안 최적화 · 불확실성 정량화 · 통계

9. Footnotes[편집]

1. 학부 베이즈 수업에서 베타-이항을 배우고 나면 세상 모든 문제가 켤레로 보이는 시기가 온다. 그러다 첫 계층 모형에서 사후분포가 안 닫히는 순간 MCMC 교과서를 펴게 되는데, 그게 통과의례다. ↩

2. “사전분포는 관측 5개어치”라는 표현은 심사위원에게 통하는 몇 안 되는 설명법이다. ”$\alpha=2,\beta=3$ 을 썼습니다”보다 “성공 2회 실패 3회를 본 셈 치고 시작했습니다”가 훨씬 방어하기 쉽다. ↩

3. 반대로 켤레를 쓰지 않았다고 자랑하는 것도 우습다. 완전조건부가 켤레인데 굳이 메트로폴리스 스텝을 넣어 채택률 튜닝으로 밤을 새우는 것은 성실함이 아니라 낭비다. 해석적으로 풀리는 것은 해석적으로 푸는 게 이 바닥 국룰. ↩