중요도 표본추출

통계 수치해석 마지막 수정: 2026-08-01 04:12:27

1. 개요[편집]

확률이 낮아서 안 나오는 사건이면, 자주 나오게 조작해 놓고 나중에 값을 깎으면 된다.

중요도 표본추출(importance sampling, IS)은 목표분포 $\pi$ 에서 직접 뽑는 대신 다른 분포 $q$ 에서 뽑고, 밀도비 $w = \pi/q$ 를 가중치로 붙여 기댓값을 보정하는 방법이다. 기각표본추출이 맞지 않는 표본을 버리는 쪽이라면, 이쪽은 하나도 버리지 않고 전부 무게를 달아 쓰는 쪽이다.

이 문서는 추정량 자체의 이론(무편향성, 분산 조건, 최적 제안분포, 무게 진단)을 다룬다. 시간축을 따라 이 아이디어를 반복 적용하는 순차 버전은 입자 필터, 파괴확률 추정에 특화된 사용법은 신뢰성 해석과 부분집합 시뮬레이션, 표본을 상관된 연쇄로 만드는 대안은 마르코프 연쇄 몬테카를로에 있다.

2. 기본 항등식[편집]

$q(x) > 0$ 이 $f(x)\pi(x) \ne 0$ 인 모든 곳에서 성립한다고 하자. 그러면 다음 항등식은 그냥 곱하고 나눈 것에 불과하다.

\mathbb{E}_\pi[f] = \int f(x)\,\pi(x)\,dx = \int f(x)\,\frac{\pi(x)}{q(x)}\,q(x)\,dx = \mathbb{E}_q[f\,w], \qquad w(x) = \frac{\pi(x)}{q(x)}

따라서 $x_i \sim q$ 를 $N$ 개 뽑아

\hat{I}_{\rm IS} = \frac{1}{N}\sum_{i=1}^{N} f(x_i)\,w(x_i)

로 추정한다. 이 추정량은 정확히 무편향이고, 대수의 법칙과 중심극한정리는 그대로 살아 있다. 얻는 것은 자유도다 — 표본을 어디에 뿌릴지 우리가 고를 수 있다.

지지 조건은 타협 대상이 아니다. $\pi(x)f(x) \ne 0$ 인데 $q(x) = 0$ 인 영역이 있으면 그 기여는 영원히 추정량에 들어오지 않고, 그런데도 추정량은 아무 일 없다는 듯 작은 표준오차를 보고한다. IS 사고의 8할이 여기서 난다.

3. 분산과 최적 제안분포[편집]

무편향은 공짜지만 분산은 아니다.

\mathrm{Var}_q(\hat{I}_{\rm IS}) = \frac{1}{N}\left( \int \frac{f^2 \pi^2}{q}\,dx - I^2 \right)

두 가지가 바로 읽힌다.

첫째, 최적 제안분포는 $q^\star(x) \propto |f(x)|\,\pi(x)$ 다. 특히 $f \ge 0$ 이면 $q^\star = f\pi / I$ 에서 분산이 정확히 0이 된다 — 표본 하나로 참값이 나온다. 물론 정규화하려면 답 $I$ 를 이미 알아야 하므로 실전에서는 못 쓴다. 하지만 이 결과가 실무 지침을 준다: 표본은 $\pi$ 가 큰 곳이 아니라 $|f|\pi$ 가 큰 곳에 뿌려야 한다. 꼬리확률처럼 $f$ 가 지시함수인 문제에서 제안분포 중심을 꼬리로 옮기는 것이 정확히 이 처방이다.

둘째, 분산이 유한하려면 $q$ 의 꼬리가 더 두꺼워야 한다. $\int f^2\pi^2/q$ 가 발산하면 CLT가 성립하지 않고, 그러면 관측된 표준오차는 아무 의미가 없다. 구체적으로 $\pi = \mathcal{N}(0,1)$ 을 $q = \mathcal{N}(0,\sigma^2)$ 로 노리면 피적분함수가 $\exp\!\big[-x^2(1 - \tfrac{1}{2\sigma^2})\big]$ 꼴이라 $\sigma^2 > 1/2$ 일 때만 분산이 유한하다. 즉 $\sigma = 0.7$ 짜리 “조금 좁은” 제안분포 하나로 이미 무한 분산 영역이다.¹ 그래서 실무 국룰은 제안분포를 목표보다 넓게, 가능하면 $t$ -분포처럼 다항 꼬리로 잡는 것이다.

무한 분산의 임상 증상은 특징적이다. 추정값이 한동안 얌전히 있다가 어느 순간 거대한 무게 하나가 나타나 계단처럼 점프하고, 다시 얌전해진다. 표준오차 곡선은 내려가다가 그 점프에서 튀어 오른다. 이걸 “아직 수렴 중”으로 읽으면 안 된다 — 영원히 그 상태다.

4. 자체 정규화 IS[편집]

현실에서는 $\pi$ 와 $q$ 를 정규화 상수까지 아는 경우가 드물다. $\tilde\pi = Z_\pi \pi$ , $\tilde q = Z_q q$ 만 계산 가능할 때는 비정규화 무게 $\tilde w_i = \tilde\pi(x_i)/\tilde q(x_i)$ 를 쓰고 무게 합으로 나눈다.

\hat{I}_{\rm SNIS} = \frac{\sum_{i=1}^{N} \tilde w_i\, f(x_i)}{\sum_{i=1}^{N} \tilde w_i}, \qquad \bar w_i = \frac{\tilde w_i}{\sum_j \tilde w_j}

이것이 자체 정규화 중요도 표본추출(self-normalized IS, SNIS)이다. 분자·분모에 정규화 상수가 똑같이 들어 있어 통째로 약분되므로, 베이즈 사후분포처럼 $Z$ 를 모르는 대상에 바로 쓸 수 있다. 대가는 두 가지다.

더 이상 무편향이 아니다. 두 확률변수의 비이므로 편향이 생기며, 델타법으로 전개하면 편향은 $O(1/N)$ , 표준오차는 $O(1/\sqrt{N})$ 이다.² $N$ 이 조금만 커도 편향은 오차 예산에서 무시할 수준이라 실무에서는 거의 문제가 안 된다.
점근분산에 보정항이 붙는다. $\mathrm{Var} \approx \tfrac{1}{N}\mathbb{E}_q[w^2 (f - I)^2]$ 로, 원래 IS와 달리 $f$ 에서 목표값을 뺀 편차에 무게가 곱해진다. 우연히 $f$ 가 거의 상수면 SNIS가 오히려 원래 IS보다 분산이 작다.

덤으로 $\frac{1}{N}\sum \tilde w_i$ 자체가 $Z_\pi/Z_q$ 의 불편추정량이다. 자유에너지 계산의 즈완치히 공식(자유에너지 섭동)이 정확히 이 형태이며, 그 악명 높은 수렴 문제 역시 여기서 말하는 무게 퇴화 문제 그 자체다.

5. 무게 퇴화와 진단[편집]

IS가 실패하는 방식은 거의 언제나 하나다. 무게 하나가 전부를 먹는다. 차원이 오르면 로그무게의 분산이 대략 차원에 비례해 커지고, 로그정규 꼴 무게에서는 최대 무게의 지분이 1에 접근한다. 표본이 1만 개인데 실질적으로 3개가 결정하는 상황이 예사다.

표준 진단은 키시(Kish)의 무게 기반 유효표본크기다.

\hat{N}_{\rm eff} = \frac{\left(\sum_i \tilde w_i\right)^2}{\sum_i \tilde w_i^2} = \frac{1}{\sum_i \bar w_i^2}

무게가 전부 같으면 $N$ , 하나가 다 먹으면 1이 되어 범위가 명확하다. 다만 이 값은 무게만 보고 $f$ 는 보지 않는 거친 요약이며, 아직 등장하지 않은 거대 무게를 알 리가 없으므로 무한 분산 상황에서 안심시키는 방향으로 틀리기 쉽다. 자세한 정의와 MCMC 쪽 동명이인과의 구별은 유효표본크기 문서에 있다.

요즘 권장되는 진단은 상위 무게에 일반화 파레토 분포를 적합해 꼬리 지수 $\hat{k}$ 를 보는 방식이다. $\hat k < 1/2$ 면 분산 유한, $\hat k \ge 1$ 이면 평균조차 위태롭고, 실무 임계값으로 $\hat k < 0.7$ 을 쓴다. 같은 적합으로 꼬리 무게를 눌러 준 추정량이 파레토 평활 IS(PSIS)다.

퇴화를 구조적으로 늦추는 장치도 있다. 재표본추출은 무게에 비례해 입자를 복제·소멸시켜 무게를 다시 균등하게 만드는데, 정보가 늘어나는 게 아니라 분산이 미래로 이월될 뿐이라 매 스텝이 아니라 $\hat N_{\rm eff}$ 가 임계값 아래로 떨어질 때만 한다. 이 장치를 시간축에 얹은 것이 곧 입자 필터다. 담금질 중요도 표본추출(AIS)은 쉬운 분포에서 목표까지 온도 사다리를 놓고 무게를 조금씩 누적해 한 방에 몰리는 것을 막으며, 이 발상은 병렬 템퍼링과 사촌이다.

6. 어디에 쓰이나[편집]

희귀사건 추정. $10^{-6}$ 짜리 파괴확률을 단순 몬테카를로로 잡으려면 표본 $10^8$ 개가 필요하지만, 제안분포를 파괴면 최근접점(MPP)으로 옮기면 수천 개로 끝난다. 신뢰성 해석의 FORM/SORM과 짝지어 쓰는 것이 표준이고, 제안분포를 반복적으로 학습해 최적 $q^\star$ 에 접근시키는 교차 엔트로피 방법이 그 위에 있다.
렌더링. 레이 트레이싱에서 광원 표본추출과 BRDF 표본추출은 각자 잘하는 영역이 달라, 둘을 무게로 섞는 다중 중요도 표본추출(MIS, Veach 1995)의 균형 휴리스틱이 물리 기반 렌더링의 기본기가 됐다.³ 복사 전달 방정식을 푸는 다른 분야(중성자 수송, 대기 복사)도 같은 도구를 쓴다.
분자 시뮬레이션. 자유에너지 섭동, 우산 표본추출의 재무게(WHAM), 앙상블 간 재무게가 전부 SNIS다.
통계 학습. 사후분포 재무게, 교차검증 근사(PSIS-LOO), 오프폴리시 강화학습의 중요도비 보정.⁴ 변분 추론의 근사 사후분포를 $q$ 로 삼아 IS로 보정하는 조합도 흔하다.

7. 관련 문서[편집]

이 예제가 잔인한 이유는 $\sigma = 0.7$ 짜리 제안분포로 실제로 돌려 보면 히스토그램도 멀쩡하고 추정값도 그럴듯하기 때문이다. 무한 분산은 화면에 “무한 분산”이라고 안 뜬다. 그냥 어느 날 값이 튄다. ↩
델타법 전개에서 편향의 선행항은 $-\mathbb{E}_q[w^2(f-I)]/N$ 이다. 부호가 $f$ 와 무게의 상관에 달려 있어서, 편향의 방향을 미리 안다고 주장하는 사람이 있으면 일단 의심하는 게 좋다. ↩
Veach의 박사논문은 그래픽스 쪽 문헌인데도 IS 분산 이론을 가장 깔끔하게 정리한 텍스트 중 하나로 통계 쪽에서도 인용된다. 균형 휴리스틱이 “어떤 단일 전략보다 분산이 크게 나빠지지 않는다”는 보장을 준다는 정리가 특히 유명하다. ↩
오프폴리시 강화학습에서 궤적 전체의 중요도비를 곱하면 시간 길이에 대해 지수적으로 퇴화한다. 그래서 실무 알고리즘들은 비를 잘라내거나(clipping) 한 스텝만 쓰는데, 이건 편향을 감수하고 분산을 사는 거래다. IS의 모든 실무 변형은 결국 같은 거래의 변주다. ↩