이토쿠라-사이토 발산

편집 역사 토론
통계 수치해석 마지막 수정: 2026-08-19 04:34:52

1. 개요[편집]

이토쿠라-사이토 발산
Itakura–Saito Divergence
제안이타쿠라 후미타다·사이토 슈조 (1968)
정의x/y − log(x/y) − 1
생성함수φ(x) = −log x (버그 엔트로피)
핵심 성질스케일 불변(0차 동차)
β-발산 족β = 0
대표 용도음성 부호화, IS-NMF, 오디오 음원 분리

이토쿠라-사이토 발산(Itakura–Saito divergence)은 두 양수 x,y>0x, y > 0 사이의 어긋남을

dIS(x∣y)  =  xy  −  log⁡xy  −  1d_{\mathrm{IS}}(x \mid y) \;=\; \frac{x}{y} \;-\; \log\frac{x}{y} \;-\; 1

로 재는 척도다. 1968년 이타쿠라 후미타다와 사이토 슈조가 음성 부호화에서 스펙트럼 정합의 왜곡 척도로 도입했고, 반세기 뒤 오디오 신호 분해의 표준 손실함수로 되살아났다.

t=x/yt = x/y 로 두면 dIS=t−log⁡t−1d_{\mathrm{IS}} = t - \log t - 1 이라는 한 변수 함수다. t=1t = 1 에서 값도 0, 미분도 0이고 그 밖에서는 항상 양수이므로 발산의 자격을 갖춘다. 다만 대칭도 아니고 삼각부등식도 없어서 거리(metric)는 아니다.

이 척도의 성격은 두 항의 힘겨루기에서 나온다. y→0y \to 0 이면 x/y→∞x/y \to \infty 로 선형에 가깝게 폭발하고, y→∞y \to \infty 이면 log⁡(y/x)→∞\log(y/x) \to \infty 로 로그로 천천히 커진다. 즉 모형이 데이터를 과소평가하는 쪽을 훨씬 가혹하게 벌한다. 오디오 모형이 “일단 넉넉하게 덮고 보는” 경향을 보이는 것은 알고리즘의 습관이 아니라 이 비대칭의 직접적 귀결이다.

2. 브레그만 발산으로서[편집]

이 식이 어디서 왔는지는 브레그만 발산으로 보면 바로 나온다. 생성함수를 버그 엔트로피(Burg entropy) φ(x)=−log⁡x\varphi(x) = -\log x 로 잡으면 φ′(y)=−1/y\varphi'(y) = -1/y 이므로

Dφ(x,y)=φ(x)−φ(y)−φ′(y)(x−y)=−log⁡x+log⁡y+x−yy=xy−log⁡xy−1D_\varphi(x,y) = \varphi(x) - \varphi(y) - \varphi'(y)(x-y) = -\log x + \log y + \frac{x - y}{y} = \frac{x}{y} - \log\frac{x}{y} - 1

이다. 벡터·스펙트럼에는 성분별로 더해 ∑idIS(xi∣yi)\sum_i d_{\mathrm{IS}}(x_i \mid y_i) 로 쓴다. 그래서 브레그만 세계의 성질을 전부 물려받는다 — 첫 인수에 대해 볼록, 둘째 인수에 대해서는 아니고, 삼점 항등식이 성립하며, 둘째 인수로 평균을 내면 산술평균이 나온다.

행렬로 올라가면 φ(X)=−log⁡det⁡X\varphi(X) = -\log\det X 가 되어 공분산 추정의 스타인 손실(로그디트 발산) tr(XY−1)−log⁡det⁡(XY−1)−n\mathrm{tr}(XY^{-1}) - \log\det(XY^{-1}) - n 이 되는데, 스칼라 대각 성분만 보면 정확히 IS 발산이다. 두 척도가 같은 뿌리라는 사실은 정보 기하에서 자주 쓰인다.

비대칭이라 대칭화 버전도 정의되는데, 재미있게도 로그 항이 상쇄된다.

dIS(x∣y)+dIS(y∣x)=xy+yx−2=2[cosh⁡ ⁣(log⁡xy)−1]d_{\mathrm{IS}}(x \mid y) + d_{\mathrm{IS}}(y \mid x) = \frac{x}{y} + \frac{y}{x} - 2 = 2\left[\cosh\!\left(\log\frac{x}{y}\right) - 1\right]

음성 처리에서 COSH 거리라 부르는 물건이 이것이고, 이름의 유래도 저 우변이다.

3. 스케일 불변성 — 오디오가 이걸 쓰는 이유[편집]

IS 발산의 결정적 성질은 딱 하나다.

dIS(λx∣λy)=dIS(x∣y)∀λ>0d_{\mathrm{IS}}(\lambda x \mid \lambda y) = d_{\mathrm{IS}}(x \mid y) \qquad \forall \lambda > 0

정의가 비 x/yx/y 에만 의존하므로 자명하다. 오차를 절대 크기가 아니라 상대 비율로 잰다는 뜻이고, 이것이 오디오에서 결정적인 이유는 파워 스펙트럼의 동적 범위가 무지막지하기 때문이다.

음악 한 프레임의 파워 스펙트로그램은 저역이 고역보다 40~60 dB 높은 것이 예사다. 여기에 제곱오차를 쓰면 목적함수가 저역 몇 개 빈에 완전히 지배당하고, 고역의 배음 구조나 잔향 꼬리처럼 에너지는 작지만 지각적으로 중요한 성분은 모형이 통째로 무시해도 손실이 거의 늘지 않는다. 반면 IS 발산은 100의 오차나 0.001의 오차나 비율이 같으면 같은 벌점을 매긴다. 인간 청각이 대체로 로그 스케일로 동작한다는 사실과도 방향이 맞는다.

이 성질은 β-발산 족 전체에서 IS만 가진다. 뒤에 보듯 dβ(λx∣λy)=λβdβ(x∣y)d_\beta(\lambda x \mid \lambda y) = \lambda^\beta d_\beta(x \mid y) 이므로, 완전한 스케일 불변은 β=0\beta = 0 하나뿐이다.

4. 최대우도 해석 — 왜 하필 이 식인가[편집]

“상대 오차를 재고 싶다”면 ∣log⁡(x/y)∣|\log(x/y)| 같은 것도 후보다. IS 발산이 선택되는 진짜 이유는 통계 모형에서 자동으로 튀어나오기 때문이다.

단시간 푸리에 변환(STFT) 계수 ss 가 평균 0, 분산 yy 인 복소 원형 대칭 가우시안이라 하자. 그러면 파워 x=∣s∣2x = |s|^2 는 평균 yy 인 지수분포를 따른다. 음의 로그우도는

−log⁡p(x∣y)=log⁡y+xy-\log p(x \mid y) = \log y + \frac{x}{y}

이고, yy 에 무관한 항 log⁡x+1\log x + 1 을 더하면 정확히 dIS(x∣y)d_{\mathrm{IS}}(x \mid y) 다. 즉

파워 스펙트럼을 IS 발산으로 맞추는 것 = 복소 가우시안 모형의 최대우도 추정.

동치 표현이 몇 가지 더 있다. 첫째, x=y⋅εx = y\cdot\varepsilon, ε∼Exp(1)\varepsilon \sim \mathrm{Exp}(1) 이라는 곱셈적 잡음 모형의 우도와 같다. 잡음이 곱셈적이니 척도가 스케일 불변인 것이 당연하다. 둘째, 평균이 각각 x,yx, y 인 두 지수분포 사이의 쿨백-라이블러 발산이 정확히 dIS(x∣y)d_{\mathrm{IS}}(x \mid y) 다. 셋째, 지수족과 브레그만 발산의 일반 대응(가우시안↔제곱오차, 푸아송↔일반화 KL)에서 지수분포에 해당하는 항목이 바로 IS다. 최대우도추정 관점에서 보면 손실함수 선택은 잡음 모형 선택과 같은 말이고, IS를 고른다는 건 “잡음이 곱셈적이다”라고 선언하는 것이다.1

여기에 하나 더 붙는 실용적 이득이 있다. 여러 음원이 독립이면 분산이 더해지므로 파워 스펙트럼이 더해진다. 즉 ∣s1+s2∣2≈∣s1∣2+∣s2∣2|s_1 + s_2|^2 \approx |s_1|^2 + |s_2|^2 라는 가법성이 근사가 아니라 모형에서 따라 나온다. 진폭 스펙트로그램의 가법성이 순전히 경험적 편의인 것과 대비된다.

5. IS-NMF와 곱셈적 갱신[편집]

이 발산이 현대적으로 부활한 무대는 비음수 행렬 분해(NMF)다. 파워 스펙트로그램 V∈R+F×NV \in \mathbb{R}_+^{F\times N} (주파수 × 프레임)을

V≈WH,W∈R+F×K,H∈R+K×NV \approx WH, \qquad W \in \mathbb{R}_+^{F\times K},\quad H \in \mathbb{R}_+^{K\times N}

로 분해하면 WW 의 각 열은 하나의 스펙트럼 패턴(악기 음의 배음 구조), HH 의 각 행은 그 패턴의 시간 활성도가 된다. 목적함수를 ∑f,ndIS(Vfn∣(WH)fn)\sum_{f,n} d_{\mathrm{IS}}(V_{fn} \mid (WH)_{fn}) 로 두면 위의 최대우도 해석이 그대로 따라와, 페보트-베르탱-뒤리유(2009)가 정리한 가우시안 합성 모형이 된다 — 관측 STFT 계수가 KK 개의 독립 성분의 합이고 각 성분이 분산 WfkHknW_{fk}H_{kn} 인 복소 가우시안이라는 생성 모형이다.

수치적으로는 경사하강법을 곱셈적 갱신(multiplicative update, MU) 형태로 재배열해 푼다. 일반 β에 대해

H←H⊙W⊤[(WH)β−2⊙V]W⊤(WH)β−1,W←W⊙[(WH)β−2⊙V]H⊤(WH)β−1H⊤H \leftarrow H \odot \frac{W^\top\bigl[(WH)^{\beta-2}\odot V\bigr]}{W^\top (WH)^{\beta-1}}, \qquad W \leftarrow W \odot \frac{\bigl[(WH)^{\beta-2}\odot V\bigr]H^\top}{(WH)^{\beta-1}H^\top}

이고(⊙\odot, 분수는 성분별), β=0\beta = 0 을 넣으면 IS-NMF의 갱신식

H←H⊙W⊤[V⊘(WH)2]W⊤[(WH)−1]H \leftarrow H \odot \frac{W^\top\bigl[V \oslash (WH)^{2}\bigr]}{W^\top\bigl[(WH)^{-1}\bigr]}

가 된다. 곱셈 형태의 미덕은 비음수 제약이 공짜로 지켜진다는 것 — 양수에 양수를 곱하니 음수가 될 길이 없다. 사영이나 능동집합 관리가 필요 없어 코드가 대여섯 줄이다.

다만 단조 감소 보장은 공짜가 아니다. 이 형태의 MU가 목적함수를 단조 감소시킨다는 것은 1≤β≤21 \le \beta \le 2 에서만 보조함수(majorization) 논증으로 증명된다. 그 밖의 β에서는 갱신 비율에 지수 γ(β)\gamma(\beta) 를 씌워

γ(β)={1/(2−β)β<111≤β≤21/(β−1)β>2\gamma(\beta) = \begin{cases} 1/(2-\beta) & \beta < 1\\ 1 & 1\le\beta\le 2\\ 1/(\beta-1) & \beta > 2\end{cases}

로 보폭을 줄여야 단조성이 회복된다(Févotte–Idier 2011). IS는 β=0\beta = 0 이라 γ=1/2\gamma = 1/2, 즉 갱신 비율에 제곱근을 씌운다. 이걸 빼먹고 순진한 MU를 돌리면 목적함수가 튀거나 발산하는데, IS-NMF 구현에서 가장 흔한 버그다.2

6. β-발산 족에서의 위치[편집]

IS·KL·유클리드는 따로 발명된 척도가 아니라 한 매개변수 족의 세 지점이다.

dβ(x∣y)=1β(β−1)(xβ+(β−1)yβ−βxyβ−1),β≠0,1d_\beta(x \mid y) = \frac{1}{\beta(\beta-1)}\Bigl(x^\beta + (\beta-1)y^\beta - \beta x y^{\beta-1}\Bigr), \quad \beta \ne 0, 1

이고 β→1,0\beta \to 1, 0 은 극한으로 정의한다.

β이름잡음 모형동차 차수강조하는 쪽
2유클리드(제곱오차)가산 가우시안2큰 성분
1일반화 KL푸아송1중간
0이토쿠라-사이토곱셈 지수(감마)0상대 비율(전부 동등)

β\beta 가 클수록 큰 값에 민감하고, 작을수록 작은 값도 동등하게 본다. β=2\beta = 2 는 최소자승법과 리-승의 원조 NMF, β=1\beta = 1 은 문서-단어 계수 데이터나 광자 계수처럼 정수 카운트에 맞고, β=0\beta = 0 은 동적 범위가 큰 스펙트럼용이다. 이 스펙트럼을 실제로 어디에 놓을지는 데이터가 결정할 문제이며, β를 하이퍼파라미터로 두고 교차검증으로 고르는 것도 흔하다.

실무에서 자주 쓰는 요령이 β 어닐링이다. IS 목적함수는 비볼록성이 심하고 국소최소가 많아서 초기값에 크게 좌우되는데, β=2\beta = 2 같은 온순한 값에서 시작해 반복하면서 β\beta 를 0까지 내리면 훨씬 나은 해로 간다. 온순한 문제에서 출발해 매개변수를 서서히 목표값으로 옮겨 가는 수치 연속법과 같은 발상이다.

7. 함정[편집]

  • 0을 넣으면 죽는다. y=0y = 0 이면 x/yx/y 가, x=0x = 0 이면 log⁡(x/y)\log(x/y) 가 폭발한다. 실제 스펙트로그램에는 무음 구간과 정확히 0인 빈이 흔하므로, 구현에서는 max⁡(⋅,ε)\max(\cdot, \varepsilon) 바닥값을 반드시 깐다. ε\varepsilon 을 얼마로 잡느냐가 결과에 생각보다 크게 영향을 준다.
  • 인수 순서. dIS(데이터∣모형)d_{\mathrm{IS}}(\text{데이터} \mid \text{모형}) 이 표준이다. 뒤집으면 벌점의 방향이 반대가 되어 모형이 데이터를 과대평가하는 쪽으로 치우친다. 비대칭 발산을 쓸 때는 언제나 확인해야 하는 부분이고, 쿨백-라이블러 발산에서 정방향/역방향을 따지는 것과 같은 문제다.
  • 스케일 불변성의 대가. 잡음 바닥이 신호와 같은 비중으로 취급되므로, SNR이 낮은 고역에서 IS-NMF가 잡음의 미세 구조를 열심히 모형화하는 일이 생긴다. 지각 가중치나 HH 에 대한 희소성 벌점을 얹어 완화한다.
  • 비볼록성. WW 와 HH 를 동시에 보면 목적함수가 비볼록이라 전역해 보장이 없다. 여러 초기값으로 재시작하는 것이 국룰이며, 스케일 불변 때문에 WW 열 노름과 HH 행 스케일 사이의 불확정성이 있어 매 반복 정규화도 필요하다.

8. 역사와 응용[편집]

원래 용도는 지금과 꽤 다르다. 이타쿠라와 사이토는 선형 예측 부호화(LPC) 기반 음성 합성에서 “합성된 전극(all-pole) 스펙트럼이 원 스펙트럼과 얼마나 다른가”를 재는 왜곡 척도가 필요했고, 최대우도 원리에서 이 식을 유도했다. 1970~80년대 음성 부호화 표준에서 이토쿠라-사이토 왜곡은 사실상 기본 척도였고, 코드북 설계에도 그대로 쓰였다 — 벡터 양자화의 LBG 알고리즘을 제곱오차 대신 IS 왜곡으로 돌리면 중심점 갱신식이 달라지는 것이 그 사례다.

현대의 주 무대는 오디오 신호 분해다.

  • 블라인드 음원 분리. 단일 채널 혼합에서 악기·보컬을 분리하는 문제. IS-NMF로 얻은 WkHkW_k H_k 를 위너 필터로 되돌려 각 음원의 STFT를 복원한다. 위너 필터가 자연스럽게 나오는 것도 가우시안 합성 모형 덕분이다.
  • 음악 자동 채보와 반주 분리. 피아노 한 음의 배음 구조가 WW 의 한 열로, 언제 눌렸는지가 HH 의 한 행으로 떨어진다. 감쇠하는 잔향 꼬리를 IS가 제곱오차보다 훨씬 잘 잡는 것이 실측으로 확인된 지점.
  • 음성 향상·잔향 제거. 잡음과 음성을 각각 몇 개 성분으로 모형화하고 활성도만 온라인으로 갱신한다.
  • 다채널 확장. 스칼라 분산이 공분산 행렬로 올라가면 IS가 스타인 손실이 되고, 그게 다채널 NMF(MNMF)와 독립 저계수 행렬 분석(ILRMA)의 목적함수다.

요약하면 이 발산의 매력은 “오디오에 잘 맞는 척도를 골랐다”가 아니라 **“신호에 대한 그럴듯한 확률 모형을 세웠더니 척도가 따라 나왔다”**는 데 있다. 비음수 행렬 분해 계열을 다룰 때 β를 고르는 일이 취향 문제가 아니라 모형 선택 문제인 이유다.3

9. 관련 문서[편집]

10. Footnotes[편집]

  1. “손실함수를 뭘 쓸까요”라는 질문의 정직한 번역은 “잡음이 어떤 분포라고 믿습니까”다. 제곱오차를 기본값으로 쓰는 관행은 대체로 가우시안을 믿어서가 아니라 미분이 편해서인데, 동적 범위가 큰 데이터에서는 그 편의의 청구서가 결과 품질로 날아온다. ↩

  2. 증상이 꽤 특징적이다. 처음 수십 반복은 멀쩡히 내려가다가 갑자기 목적함수가 튀어 오르고 WW 나 HH 에 NaN 이 번진다. 이때 바닥값 ε\varepsilon 을 키우는 것으로 덮으면 증상만 가려지고, 진짜 원인은 지수 γ\gamma 를 안 씌운 것이다. 논문 식을 그대로 옮겨 적으면 대개 1≤β≤21\le\beta\le2 용 식이라는 점이 함정. ↩

  3. 그래서 이 계통 논문의 절반은 “우리 데이터에는 β = 0.5 가 가장 좋았다” 같은 문장으로 끝난다. 족 안의 임의의 실수를 고를 수 있으니 당연한 결말인데, 하이퍼파라미터 하나를 얻는 대신 “이 척도를 쓴 이유”라는 이야기의 절반을 잃는 거래이기도 하다. ↩