편향-분산 분해

통계 수치해석 마지막 수정: 2026-08-10 04:33:07

1. 개요[편집]

편향-분산 분해 Bias–Variance Decomposition
성립 조건	제곱오차 손실. 고정된 입력점 x₀
기댓값의 대상	훈련집합의 무작위성 + 새 관측의 잡음
세 항	편향² + 분산 + 기약오차 σ²
0-1 손실	이 형태로는 성립하지 않음
고전적 그림	복잡도에 대한 U자 곡선
반례	이중 하강 (Belkin 외 2019)

편향-분산 분해(bias–variance decomposition)는 예측기의 기대 제곱오차를, 참 함수에서 체계적으로 빗나간 몫(편향) · 훈련 데이터가 바뀔 때 예측이 출렁이는 몫(분산) · 어떤 모형으로도 줄일 수 없는 관측잡음(기약오차) 세 개의 합으로 쪼개는 항등식이다.

\mathbb{E}\big[(y_0 - \hat f(x_0))^2\big] = \underbrace{\big(f(x_0) - \mathbb{E}[\hat f(x_0)]\big)^2}_{\text{편향}^2} + \underbrace{\mathbb{E}\big[(\hat f(x_0) - \mathbb{E}[\hat f(x_0)])^2\big]}_{\text{분산}} + \sigma^2

한 줄 요약: 틀린 활을 정확히 쏘는 것과, 맞는 활을 부정확하게 쏘는 것은 다른 실패다.¹ 이 구분이 정규화·앙상블·모형 선택 전체를 관통하는 언어를 만들었다. 다만 이 문서에서 반복해서 강조할 것이 두 가지인데, 하나는 저 기댓값이 무엇에 대한 것인지가 거의 항상 잘못 이해된다는 것이고, 다른 하나는 이 깔끔한 가법 형태가 제곱오차에서만 성립한다는 것이다.

2. 유도[편집]

설정을 정확히 못 박는다. 참 함수 $f$ 에 대해 관측이

y = f(x) + \varepsilon, \qquad \mathbb{E}[\varepsilon] = 0,\quad \mathrm{Var}(\varepsilon) = \sigma^2

로 생성된다. 크기 $n$ 의 훈련집합 $\mathcal{D}$ 를 이 분포에서 뽑아 학습 절차에 넣으면 예측기 $\hat f_\mathcal{D}$ 가 나온다. 이제 평가점 $x_0$ 를 고정하고, 그 점에서의 새 관측 $y_0 = f(x_0)+\varepsilon_0$ 를 예측하는 오차를 본다. 기댓값은 $\mathcal{D}$ 와 $\varepsilon_0$ 양쪽에 대해 취하며, 둘은 독립이다.

\mathbb{E}_{\mathcal{D},\varepsilon_0}\big[(y_0 - \hat f_\mathcal{D}(x_0))^2\big] = \mathbb{E}\big[(\varepsilon_0 + f(x_0) - \hat f_\mathcal{D}(x_0))^2\big]

전개하면 교차항 $2\,\mathbb{E}[\varepsilon_0]\,\mathbb{E}[f(x_0)-\hat f_\mathcal{D}(x_0)]$ 이 나오는데, $\varepsilon_0$ 가 $\mathcal{D}$ 와 독립이고 평균 0이라 정확히 0이다. 남는 것은

= \sigma^2 + \mathbb{E}_\mathcal{D}\big[(f(x_0) - \hat f_\mathcal{D}(x_0))^2\big]

둘째 항에서 $\bar f(x_0) \equiv \mathbb{E}_\mathcal{D}[\hat f_\mathcal{D}(x_0)]$ 를 더하고 빼면

\mathbb{E}_\mathcal{D}\big[\big((f - \bar f) + (\bar f - \hat f_\mathcal{D})\big)^2\big] = (f - \bar f)^2 + \mathbb{E}_\mathcal{D}\big[(\hat f_\mathcal{D} - \bar f)^2\big]

이번에도 교차항이 $2(f-\bar f)\,\mathbb{E}_\mathcal{D}[\bar f - \hat f_\mathcal{D}] = 0$ 으로 사라진다( $\bar f$ 가 정의상 평균이니까). 개요의 식이 그대로 나온다.

유도 전체가 “더하고 빼고 교차항이 죽는다” 두 번이다. 그래서 이건 정리라기보다 항등식이고, 조건은 오직 (i) 손실이 제곱오차일 것, (ii) 잡음이 $\mathcal{D}$ 와 독립이고 평균 0일 것뿐이다. 세 항 중 기약오차 $\sigma^2$ 만이 학습 절차와 완전히 무관하다.² 뒤에서 볼 이중 하강 같은 현상이 이 식을 반증할 수는 없다. 반증되는 것은 언제나 식이 아니라 “복잡도가 커지면 분산이 커진다” 같은 그 위에 얹힌 경험칙이다.

3. 기댓값은 무엇에 대한 것인가[편집]

$\mathbb{E}_\mathcal{D}$ — 훈련집합에 대한 기댓값이다. 이게 이 분해에서 가장 자주 미끄러지는 지점이다.

“내 모형의 분산”이라는 말은 손에 든 그 모형에 대한 서술이 아니다. 같은 크기의 데이터를 같은 모집단에서 다시 뽑아 같은 절차를 다시 돌리기를 무한히 반복했을 때 예측이 얼마나 흩어지는가에 대한 서술이다. 그런데 우리 손에는 데이터셋이 하나뿐이고, 참 함수 $f$ 는 모른다. 그래서 편향과 분산은 원리적으로 계산 불가능한 양이고, 진짜로 계산하려면 시뮬레이션(참 $f$ 를 우리가 정하고 데이터를 여러 번 생성)을 돌리는 수밖에 없다.

현실의 대체재는 둘이다.

교차검증은 편향과 분산을 분리해 주지 않는다. 예측오차의 합계만 추정한다. 그리고 그 CV 값 자체도 “이 모형의 오차”보다 “이 절차의 평균 오차”에 가깝다 — 정확히 위 $\mathbb{E}_\mathcal{D}$ 와 같은 성격의 대상이다.
부트스트랩은 훈련집합 재추출을 흉내 내므로 $\mathbb{E}_\mathcal{D}$ 를 직접 근사한다. 재표본마다 모형을 다시 적합해 $x_0$ 에서의 예측 흩어짐을 보면 분산은 추정할 수 있다. 편향은 여전히 $f$ 를 모르기 때문에 안 된다. 그래서 실무 그림은 늘 반쪽이다.

정리하면 이렇다. 편향-분산 분해는 측정 도구가 아니라 사고 도구다. 숫자를 뽑으려고 쓰는 게 아니라, “이 모형이 실패하는 방식이 어느 쪽인지” 진단하고 처방을 고르는 데 쓴다.³

4. 무엇이 편향이고 무엇이 분산인가[편집]

전형적인 예를 보면 감이 잡힌다.

손잡이	한쪽 극단	반대쪽 극단
다항 차수 $d$	$d=0$ 상수 적합 — 편향 큼, 분산 0	$d=n-1$ 보간 — 편향 0, 분산 폭발
$k$ -최근접이웃의 $k$	$k=n$ 전체 평균 — 편향 큼	$k=1$ — 분산 최대, 분산 $\approx \sigma^2$
능형회귀의 $\lambda$	$\lambda\to\infty$ 계수 전부 0	$\lambda=0$ 최소자승
결정트리 깊이	그루터기 — 편향 큼	완전 성장 — 분산 큼

$k$ -NN은 특히 계산이 깔끔하다. 잡음이 등분산이면 분산항이 정확히 $\sigma^2/k$ 라 $k$ 를 키우면 분산이 $1/k$ 로 떨어지고, 대신 멀리 있는 이웃까지 평균에 끌어들이므로 편향이 커진다. 두 항의 합이 $k$ 에 대해 U자를 그린다 — 교과서의 그 그림이 여기서 나온다.

고전적 서사는 이 U자를 “복잡도”라는 하나의 축에 얹은 것이다. 복잡도를 올리면 편향은 단조 감소, 분산은 단조 증가, 시험오차는 U자, 최적점은 그 골짜기. 훈련오차만 보면 단조 감소라 최적점이 안 보이므로(과적합의 정의가 사실상 이 간극이다) 교차검증으로 골짜기를 찾는다. 여기까지가 20세기 통계학습의 표준 그림이고, 모형이 데이터에 비해 작을 때는 지금도 대체로 맞다.

5. 정규화는 편향을 사고 분산을 파는 거래[편집]

능형회귀가 이 거래의 교과서적 사례다. 벌점 $\lambda\|\beta\|_2^2$ 를 걸면 추정량이 불편성을 잃지만(편향 발생) 계수의 표본 변동성이 크게 줄어든다(분산 감소). 결정적인 사실은 $\lambda=0$ 에서 편향항이 $\lambda^2$ 차라 미분이 0인 반면 분산항의 미분은 음수라는 것 — $\lambda$ 를 0에서 아주 조금 키우면 총 MSE는 반드시 줄어든다(호를-케너드 존재 정리). 자세한 유도와 필터인자 해석은 능형회귀 문서에 있으니 여기서 반복하지 않는다.

라쏘도 같은 거래인데 통화가 다르다. 능형이 모든 계수를 조금씩 눌러 분산을 사는 반면 라쏘는 일부를 정확히 0으로 만들어 차원 자체를 줄여 분산을 산다. 대신 살아남은 계수에도 축소 편향이 그대로 남는 것이 라쏘의 고질병이다.

이 관점을 일반화하면 “축소 추정량” 전체가 같은 계보에 들어간다. 표본평균이라는 불편추정량이 3차원 이상에서 최적이 아니라는 제임스-스타인 추정량의 충격도, 편향을 사서 분산을 판 거래가 순이익이 날 수 있다는 이 문서의 주제와 정확히 같은 이야기다. 앙상블 쪽에서도 같은 축이 쓰인다 — 배깅은 분산을 겨냥하고 부스팅은 편향을 겨냥한다는 것이 두 계열을 가르는 가장 짧은 설명이고, 랜덤 포레스트의 분산 감소가 부트스트랩 재표본에서 나온다는 점이 두 문서를 잇는 다리다.

6. 0-1 손실에서는 성립하지 않는다[편집]

여기가 이 문서에서 가장 정직해야 할 대목이다. 분류의 오분류율(0-1 손실)에는 위와 같은 가법 분해가 없다.

이유는 유도를 보면 자명하다. 교차항이 사라진 것은 제곱오차의 이차형식 구조(전개하면 내적이 되는 성질) 덕이었고, 0-1 손실에는 그런 구조가 없다. 그래서 1990년대 중반 이후 서로 다른 여러 정의가 제안됐다 — 콩·디터리치(1995), 코하비·볼퍼트(1996), 브라이먼(1996), 프리드먼(1997), 도밍고스(2000), 제임스(2003)가 각각 다른 편향·분산을 정의했다. 정의가 여섯 개라는 사실 자체가 표준이 없다는 증거다.

도밍고스의 통합 분해가 그중 널리 인용되는데, 여기서는 예측 분포의 주 예측(main prediction) $y_m = \arg\min_{y'} \mathbb{E}_\mathcal{D}[L(\hat f_\mathcal{D}, y')]$ 을 중심으로 편향 $B = L(y^\ast, y_m)$ , 분산 $V = \mathbb{E}_\mathcal{D}[L(y_m, \hat f_\mathcal{D})]$ 을 정의한다. 제곱오차에서는 $y_m$ 이 평균이 되어 고전적 정의로 되돌아간다. 그런데 2클래스 0-1 손실에서는 분산 앞에 붙는 계수의 부호가 편향에 따라 뒤집힌다.

주 예측이 이미 맞는 경우( $B=0$ ): 분산은 오차를 키운다. 흔들릴수록 틀린 쪽으로 넘어간다.
주 예측이 이미 틀린 경우( $B=1$ ): 분산은 오차를 줄인다. 흔들려야 가끔 맞는 쪽으로 넘어간다.

즉 0-1 손실에서 분산은 음의 기여를 할 수 있다. “분산은 나쁜 것”이라는 직관이 여기서 깨진다. 프리드먼(1997)이 같은 현상을 결정경계 관점에서 지적했다 — 확률 추정이 엉망이어도 결정경계의 올바른 쪽에만 있으면 분류는 완벽하다. 나이브 베이즈가 독립 가정이 명백히 틀렸는데도 분류 성능이 멀쩡한 이유가 이것이고, 분류에서는 편향을 줄이는 것보다 분산을 줄이는 것이 훨씬 크게 이득인 경우가 흔한 이유이기도 하다.

실무 처방으로 옮기면: 회귀 직관을 분류에 그대로 이식하지 마라. “이 분류기는 분산이 커서 성능이 나쁘다” 같은 문장은 근거가 필요하고, 오분류율을 편향과 분산으로 쪼갠 막대그래프를 보고 있다면 그 그래프가 어느 정의를 썼는지 먼저 확인해야 한다. 확률 예측을 채점하는 브라이어 점수(제곱오차의 한 형태)나 로그 손실로 갈아타면 브레그만 발산 구조 덕에 다시 깔끔한 분해가 살아나므로, 분해를 꼭 보고 싶으면 손실을 바꾸는 것이 정공법이다.

7. 이중 하강 — U자가 끝이 아니었다[편집]

2018~2019년 무렵 고전적 그림에 정면으로 부딪히는 관찰이 정리됐다. 벨킨·수·마·만달(2019)의 이중 하강(double descent)이다.

가로축을 모형 크기로 두고 계속 오른쪽으로 밀면, 파라미터 수가 표본 수 $n$ 에 도달하는 보간 임계점(interpolation threshold)에서 시험오차가 뾰족한 봉우리를 만든다. 여기까지는 고전적 U자의 오른쪽 팔이다. 그런데 그 지점을 지나 과매개변수 영역으로 더 들어가면 시험오차가 다시 내려가고, 종종 고전적 U자의 골짜기보다도 낮아진다. 곡선이 봉우리 하나가 아니라 두 번 내려가는 모양이라 “이중 하강”이다.⁴

분해의 언어로 읽으면 이렇다.

임계점 직전에서는 훈련점을 정확히 지나는 해가 딱 하나뿐이고, 그 해는 설계행렬이 거의 특이해서 조건수가 폭발한 상태에서 얻어진다. 계수 노름이 터지고 분산이 폭발한다.
임계점을 넘으면 보간하는 해가 무수히 많아진다. 이제 어느 해가 선택되는지는 데이터가 아니라 학습 알고리즘의 암묵적 편향이 정한다. 최소제곱 계열의 경사법은 대체로 최소 노름 해를 고르고, 모형이 커질수록 그 최소 노름은 작아진다. 노름이 작아지니 분산이 다시 줄어든다.

즉 과매개변수 영역의 재하강은 편향이 더 줄어서가 아니라 분산이 되돌아 내려와서 생긴다. 심층망을 폭 방향으로 분해해 본 연구들도 같은 그림을 보고했다 — 폭이 커질수록 편향은 단조 감소하고, 분산은 임계점 부근에서 봉우리를 만드는 단봉 형태다.

몇 가지를 정직하게 덧붙여야 한다.

분해식이 틀린 것이 아니다. 항등식은 여전히 성립한다. 무너진 것은 “분산은 파라미터 수에 대해 단조 증가”라는 경험칙이다. 파라미터 수는 복잡도가 아니다.
재하강은 모형 크기에만 있는 게 아니다. 나키란 외(2020)는 학습 에폭에 대한 이중 하강, 그리고 표본 수를 늘리면 오히려 시험오차가 나빠지는 구간(sample-wise non-monotonicity)까지 보고했다. 데이터를 더 모으는 것이 항상 이득이라는 믿음마저 임계점 근방에서는 깨진다.
적절히 정규화하면 봉우리가 사라진다. 능형 벌점을 각 모형 크기마다 최적으로 조율하면 시험오차 곡선이 단조에 가까워진다는 결과가 있다. 이중 하강의 봉우리는 상당 부분 정규화 없이 보간을 강요당한 상태의 병리이고, 그렇다면 실무 교훈은 “무조건 크게 만들어라”가 아니라 “임계점 근처에 앉지 마라, 아니면 정규화를 걸어라”에 가깝다.

8. 관련 문서[편집]

“편향”이라는 단어가 통계에서 최소 세 가지로 쓰인다는 것도 혼란의 원인이다. 추정량의 편향( $\mathbb{E}[\hat\theta]-\theta$ ), 표본 추출의 편향(선택 편향), 그리고 기계학습의 귀납 편향(inductive bias). 마지막 것은 오히려 있어야 좋은 것이라 부호가 반대다. 논문에서 bias 를 볼 때마다 어느 쪽인지 한 번씩 확인하는 습관이 필요하다. ↩
기약오차 $\sigma^2$ 를 “어쩔 수 없는 것”이라고만 읽으면 안 된다. $\sigma^2$ 는 주어진 입력변수 집합에 대해 어쩔 수 없는 것이다. 센서를 하나 더 달아 $x$ 를 늘리면 그 값 자체가 줄어든다. 시험오차가 $\sigma^2$ 추정치 근처에서 평평해졌다면 모형을 더 만지는 대신 계측 계획을 다시 보는 게 맞다. ↩
편향-분산을 색색깔 막대로 그린 그림이 발표자료에 나오면 일단 “참 함수를 어떻게 아셨나요”를 물어보면 된다. 정답은 대개 “시뮬레이션이라 압니다”(정당함) 아니면 “그냥 그렸습니다”(정당하지 않음) 둘 중 하나다. ↩
이중 하강이 2019년에 “발견”된 것처럼 이야기되지만, 유사한 관찰은 1990년대 통계물리 기반 학습이론에도 있었다(Opper 등). 다만 그때는 신경망이 그만큼 커지지 않아 실무적 관심을 못 끌었다. 학계에서 20년 먼저 나온 결과가 하드웨어가 따라잡은 뒤 재발견되는 일은 이 바닥의 국룰에 가깝다. ↩