제임스-스타인 추정량

통계 수치해석 마지막 수정: 2026-08-11 04:14:08

1. 개요[편집]

제임스-스타인 추정량 James–Stein Estimator
발견	C. Stein (1956, 비허용성) · W. James & C. Stein (1961, 명시적 형태)
대상	X ~ N(θ, σ²I_p) 의 평균 θ
추정량	θ̂ = (1 − (p−2)σ²/‖X‖²) X
성립 조건	p ≥ 3, 손실은 총 제곱오차
핵심 주장	모든 θ 에서 표본평균보다 총 위험이 작다 (dominance)
도구	스타인 항등식 · SURE · 경험적 베이즈

제임스-스타인 추정량은 $X \sim N(\boldsymbol\theta,\ \sigma^2 I_p)$ 에서 평균 벡터 $\boldsymbol\theta$ 를 추정할 때, 관측값을 원점 쪽으로 데이터에 따라 축소한

\hat{\boldsymbol\theta}_{\mathrm{JS}} = \left(1 - \frac{(p-2)\sigma^{2}}{\|X\|^{2}}\right) X

로 정의되는 추정량이며, 차원 $p \ge 3$ 이면 모든 $\boldsymbol\theta$ 에 대해 총 제곱오차 위험이 표본평균(= 최대우도추정량)보다 작다. 예외 없이, 균일하게, 항상. 이 사실을 스타인의 역설(Stein’s paradox)이라 부른다.

역설이라 불리는 이유는 결론이 상식과 정면충돌하기 때문이다. 표본평균은 불편이고, 최소분산 불편추정량이고, 크라메르-라오 하한을 좌표마다 정확히 달성하고, 미니맥스이고, 온갖 불변성 요구를 만족한다. 그런데도 비허용적(inadmissible)이다 — 즉 “어느 모수값에서도 나보다 나쁘지 않고 어딘가에서는 확실히 더 좋은” 다른 추정량이 존재한다. 200년 가까이 통계학의 기본기였던 “정규분포 평균은 표본평균으로 추정한다”가 3차원부터 최적이 아니라는 것.¹

여기서 위험(risk)은 총 제곱오차의 기댓값이다.

R(\boldsymbol\theta, \hat{\boldsymbol\theta}) = \mathbb{E}_{\boldsymbol\theta}\big\|\hat{\boldsymbol\theta} - \boldsymbol\theta\big\|_2^{2} = \sum_{i=1}^{p}\mathbb{E}\big[(\hat\theta_i - \theta_i)^2\big]

“총”이라는 글자가 이 문서의 절반이다. 좋아지는 것은 $p$ 개 성분을 합친 값이지, 성분 하나하나가 아니다. 이 단서를 빼고 스타인의 역설을 소개하면 반드시 사고가 난다.

2. 1956년의 사고[편집]

스타인은 1956년 제3회 버클리 심포지엄에서 $p \ge 3$ 일 때 표본평균이 비허용적임을 증명했다. 존재 증명뿐이었고 이기는 추정량의 모양은 없었다. 5년 뒤 윌러드 제임스와 함께 위의 명시적 공식을 내놓으면서 이야기가 끝났다.

차원별로 사정이 다르다는 점이 이 결과의 가장 이상한 부분이다.

$p = 1$ : 표본평균은 허용적이다(Blyth, 1951).
$p = 2$ : 여전히 허용적이다.
$p \ge 3$ : 비허용적. 그리고 그 경계는 부드럽게 넘어가는 것이 아니라 뚝 끊긴다.

브라운(1971)은 이 3이라는 숫자가 어디서 오는지에 대한 가장 만족스러운 설명을 내놓았다. 위치모수 추정량의 허용성 문제가 어떤 확산과정의 재귀성 문제와 등가인데, 브라운 운동은 1·2차원에서 재귀적이고 3차원 이상에서 과도적(transient)이다. 술 취한 사람은 언젠가 집에 돌아오지만 술 취한 새는 못 돌아온다는 그 정리와, “3차원부터 표본평균이 진다”가 같은 사실의 두 얼굴이라는 뜻이다. 통계학의 결론이 확률과정의 위상적 성질에 걸려 있다는 것을 알고 나면 $p\ge3$ 조건이 덜 임의적으로 보인다.²

3. 위험 계산 — 스타인 항등식과 SURE[편집]

증명의 핵심 도구는 스타인 항등식(Stein’s lemma)이다. $X \sim N(\theta,\sigma^2)$ 이고 $g$ 가 적당히 매끄러우면

\mathbb{E}\big[g(X)\,(X-\theta)\big] = \sigma^{2}\,\mathbb{E}\big[g'(X)\big]

가 성립한다. 정규밀도의 미분이 $-(x-\theta)/\sigma^2$ 배라는 사실에 부분적분을 한 번 하면 나온다. 이 항등식의 힘은 우변에 모르는 $\theta$ 가 없다는 데 있다.

추정량을 $\hat{\boldsymbol\theta} = X + g(X)$ 로 쓰고 다변수 버전을 적용하면 위험이 통째로 관측 가능한 양의 기댓값이 된다.

R(\boldsymbol\theta, X + g) = p\sigma^{2} + \mathbb{E}\Big[\|g(X)\|^{2} + 2\sigma^{2}\,\nabla\!\cdot\! g(X)\Big]

대괄호 안이 위험의 불편추정량이고, 이것이 스타인의 비편향 위험 추정(SURE, Stein’s Unbiased Risk Estimate)이다. 참값을 몰라도 위험을 추정할 수 있다는 것 — 튜닝 파라미터를 고르는 도구로서의 위력이 여기서 나온다.

이제 $g(X) = -c\,\sigma^{2} X/\|X\|^{2}$ 를 넣어 보자. $\nabla\cdot(X/\|X\|^2) = (p-2)/\|X\|^2$ 이므로

R = p\sigma^{2} + \sigma^{4}\big(c^{2} - 2c(p-2)\big)\,\mathbb{E}\!\left[\frac{1}{\|X\|^{2}}\right]

괄호 안은 $c$ 에 대한 위로 볼록한 포물선이고 $c = p-2$ 에서 최소가 된다. 그래서 계수가 $p-2$ 인 것이다. 대입하면

R(\boldsymbol\theta, \hat{\boldsymbol\theta}_{\mathrm{JS}}) = p\sigma^{2} - (p-2)^{2}\sigma^{4}\,\mathbb{E}\!\left[\frac{1}{\|X\|^{2}}\right] < p\sigma^{2}

이며 우변의 감산항은 $p \ge 3$ 인 한 항상 양수다. 여기서 $\|X\|^2/\sigma^2$ 은 자유도 $p$ , 비중심모수 $\|\boldsymbol\theta\|^2/\sigma^2$ 인 비중심 카이제곱을 따른다. $\boldsymbol\theta = 0$ 이면 $\mathbb{E}[1/\|X\|^2] = 1/((p-2)\sigma^2)$ 이라 위험이 ** $2\sigma^2$ **로 떨어진다 — 차원이 1000이든 100만이든 위험은 2다. 반대로 $\|\boldsymbol\theta\|$ 가 커지면 감산항이 0으로 가고 위험은 $p\sigma^2$ 에 위에서 접근한다. 즉 이득은 원점(정확히는 축소 목표점) 근처에서 폭발적이고, 멀리 가면 사라지되 손해로 넘어가지는 않는다.

$p-2$ 라는 계수도 눈에 띄어야 한다. $p=2$ 면 축소량이 0이 되어 그냥 $X$ 이고, $p=1$ 이면 부호가 뒤집혀 원점에서 멀어지는 방향으로 늘린다. 공식 자체가 차원 3에서 켜진다.

4. 양수부 변형과 끝나지 않는 계단[편집]

$\|X\|^2 < (p-2)\sigma^2$ 이면 축소 계수 $1-(p-2)\sigma^2/\|X\|^2$ 가 음수가 된다. 관측 벡터를 원점 너머로 뒤집어 버린다는 뜻인데, 아무리 봐도 이건 아니다. 그래서 음수를 잘라낸

\hat{\boldsymbol\theta}_{\mathrm{JS}+} = \left(1 - \frac{(p-2)\sigma^{2}}{\|X\|^{2}}\right)_{\!+} X

를 쓴다(양수부 제임스-스타인, Baranchik 1964). 이 변형은 원래 JS를 또 지배한다 — 즉 원조 제임스-스타인 추정량도 비허용적이다.

그런데 양수부 버전 역시 비허용적이다. $\|X\|^2$ 근처에서 축소 계수가 꺾이는 지점의 비매끄러움 때문에 조금 더 다듬을 여지가 남는다. 결국 “이기는 추정량”을 찾는 계단은 계속 올라가고, 실제로 스트로더먼(1971)은 $p \ge 5$ 에서 진짜 사전분포를 갖는(proper Bayes) 미니맥스 추정량을 구성해 냈다. 진짜 베이즈 추정량은 일반적으로 허용적이므로 이쪽이 계단의 끝에 가깝다. 실무에서는 그냥 양수부 버전을 쓴다 — 남은 개선폭이 이론적 관심사 수준이라서다.

축소 목표를 원점이 아니라 임의의 고정점 $\boldsymbol\nu$ 로 바꿔도 결과는 그대로다( $\|X\|$ 를 $\|X-\boldsymbol\nu\|$ 로 바꾸면 된다). 목표를 데이터로 정한 전체 평균 $\bar X$ 로 잡는 실전판도 있는데, 이때는 평균을 추정하느라 자유도 하나를 쓰므로 계수가 $p-3$ 이 되고 $p \ge 4$ 가 필요하다. 이 버전이 실제로 가장 많이 쓰인다.

5. 왜 하필 저 축소량인가 — 경험적 베이즈[편집]

공식이 하늘에서 떨어진 것처럼 보이지만, 경험적 베이즈로 읽으면 필연이다. $\theta_i \sim N(0,\tau^2)$ 라는 사전분포를 가정하면 사후평균은

\mathbb{E}[\theta_i \mid X_i] = \left(1 - \frac{\sigma^{2}}{\sigma^{2}+\tau^{2}}\right) X_i

로 정확히 축소 꼴이다. 문제는 $\tau^2$ 를 모른다는 것. 그런데 주변분포가 $X \sim N(0,(\sigma^2+\tau^2)I_p)$ 이므로 $\mathbb{E}[(p-2)/\|X\|^2] = 1/(\sigma^2+\tau^2)$ 이고, 따라서

\frac{(p-2)\sigma^{2}}{\|X\|^{2}} \quad\text{은}\quad \frac{\sigma^{2}}{\sigma^{2}+\tau^{2}} \quad\text{의 불편추정량}

이다. 제임스-스타인 추정량은 사전분산을 데이터로 추정해 끼워 넣은 베이즈 추정량일 뿐이다. 이 해석은 베이지안 최적화나 가우시안 프로세스에서 초모수를 주변우도로 정하는 관행과 같은 계보에 있고, 오늘날 계층 모형이 하는 “정보 빌려오기”(borrowing strength)의 원형이다.

그리고 이 관점이 $p \ge 3$ 의 의미도 설명한다. 사전분산 하나를 데이터에서 건져내려면 관측이 여러 개 필요하고, 그 최소 개수가 3이다. 좌표가 두 개뿐이면 빌려올 이웃이 부족해서 축소가 공짜가 되지 않는다.

6. 야구 타율, 그리고 밀 가격과 별의 밝기[편집]

에프론과 모리스(1975, 1977)가 든 예시가 이 주제를 대중적으로 유명하게 만들었다. 1970년 시즌 초반 45타석만 본 메이저리그 타자 18명의 타율로 시즌 최종 타율을 예측했더니, 각자의 초반 타율(= 각자의 MLE)을 쓰는 것보다 전체 평균 쪽으로 축소한 값이 총 제곱오차를 여러 배 줄였다. 초반 45타석의 타율은 잡음이 커서 4할 타자와 1할 타자가 마구 나오는데, 그런 극단값이 시즌 끝까지 유지될 리 없다는 상식을 축소가 자동으로 구현해 주는 것이다. 야구 팬이 직관적으로 아는 “평균 회귀”를 정리로 만든 셈.

여기까지는 납득이 된다. 진짜 충격은 그다음이다. 축소되는 양들이 서로 아무 관계가 없어도 정리는 그대로 성립한다. 밀 가격, 대만의 강수량, 어떤 별의 밝기를 각각 한 번씩 측정했다면, 셋을 한 벡터로 묶어 함께 축소하는 것이 각각 따로 추정하는 것보다 총 제곱오차가 작다.³ 물리적 연결고리가 전혀 없는데도 그렇다. 처음 듣는 사람이 “이건 뭔가 사기인데”라고 반응하는 것이 정상적인 반응이다.

사기가 아닌 이유는 이렇다. 축소가 이용하는 것은 대상들 사이의 실제 상관이 아니라 $\|X\|^2$ 이라는 하나의 숫자에 담긴 정보다. 관측 벡터의 길이가 예상보다 짧으면 참 평균들이 원점 근처에 몰려 있다는 증거이고, 그러면 축소를 많이 해도 안전하다. 관측 길이가 길면 축소를 적게 한다. $p$ 가 클수록 $\|X\|^2$ 이 잡음 수준을 정확하게 알려 주기 때문에, 고차원일수록 이 장사가 더 잘된다. 차원의 저주가 아니라 차원의 축복인 드문 사례.

7. 정직한 단서 — 총합만 준다[편집]

논문 밖에서 이 결과를 쓰려면 반드시 붙여야 하는 조건들이 있다.

좋아지는 것은 합계다. 참 평균 하나가 유독 크고 나머지가 0 근처면, 그 큰 성분의 개별 위험은 $\sigma^2$ 를 넘길 수 있다. 총합은 여전히 줄지만, 그 성분만 담당하는 사람에게는 명백한 손해다. 18명 타자의 총오차가 줄어도, 그중 유독 진짜 4할을 치던 타자 한 명의 예측은 축소 때문에 더 나빠진다.
손실함수를 바꾸면 결론이 바뀐다. 정리는 총 제곱오차에 묶여 있다. 성분별로 따로 결정을 내려야 하거나 최댓값 오차가 중요하거나 하면 이 지배관계는 보장되지 않는다.
모형이 등분산 정규라는 가정이 세다. 분산이 성분마다 다르거나 상관이 있으면 $\|X\|^2$ 자리에 적절한 마할라노비스 노름이 들어가야 하고, $\sigma^2$ 를 모르면 자유도가 $m$ 인 독립 추정량 $\hat\sigma^2$ 을 써서 계수를 $(p-2)/(m+2)$ 배로 조정해야 한다.
축소 목표를 잘못 잡으면 이득이 사라진다. 지배관계 자체는 목표점과 무관하게 성립하지만, 실질적 이득은 참값이 목표 근처에 있을 때만 크다. 목표를 엉뚱한 곳에 두면 “손해는 안 보지만 이득도 없는” 추정량이 된다.

그래서 요약하면 이렇다. 공짜 점심은 맞는데, 메뉴는 총합이고 인원은 3명 이상부터다.

8. 계보 — 능형회귀에서 웨이블릿까지[편집]

능형회귀: 직교 설계에서 능형은 모든 계수에 같은 비율을 곱하는 축소인데, 그 비율을 데이터로 정하면 제임스-스타인과 사실상 같은 물건이 된다. 다만 능형은 $\lambda$ 를 고정하면 최소자승을 균일하게 이기지 못한다 — JS의 지배관계는 축소량을 데이터가 정하기 때문에 성립하는 것이다.
SURE에 의한 튜닝: 위험의 불편추정량을 만들 수 있다는 스타인의 아이디어는 그 자체로 살아남았다. 도노호와 존스톤의 SureShrink(1995)는 웨이블릿 변환 계수에 소프트 임계를 걸 때 임계값을 SURE 최소화로 고른다. 교차검증이 데이터를 쪼개서 위험을 추정한다면, SURE는 한 번의 적합에서 해석적으로 추정한다. 절단 특이값 분해의 최적 절단 위치나 딥러닝의 SURE 기반 잡음제거 학습에서도 같은 항등식이 돌아간다.
라쏘와 소프트 임계: JS는 벡터 전체를 한 계수로 줄이는 블록 축소이고, 소프트 임계는 좌표별로 줄이면서 작은 것은 0으로 만드는 축소다. 후자는 희소성까지 얻지만 지배 정리가 그대로 딸려 오지는 않는다. 두 계열의 중간에 성분들을 그룹으로 묶어 블록 단위로 축소하는 방법들이 있고, 그룹 라쏘와 JS는 거기서 만난다.
계층 모형과 부분 풀링: 오늘날 다지역·다센터 실험 데이터를 다룰 때 쓰는 계층 베이즈 모형의 부분 풀링(partial pooling)은 제임스-스타인의 완전 베이즈 버전이다. 변분 추론이나 마르코프 연쇄 몬테카를로로 계층 모형을 돌릴 때 나오는 축소량이, 단순한 경우에는 위의 공식으로 정확히 붕괴한다.

시뮬레이션·불확실성 정량화 하는 사람에게 이 문서가 남기는 실용적 교훈은 하나다. 여러 개를 동시에 추정할 때, 각각을 따로 최적으로 추정하는 것은 전체로서 최적이 아니다. 재료 물성 계수 200개, 격자별 잡음 파라미터, 다중 케이스의 보정 상수 — 이런 걸 하나씩 독립적으로 피팅하고 있다면 총 오차 기준으로는 이미 지고 들어가는 중이다.

9. 관련 문서[편집]

학계 반응은 “설마”에서 시작해 “계산이 틀렸겠지”를 거쳐 “그럼 지금까지 우리가 뭘 한 거지”로 갔다. 지금도 대학원 수업에서 이 정리를 처음 배운 학생의 표정은 대체로 같다. 참고로 스타인 본인은 이 결과를 자기 인생 최고의 업적으로 꼽지 않았다고 전해진다. ↩
“술 취한 사람은 집에 돌아오지만 술 취한 새는 영원히 헤맨다”는 시즈오 카쿠타니의 표현이다. 통계학 정리를 설명하는 데 만취한 조류가 동원되는 것이 이 바닥의 매력. ↩
이 조합(밀 가격·대만 강수량·별의 밝기)은 에프론-모리스가 실제로 든 예시에서 유래한 관용구다. 세미나에서 이 말을 들은 사람은 대체로 “그럼 우리 부서 KPI 세 개도 같이 축소하면 되나요”라고 묻는데, 답은 “총합으로 평가받는다면 예”다. ↩