로버스트 통계

통계 수치해석 마지막 수정: 2026-08-29 04:41:09

1. 개요[편집]

데이터 1000개로 정성껏 적합했는데, 소수점을 하나 잘못 찍은 관측 한 개가 직선을 통째로 끌고 간다. 최소제곱은 이럴 때 아무 저항도 하지 않는다.

로버스트 통계(robust statistics, 강건 통계)는 가정한 확률모형에서 데이터가 조금 벗어나더라도 — 특히 소수의 이탈점(outlier)이 섞이더라도 — 추정 결과가 급격히 무너지지 않도록 설계하는 통계적 추정 이론이다. 「이상치를 눈으로 찾아 지운다」는 임기응변이 아니라, 오염된 분포 전체에 대해 최악의 성능을 미리 통제한다는 미니맥스적 설계 철학이다. 후버(Peter J. Huber)의 1964년 논문과 하펠(Frank Hampel)의 영향함수 이론(1968·1974), 루소(Peter Rousseeuw)의 고붕괴점 회귀(1984)가 세 기둥이다.

출발점은 불편한 사실 하나다. 최소자승법은 오차가 등분산 정규분포일 때 최적이다 — 가우스-마르코프 정리로 최량선형불편추정량이고, 정규 가정 아래서는 최대우도추정과 일치한다. 문제는 그 최적성이 가정에 극도로 민감하다는 것. 잔차를 제곱하는 목적함수는 잔차가 커질수록 영향력을 무한히 키우므로, 꼬리가 조금만 두꺼워져도 최적성이 사라지고 극단값 하나가 적합을 지배한다.

투키(1960)의 계산이 이 사정을 극적으로 보여 준다. 표준정규에 표준편차 3배짜리 정규를 아주 조금 섞은 오염정규분포에서, 오염 비율이 1%에도 못 미치는 지점부터 이미 표준편차보다 평균절대편차가 더 효율적인 산포 척도가 된다. 「거의 정규분포」인 데이터에서 정규분포 최적 추정량이 이미 지고 있다는 뜻이다.¹

2. 붕괴점 — 몇 %까지 버티는가[편집]

붕괴점(breakdown point)은 추정량을 임의로 망가뜨리는 데 필요한 오염 비율의 최솟값이다. 유한표본 정의(도노호-후버)로는 「추정값을 무한대로 보낼 수 있는, 바꿔치기할 관측의 최소 개수 ÷ $n$ 」.

추정량	붕괴점	한마디
표본평균	$1/n \to 0$	관측 하나를 무한대로 보내면 평균도 따라간다
표본중앙값	50%	이론적 상한을 달성
$\alpha$ -절단평균	$\alpha$	자르는 만큼 정확히 번다
호지스-레만 추정량	약 29%	순위기반의 타협점
최소자승 회귀	$1/n \to 0$	지렛대점 하나면 끝
LMedS · LTS · S · MM 회귀	50%	계산이 비싼 대가

50%가 이론적 상한인 이유는 직관적이다. 오염이 절반을 넘으면 「어느 쪽이 참 모형이고 어느 쪽이 오염인지」가 원리적으로 정의되지 않는다. 데이터만 보고는 구별할 방법이 없다.

평균과 중앙값의 대비는 목적함수로 보면 더 선명하다. 평균은 $\sum(x_i-m)^2$ 을, 중앙값은 $\sum\lvert x_i-m\rvert$ 을 최소화한다. 제곱은 멀리 있는 점에 무한한 발언권을 주고, 절댓값은 「멀다」는 사실만 세고 「얼마나 먼지」는 무시한다. 로버스트성은 결국 극단값의 발언권을 깎는 일이다.

3. 영향함수 — 관측 하나가 얼마나 흔드는가[편집]

영향함수(influence function)는 붕괴점의 미시적 짝이다. 분포 $F$ 에 점 $x$ 짜리 오염을 $\varepsilon$ 만큼 섞었을 때 추정량 $T$ 가 얼마나 움직이는지의 미분:

\mathrm{IF}(x;T,F)\;=\;\lim_{\varepsilon\to0^+}\frac{T\bigl((1-\varepsilon)F+\varepsilon\delta_x\bigr)-T(F)}{\varepsilon}

평균의 영향함수는 $x-\mu$ — $x$ 에 대해 선형으로 무한히 커진다. 유계가 아니다.
중앙값의 영향함수는 부호함수에 비례 — 크기와 무관하게 유계다. 이탈점이 100이든 $10^6$ 이든 흔드는 양은 같다.

여기서 로버스트 추정량의 설계 원칙이 나온다. 영향함수를 유계로 만들어라. 최대 절댓값을 총오차민감도(gross-error sensitivity)라 하고, 이걸 유한하게 유지하면서 정규분포에서의 효율을 최대한 지키는 것이 로버스트 설계의 목표 함수다. 참고로 영향함수는 점근분산이 $\int \mathrm{IF}^2\,dF$ 로 나오기 때문에 효율 계산까지 한꺼번에 해 준다.

4. M-추정 — 손실함수를 바꾼다[편집]

M-추정(M-estimation, 최대우도형 추정)은 가장 널리 쓰이는 갈래다. 잔차 제곱합 대신 일반 손실 $\rho$ 를 쓴다.

\hat{\boldsymbol\theta}=\arg\min_{\boldsymbol\theta}\sum_i \rho\!\left(\frac{r_i(\boldsymbol\theta)}{\hat\sigma}\right), \qquad \sum_i \psi\!\left(\frac{r_i}{\hat\sigma}\right)\frac{\partial r_i}{\partial\boldsymbol\theta}=\mathbf 0, \quad \psi=\rho'

$\psi$ 가 곧 영향함수의 모양이므로, $\psi$ 를 유계로 잡는 것이 설계의 전부다. $\rho(r)=r^2/2$ 이면 $\psi(r)=r$ 로 무계 — 최소제곱이 왜 무너지는지가 여기 그대로 적혀 있다.

손실	$\psi(r)$ 의 성격	튜닝상수	특징
제곱(최소제곱)	$r$ , 무계	—	정규 가정 아래 최적, 이탈점에 즉사
후버	작은 $r$ 엔 $r$ , 큰 $r$ 엔 상수 $\pm k$	$k=1.345$	볼록! 국소최소가 없다
$\ell_1$ (최소절대편차)	부호함수	—	0에서 미분 불가, 효율 낮음
코시	$r/(1+(r/c)^2)$	$c=2.385$	서서히 감쇠, 완전히 죽지는 않음
투키 바이웨이트	$\lvert r\rvert>c$ 에서 정확히 0	$c=4.685$	재하강형, 이탈점을 완전히 배제

후버 손실은 원점 근처에서 이차, 바깥에서 선형이다.

\rho_k(r)=\begin{cases} \tfrac12 r^2, & \lvert r\rvert\le k\\[2pt] k\lvert r\rvert-\tfrac12 k^2, & \lvert r\rvert> k\end{cases}

$k=1.345$ 는 정규분포에서 점근효율 95% 를 주는 값이다.² 즉 데이터가 진짜로 깨끗한 정규분포여도 손해가 5%뿐인데, 오염이 있으면 최소제곱보다 압도적으로 낫다. 이 「보험료 5%」가 후버 손실이 딥러닝의 smooth L1 손실까지 살아남은 이유다.

투키 바이웨이트는 한 걸음 더 나간다. $\psi$ 가 어느 지점을 넘으면 0으로 되돌아온다(재하강형, redescending). 충분히 멀리 있는 이탈점은 가중치가 정확히 0이 되어 적합에 아무 영향도 주지 못한다. 대신 $\rho$ 가 볼록이 아니라 국소최소가 생기고, 초기값이 나쁘면 엉뚱한 곳에 수렴한다. 그래서 실무는 「후버로 몸을 푼 뒤 바이웨이트로 마무리」하거나, 아예 RANSAC으로 초기값을 만든 뒤 바이웨이트를 거는 2단 구성을 쓴다.

4.1. IRLS — 어떻게 푸는가[편집]

M-추정의 정규방정식은 비선형이지만, 반복 재가중 최소제곱(IRLS)으로 놀랄 만큼 쉽게 풀린다. $w(r)=\psi(r)/r$ 로 두면 정규방정식이 가중최소제곱의 형태가 되기 때문이다.

초기 적합(대개 최소제곱 또는 $\ell_1$ )으로 잔차 $r_i$ 를 얻는다.
척도 $\hat\sigma$ 를 로버스트하게 추정한다(아래 MAD).
가중치 $w_i = \psi(r_i/\hat\sigma)/(r_i/\hat\sigma)$ 를 계산한다.
가중최소제곱 $\min\sum w_i r_i^2$ 을 푼다.
수렴할 때까지 2~4를 반복.

한 스텝이 그냥 가중최소제곱이므로 기존 최소자승법 코드를 거의 그대로 재활용할 수 있다. 후버처럼 볼록한 $\rho$ 에서는 전역해로 수렴하고, 재하강형에서는 초기값 의존성이 남는다. 가우스-뉴턴법이나 레벤버그-마쿼트 방법 안에 로버스트 손실을 넣는 것도 결국 같은 재가중이다.

4.2. 척도 추정 — MAD[편집]

$\rho$ 의 인자가 $r/\hat\sigma$ 인 이상, 척도 추정이 로버스트하지 않으면 전부 헛일이다. 표준편차는 붕괴점 0이라 쓸 수 없다. 표준 처방은 중앙값 절대편차(MAD):

\mathrm{MAD}=\operatorname{med}_i\bigl\lvert x_i-\operatorname{med}_j x_j\bigr\rvert, \qquad \hat\sigma = 1.4826\times\mathrm{MAD}

상수 $1.4826 = 1/\Phi^{-1}(0.75)$ 은 데이터가 정규분포일 때 $\hat\sigma$ 가 참 $\sigma$ 로 가도록 맞춘 일관성 보정이다.³ 붕괴점 50%, 계산은 정렬 두 번. 로버스트 파이프라인에서 가장 자주 쓰이는 한 줄이다. 정규분포에서의 효율이 37%로 낮은 것이 흠이라, 효율이 중요하면 로소-크루 $S_n$ · $Q_n$ 같은 대안을 쓴다.

5. 회귀의 함정 — 지렛대점[편집]

여기서 반드시 짚어야 할 것. 회귀에서 M-추정의 붕괴점은 50%가 아니다. 척도를 고정한 단조 $\psi$ 의 M-추정은 $y$ 방향 이탈점에는 강하지만, $x$ 방향으로 멀리 떨어진 관측(지렛대점, leverage point) 에는 사실상 무방비다. 지렛대점 하나가 적합을 자기 쪽으로 끌어당기면 그 점의 잔차는 오히려 작아지고, $\psi$ 가 유계라도 소용이 없다. 회귀 M-추정의 붕괴점은 지렛대점 앞에서 $1/n$ 으로 되돌아간다.

이 구멍을 메우는 것이 고붕괴점 회귀다.

LMedS(최소제곱중앙값, Rousseeuw 1984) — 잔차 제곱의 중앙값을 최소화한다. 붕괴점 50%, 임계값 같은 튜닝 파라미터가 없다는 것이 최대 장점. 단점은 수렴속도가 $n^{-1/3}$ 밖에 안 돼 정규분포에서의 점근효율이 사실상 0이라는 것. 그래서 최종 추정기가 아니라 좋은 초기값 생성기로 쓰고 뒤에 가중최소제곱을 붙인다.
LTS(절단최소제곱) — 잔차 제곱을 정렬해 작은 것 $h$ 개만 더한다. $h\approx n/2$ 로 잡으면 붕괴점 50%이면서 수렴속도가 $n^{-1/2}$ 로 회복돼 LMedS보다 효율이 낫다. 「이탈점을 자동으로 골라 버리는 최소제곱」이라는 해석이 직관적이라 실무에서 인기가 많다. 정확한 해는 조합 폭발이지만, 부분집합에서 시작해 잔차 작은 $h$ 개로 갈아타기를 반복하는 C-스텝(FAST-LTS)이 실용적인 근사를 준다.
S-추정 · MM-추정 — S-추정은 잔차의 로버스트 척도 자체를 최소화해 50% 붕괴점을 얻고, MM-추정(Yohai 1987)은 그 S-해를 초기값으로 삼아 재하강형 M-스텝을 한 번 더 돌린다. 결과는 붕괴점 50% + 정규분포 효율 95% — 두 마리 토끼를 실제로 잡은 조합이라 오늘날 통계 패키지의 로버스트 회귀 기본값은 대개 MM이다.

다변량으로 넘어가면 같은 이야기가 공분산에서 반복된다. 표본공분산은 붕괴점 0이고, 그것으로 계산한 마할라노비스 거리는 이탈점 자신에 의해 오염되어 정작 그 이탈점을 못 잡는다(가림 효과, masking). 처방은 최소공분산행렬식(MCD) 같은 고붕괴점 산포 추정으로 갈아타는 것이고, 이것이 다변량 이상치 탐지의 표준 도구다.

6. 샘플링 기반 로버스트 추정[편집]

지금까지가 「모든 데이터를 쓰되 가중치를 깎는」 접근이라면, 정반대 전략이 있다. 모형을 결정하는 최소 개수의 표본만 무작위로 뽑아 모형을 세우고, 그 모형에 동의하는 관측 수를 세어 가장 많은 표를 받은 것을 고른다. 이것이 RANSAC이다. 오염 90%에서도 동작하는데, 50% 상한을 깬 것처럼 보이는 이유는 「이 잔차 안이면 내점」이라는 임계값 $t$ 라는 외부 정보를 추가로 받았기 때문이다. 공짜가 아니라 정보를 주고 산 것이며, 대가는 반복 횟수와 $t$ 에 대한 민감도다. 절차·반복 횟수 공식·변종 계보는 RANSAC 문서에 있고, 실무에서는 RANSAC으로 전역 탐색 → 로버스트 손실로 국소 정련이라는 2단 조합이 사실상 표준이다. 붕괴점 논의에서 LMedS·LTS와 RANSAC이 늘 같이 등장하는 이유도, 셋 다 「잔차 순서통계량으로 이탈점을 골라낸다」는 같은 뿌리를 공유하기 때문이다.

7. 시뮬레이션·비전에서의 쓰임[편집]

번들 조정과 SLAM. 재투영오차에 후버나 코시 손실을 씌우는 것이 기본값이다. 오대응 하나가 수천 개 카메라 자세를 흔드는 것을 막는다. 호모그래피·에피폴라 기하 추정의 마지막 정련도 마찬가지.
점군 정합. ICP의 점-점 거리에 로버스트 커널을 씌우거나 잔차 큰 대응을 절단하는 것이 부분 겹침 상황의 필수 처방이다. 겹치지 않는 부분의 대응은 전부 이탈점이기 때문.
딥러닝. smooth L1 / Huber 손실이 회귀 헤드의 국룰이 된 것은 라벨 잡음과 폭발적 그래디언트를 동시에 막기 때문이다. 확률적 경사하강법의 그래디언트 클리핑도 사실상 $\psi$ 를 유계로 만드는 같은 발상이다.
필터링과 신호처리. 칼만 필터는 가우시안 가정 위에 있어 이탈 관측 하나에 상태가 튄다. 혁신(innovation)에 카이제곱 게이팅을 걸거나 로버스트 갱신으로 바꾸는 변종이 실무에 널리 쓰인다. 영상의 소금-후추 잡음에 중앙값 필터를 쓰는 것도 결국 「국소 평균 대신 국소 중앙값」이라는 같은 이야기다.
정규화와의 구분. 능형회귀나 라쏘는 계수 쪽에 벌점을 주어 분산을 줄이는 것이고, 로버스트 통계는 잔차 쪽의 영향력을 깎는 것이다. 목적이 다르고 서로 배타적이지도 않아, 둘을 같이 쓰는 로버스트 라쏘 계열도 있다.

8. 쓸 때 밟는 지뢰[편집]

척도부터 로버스트하게. 표준편차로 정규화한 잔차로 후버 손실을 걸면 이탈점이 척도를 부풀려 자기 자신을 내점으로 만든다. MAD로 시작하는 것이 순서다.
재하강형은 초기값이 생명. 바이웨이트를 최소제곱 해에서 시작하면 이미 이탈점 쪽으로 끌려간 지점에서 출발하는 셈이라 회복하지 못할 수 있다.
이탈점을 지우고 최소제곱을 돌린 뒤 표준오차를 그대로 보고하지 않는다. 데이터를 보고 고른 부분집합에 대한 고전 추론은 유의성을 과대평가한다. 신뢰구간이 필요하면 부트스트랩을 쓰는 편이 정직하다.
이탈점은 오류가 아닐 수도 있다. 로버스트 추정은 이탈점을 찾아 주는 도구이기도 하다. 잔차가 큰 관측을 자동으로 버리고 끝내지 말고, 그것이 센서 고장인지 진짜 드문 현상인지 확인하는 단계를 남겨 둬야 한다. 오존층 구멍 데이터가 한동안 자동 이상치 제거에 걸려 버려졌다는 유명한 일화가 있다.⁴
50%를 넘겼다고 안심하지 않는다. 붕괴점은 최악의 경우에 대한 보증일 뿐, 오염이 구조적으로 뭉쳐 있으면(예: 지배적인 평면, 반복 패턴) 「그럴듯한 오답」이 높은 점수를 받는다. 이건 붕괴점이 아니라 축퇴 문제라 별도의 검사가 필요하다.

9. 관련 문서[편집]

RANSAC · 최소자승법 · 최대우도추정
가우스-뉴턴법 · 레벤버그-마쿼트 방법 · 경사하강법 · 확률적 경사하강법
능형회귀 · 라쏘 · 부트스트랩 · 몬테카를로 방법
호모그래피 · 에피폴라 기하 · 점군 정합 · 칼만 필터
마할라노비스 거리 · 이상치 탐지 · 중앙값 필터

Tukey, J. W. (1960). “A Survey of Sampling from Contaminated Distributions.” 흔히 「1%도 안 되는 오염이면 이미 표준편차가 진다」로 인용된다. 정확한 교차점은 오염 성분의 분산을 어떻게 잡느냐에 따라 달라지지만, 어느 설정에서든 놀랄 만큼 작은 오염에서 역전이 일어난다는 결론은 같다. 「우리 데이터는 대충 정규분포예요」라는 문장이 얼마나 위험한지에 대한 통계학의 공식 답변. ↩
「점근효율 95%」는 「정규분포에서 최소제곱 대비 분산이 1/0.95배」라는 뜻이다. 표본 수로 환산하면 데이터를 5% 더 모으면 따라잡는 손해다. 이탈점 하나에 적합이 통째로 날아갈 위험을 5%의 보험료로 막는 거래인데, 이걸 아까워하는 사람이 아직도 많다. ↩
1.4826 이라는 숫자가 어디서 왔는지 모른 채 복붙하는 사람이 많은데, $\Phi^{-1}(0.75)=0.6745$ 의 역수다. 정규분포에서 중앙값 절대편차가 $0.6745\sigma$ 이므로 그만큼 되돌려 놓는 것. 데이터가 정규분포가 아니면 이 보정은 애초에 의미가 없으니, 「로버스트하게 하려고 쓰는 도구의 상수가 정규분포에서 유도됐다」는 아이러니는 그냥 받아들이는 수밖에 없다. ↩
남극 오존층 감소가 위성 데이터에서 늦게 발견된 배경에 자동 품질관리가 극단적으로 낮은 값을 기기 오류로 걸러 냈다는 이야기가 널리 회자된다. 세부 사정에는 이견이 있지만 교훈은 명확하다 — 이상치 자동 제거는 발견을 자동 제거하는 기능이기도 하다. 로버스트 추정의 출력에서 「버려진 점 목록」은 부산물이 아니라 본체다. ↩