아카이케 정보기준

통계 수치해석 마지막 수정: 2026-08-12 04:13:41

1. 개요[편집]

아카이케 정보기준 Akaike Information Criterion
약칭	AIC
정의	AIC = −2 log L̂ + 2k
제안	赤池弘次 (Akaike, 1973 · 1974)
추정 대상	참분포와의 기대 KL 발산 (상수 차이)
2k의 정체	같은 자료로 적합하고 채점해서 생긴 낙관 편향의 보정항
성격	효율성 지향 — 참모형 식별이 목적이 아니다
점근 동치	하나 빼기 교차검증 (Stone 1977)

아카이케 정보기준(Akaike Information Criterion, AIC)은 적합된 모형의 최대 로그가능도에 모수 개수만큼의 벌점을 더해 예측 관점의 모형 우열을 매기는 척도로, 다음 한 줄이 전부다.

\mathrm{AIC} = -2\log L(\hat\theta) + 2k

$L(\hat\theta)$ 는 최대우도추정으로 얻은 최대가능도, $k$ 는 추정한 모수의 총 개수다. 값이 작을수록 좋다.

“복잡한 모형에 벌점을 주는 상식적 장치” 정도로 소개되는 일이 많지만, 그 상식이 왜 하필 계수 $2$ 이고 왜 하필 $k$ 인지가 이 문서의 전부다. 답은 AIC가 어림짐작이 아니라 편향보정 추정량이라는 데 있다. 아카이케 히로츠구는 1973년 논문에서 로그가능도를 쿨백-라이블러 발산의 표본판으로 읽으면 최대우도추정 자체가 “정보량을 최대화하는 절차”로 해석된다는 것을 보이고, 그 해석 위에서 자연스럽게 나오는 벌점을 유도했다.¹

2. 2k는 어디서 왔는가[편집]

목표는 자료를 만든 참분포 $g$ 와 적합된 모형 $f(\cdot\,;\hat\theta)$ 사이의 거리를 재는 것이다. KL 발산을 펼치면

D_{\mathrm{KL}}\big(g \,\|\, f(\cdot;\hat\theta)\big) = \underbrace{\int g\log g}_{\text{모형과 무관}} \; - \; \int g(x)\log f(x;\hat\theta)\,dx

첫 항은 모형이 뭐든 같은 상수라 순위에 영향이 없다. 그러니 실제로 최대화하고 싶은 것은 두 번째 항, 즉 새 자료에 대한 기대 로그가능도다.

\eta(\hat\theta) = \mathbb{E}_{x\sim g}\big[\log f(x;\hat\theta)\big]

문제는 $g$ 를 모른다는 것. 손에 있는 자연스러운 대체품은 훈련자료에서 계산한 $\tfrac1n\log L(\hat\theta)$ 인데, $\hat\theta$ 를 바로 그 자료에 맞춰 뽑았기 때문에 이 값은 체계적으로 낙관적이다. 시험 문제를 본 사람이 그 시험을 치는 셈이라, 성적이 실력보다 높게 나온다. 아카이케의 계산은 그 낙관의 크기를 점근적으로 재는 것이었고, 결론은

\mathbb{E}\Big[\log L(\hat\theta) - n\,\eta(\hat\theta)\Big] \;\approx\; k

편향이 정확히 모수 개수만큼이라는 것이다. 직관적으로는, 적합할 때 각 모수가 자료의 잡음을 평균 $\tfrac12$ 씩 빨아들여 로그가능도를 부풀리고(합 $k/2$ ), 새 자료에서 그만큼 다시 손해를 보므로(또 $k/2$ ) 왕복 $k$ 가 된다. 여기에 $-2$ 를 곱해 이탈도(deviance) 눈금으로 옮기면 벌점은 $2k$ 가 된다.

좀 더 정직하게 쓰면 편향은 $\operatorname{tr}(J^{-1}K)$ 이다. $J$ 는 로그가능도 헤세의 기댓값(관측정보 쪽), $K$ 는 스코어의 외적 기댓값이다. 모형이 참을 포함하면 피셔 정보 항등식으로 $J = K$ 가 되어 대각합이 $k$ 로 떨어진다. 그 가정을 빼고 $\hat J, \hat K$ 를 자료로 추정해 그대로 쓰는 것이 TIC(Takeuchi 1976)이며, AIC는 TIC의 특수한 경우다. 실무에서 TIC가 잘 안 쓰이는 이유는 이론이 틀려서가 아니라 $\hat K$ 의 추정 잡음이 커서 보정이 오히려 흔들리기 때문이다.

3. 쓸 때 실제로 틀리는 것들[편집]

$k$ 에 분산도 센다. 정규 오차 회귀에서 절편 포함 회귀계수가 $p$ 개면 $k = p+1$ 이다. $\sigma^2$ 도 자료로 추정한 모수다. 이걸 빼먹고 모형끼리 비교하면, 마침 모든 모형이 같은 만큼 틀려서 순위가 안 바뀌는 행운이 자주 따르지만 AICc로 가는 순간 어긋난다.
로그가능도의 상수항을 버리지 마라. 소프트웨어가 “가능도”라고 부르는 값이 $-\tfrac{n}{2}\log(2\pi)$ 같은 항을 생략했는지 확인해야 한다. 같은 자료·같은 반응변수라면 상수는 상쇄되지만, 분포족을 바꿔 비교하는 순간(정규 대 감마) 상쇄되지 않는다.
반응변수를 바꾼 모형끼리는 비교 금지. $y$ 의 모형과 $\log y$ 의 모형은 밀도의 눈금이 달라서, 야코비안 $\sum\log|dy/d(\log y)|$ 을 넣어 눈금을 맞추기 전에는 AIC 값이 애초에 같은 축 위에 있지 않다.
AIC 값 자체는 의미가 없다. $-2\log L$ 에 남아 있는 임의 상수 때문에 절댓값은 소프트웨어마다도 다를 수 있다. 의미가 있는 것은 같은 자료 위 모형들 간의 차이뿐이다.

정규 오차 선형회귀에서 $\sigma^2$ 이 알려져 있으면 AIC는 말로스의 $C_p$ 와 같은 순위를 준다. $C_p = \mathrm{RSS}/\sigma^2 + 2p - n$ 이 바로 $-2\log L + 2p$ 를 상수만큼 옮긴 것이기 때문이다. 능형회귀나 라쏘처럼 축소가 들어간 적합에 AIC를 쓰려면 $k$ 자리에 유효자유도를 넣어야 하고, 그 값이 무엇인지는 벌점 종류마다 따로 밝혀야 한다.

4. AICc — 소표본에서는 2k로 모자란다[편집]

편향 $\approx k$ 는 $n \to \infty$ 의 결과다. $n/k$ 가 작으면 실제 편향은 $k$ 보다 크고, AIC는 모형을 과하게 크게 고른다. 정규 오차 선형회귀에 대해 스기우라(1978)가 유한표본 보정을 유도했고 허비치와 차이(1989)가 시계열로 확장·보급한 것이 AICc다.

\mathrm{AICc} = \mathrm{AIC} + \frac{2k(k+1)}{n-k-1}

$n \to \infty$ 면 보정항이 0으로 가서 AIC와 같아진다. 반대로 $k$ 가 $n$ 에 가까워지면 보정항이 폭발해 사실상 그런 모형을 금지한다. 경험칙은 $n/k < 40$ 이면 AICc를 쓰라는 것이고, 어차피 큰 표본에서 손해가 없으니 그냥 항상 AICc를 쓰는 관행도 널리 퍼져 있다. 다만 이 보정식은 정규 오차 선형·자기회귀 모형에서 유도된 것이라, 로지스틱 회귀 같은 다른 일반화 선형 모형에 그대로 옮겨 쓰는 것은 관행이지 정리가 아니다.

5. AIC 대 BIC — 무엇을 참으로 가정하느냐[편집]

\mathrm{BIC} = -2\log L(\hat\theta) + k\log n

$n \ge 8$ 이면 $\log n > 2$ 이므로 BIC가 항상 더 세게 벌한다. “그러니 BIC가 보수적이다”라고만 정리하면 절반만 이해한 것이다. 둘은 애초에 다른 질문에 답하는 도구다.

	AIC	BIC
유도의 뿌리	기대 KL 발산의 편향보정	주변가능도의 라플라스 근사
세계관	참모형은 후보 목록에 없다(모두 근사다)	참모형이 후보 목록 안에 유한차원으로 있다
점근 성질	효율성 — 예측위험이 오라클 비율로 최적	일치성 — 참모형 선택확률 → 1
$n$ 이 커지면	모형이 같이 커진다	하나의 모형으로 수렴한다
잘 맞는 상황	예측·평활량 선택	물리적으로 참인 항이 존재하는 식별 문제

여기서 흔한 오해 하나. ” $n$ 이 크면 BIC가 참모형을 맞히니까 BIC가 낫다”는 말은 참모형이 후보 안에 있다는 가정을 몰래 쓴 것이다. 참이 무한차원이거나(실제 자연현상 대부분) 후보 밖이면 BIC의 일치성은 성립할 대상 자체가 없고, 그때는 AIC 쪽이 예측오차 면에서 오라클 비율을 달성한다(시바타 1980·1981).

더 중요한 것은 둘을 동시에 가질 수 없다는 사실이다. 양(Yang 2005)은 어떤 모형선택 절차도 일치성과 미니맥스 비율 최적성을 함께 만족할 수 없음을 증명했다. 그러니 “AIC냐 BIC냐”는 취향 다툼도 아니고 어느 쪽이 신형인지의 문제도 아니다. 예측을 원하는가, 식별을 원하는가를 먼저 정하는 문제다. 파생형인 베이즈 정보 기준의 유도 과정과 사전분포 의존성은 해당 문서로 넘긴다.

6. ΔAIC와 아카이케 가중치[편집]

AIC 값을 표에 그대로 적어놓고 “1위 모형”만 발표하는 것은 정보를 버리는 짓이다. 후보 집합의 최소값을 기준으로 잰 차이

\Delta_i = \mathrm{AIC}_i - \mathrm{AIC}_{\min}

를 쓰면 상수가 상쇄되어 해석이 편해진다. 번햄과 앤더슨이 정리한 경험칙은 $\Delta \le 2$ 면 상위 모형과 사실상 대등, $4 \sim 7$ 이면 지지가 상당히 약함, $>10$ 이면 사실상 배제인데 — 어디까지나 경험칙이지 검정의 임계값이 아니다.

여기에 지수를 씌워 정규화하면 아카이케 가중치가 된다.

w_i = \frac{\exp(-\Delta_i/2)}{\sum_{j} \exp(-\Delta_j/2)}

$\exp(-\Delta/2)$ 는 상대가능도 꼴이고, 정규화 후 값은 “후보 집합 안에서 $i$ 번 모형이 KL 최적일 상대적 증거”로 읽는다. 실무에서 유용한 쓰임은 순위 매기기보다 모형 평균화다. 관심 있는 예측량 $\hat\theta$ 에 대해 $\bar\theta = \sum_i w_i \hat\theta_i$ 로 섞으면, 하나만 고르고 나머지를 버릴 때 사라지는 “모형 선택 자체의 불확실성”을 일부 되살릴 수 있다.

주의할 함정도 뚜렷하다. $w_i$ 는 후보 집합에 무엇을 넣었느냐에 통째로 의존한다. 쓸모없는 모형을 20개 추가하면 1위의 가중치가 희석되고, 비슷한 모형을 복제해 넣으면 그 계열이 표를 나눠 가진다. 사후확률처럼 생겼지만 사후확률이 아니라는 점, 그리고 후보 집합이 나쁘면 그중 제일 나은 쓰레기를 자신 있게 1등으로 뽑아준다는 점을 잊으면 안 된다.²

7. 교차검증과의 관계[편집]

스톤(1977)은 AIC와 하나 빼기 교차검증(LOOCV)이 점근적으로 동치임을 보였다. 즉 둘은 경쟁 관계라기보다 같은 목표(표본 밖 로그가능도)를 향한 해석적 지름길과 계산적 정공법이다.

AIC는 편향의 크기를 이론으로 계산해 모형을 한 번만 적합한다. 대신 우도 모형이 옳고 정칙 조건이 성립한다는 가정을 쓴다.
교차검증은 가정을 거의 안 쓰고 $n$ 번(또는 $K$ 번) 적합한다. 대신 계산비를 낸다.

폴드 크기를 키우면(검증 비율을 1에 가깝게) CV는 BIC 쪽 성질로 옮겨간다(샤오 1997). 즉 “AIC 대 BIC”의 대립은 CV 안에서는 얼마나 크게 떼어놓고 채점하느냐로 번역된다. 이것이 이 두 계열을 함께 기억해야 하는 이유다.

계산비가 문제가 안 되면 CV가 대개 더 안전하다. 우도가 심하게 잘못 지정되었거나(과산포·상관오차) 모형이 축소·정규화를 포함하면, AIC의 $k$ 라는 숫자가 애초에 무엇을 세는지부터 불분명해지기 때문이다. 시계열·공간자료처럼 관측이 독립이 아닌 자료에서는 반대로 CV의 분할이 정보를 누수시켜, 벌점 기반 기준이 상대적으로 덜 위험한 경우도 있다. 어느 쪽이든 자료의 의존구조를 먼저 보고 도구를 고르는 것이 순서다.³

8. 관련 문서[편집]

Akaike, H. (1973). Information theory and an extension of the maximum likelihood principle. 이듬해 IEEE TAC 논문 “A new look at the statistical model identification”으로 공학계에 퍼졌다. 참고로 AIC의 A는 아카이케가 아니라 “An”(그가 붙인 이름은 an information criterion)이라는 것이 본인의 설명인데, 세상은 결국 저자 이름으로 읽었다. 겸손이 후대에 안 통한 사례. ↩
그래서 생태학·계량 분야에서 한때 유행한 “모형 32개 만들어 AIC 표 뽑기”는 비판을 많이 받았다. 후보를 자동으로 대량생산한 뒤 가중치를 보고 이야기를 짓는 순간, 그것은 모형 선택이 아니라 자료 준설(data dredging)이다. 아카이케 가중치는 후보 목록의 품질을 검사해 주지 않는다. ↩
시계열에서 무작위 폴드로 CV를 돌려놓고 “미래를 잘 맞힌다”고 보고하는 사고는 실무에서 꾸준히 재발한다. 미래 관측으로 학습해 과거를 맞히는 셈이라 성적이 안 나오는 게 더 이상하다. 순차 분할(rolling origin)을 쓰든지, 아니면 얌전히 AIC를 쓰자. ↩