믹스업

소프트웨어 통계 수치해석 마지막 수정: 2026-08-22 04:47:52

1. 개요[편집]

믹스업 mixup
제안	Zhang, Cissé, Dauphin, Lopez-Paz (ICLR 2018)
하는 일	표본 두 개를 입력·라벨 모두 같은 λ 로 선형 보간
λ 분포	Beta(α, α)
이론적 동기	이웃 위험 최소화 (VRM)
관례값	α = 0.2 (ImageNet) ~ 1.0 (CIFAR)
구현 비용	배치 한 번 섞고 두 줄
대표 실패	α 과다 → 과소적합, 회귀·검출에서 라벨 보간 붕괴

고양이 사진 60%와 개 사진 40%를 겹쳐 놓고 “정답은 고양이 0.6 개 0.4”라고 가르친다. 사람이 보면 헛것인데, 신경망은 이걸로 더 잘 배운다.

믹스업(mixup)은 훈련 표본 두 개를 입력과 라벨에 같은 비율을 적용해 선형 보간한 가상 표본으로 학습시키는 데이터 증강 겸 정규화 기법이다. 정의는 두 줄이 전부다.

\tilde{x} = \lambda x_i + (1-\lambda) x_j, \qquad \tilde{y} = \lambda y_i + (1-\lambda) y_j, \qquad \lambda \sim \mathrm{Beta}(\alpha, \alpha)

$y$ 는 원-핫 벡터이고, $\alpha$ 하나 말고는 하이퍼파라미터가 없다. 장(Hongyi Zhang) 등이 2018년 ICLR에서 발표했고,¹ 코드가 워낙 짧아서 발표 직후부터 이미지 분류 레시피의 기본 옵션이 됐다. 회전·크롭·색상 지터 같은 기존 증강이 한 표본을 그 표본답게 변형하는 데 그쳤다면, 믹스업은 표본 사이를 이어 버린다는 점이 다르다.

구현은 배치 하나를 무작위 순열로 섞어 자기 자신과 짝지으면 끝이다. 손실 계산도 소프트 타깃을 만들 필요가 없는데, 교차엔트로피가 타깃에 대해 선형이라

\ell\bigl(f(\tilde{x}),\, \tilde{y}\bigr) = \lambda\,\ell\bigl(f(\tilde{x}),\, y_i\bigr) + (1-\lambda)\,\ell\bigl(f(\tilde{x}),\, y_j\bigr)

가 정확히 성립하기 때문이다. 그래서 실제 코드는 교차엔트로피를 두 번 부르고 가중합한다. 이 항등식은 손실이 타깃에 선형일 때만 성립한다는 점을 기억해 둘 것 — 뒤에서 회귀 이야기를 할 때 다시 나온다.

2. 왜 이런 걸 하냐 — 이웃 위험 최소화[편집]

동기는 통계학습이론 쪽이다. 보통의 학습은 경험적 위험 최소화(ERM)를 한다. 참 분포 $P(x,y)$ 를 훈련점에 델타를 꽂은 경험분포

P_\delta(x,y) = \frac{1}{n}\sum_{k=1}^{n} \delta(x = x_k)\,\delta(y = y_k)

로 대체하고 그 위에서 손실 평균을 최소화하는 것이다. 문제는 이 근사가 훈련점 바깥에 대해 아무 말도 하지 않는다는 것이다. 훈련 오차 0을 달성하는 방법은 무한히 많고, 그중에는 훈련 라벨을 통째로 외운 뒤 나머지 공간에서 아무렇게나 요동치는 함수도 포함된다. 실제로 충분히 큰 신경망은 라벨을 무작위로 섞어 놔도 훈련 오차 0을 만든다.

이웃 위험 최소화(Vicinal Risk Minimization, VRM; Chapelle 등 2000)²는 델타 대신 각 훈련점 주위에 퍼진 이웃 분포 $\nu(\tilde{x},\tilde{y} \mid x_k,y_k)$ 를 놓는다. 가우시안 이웃을 쓰면 그게 곧 “입력에 잡음 넣기”이고, 회전·크롭도 이 틀에서 보면 각 표본 주위에 사람이 손으로 설계한 이웃을 정의한 것이다. 믹스업의 기여는 이웃을 도메인 지식 없이 정의하는 방법을 하나 제시했다는 데 있다. 훈련점 두 개를 잇는 선분이 이웃이라는 것이다.

여기에는 명시적 가정이 하나 깔려 있다. “두 표본 사이의 선형 경로에서는 라벨도 선형으로 변한다.” 이 가정이 참인 만큼 믹스업이 잘 듣고, 거짓인 만큼 망가진다. 아래의 실패 사례는 전부 이 한 줄에서 파생된다.

3. 무엇이 좋아지는가[편집]

일반화. 원논문은 CIFAR-10/100, ImageNet, 음성, UCI 표 데이터에서 일관된 시험 오차 감소를 보고했다. ImageNet ResNet-50에서 상위-1 오차가 1%p 남짓 내려가는 수준이라 극적이진 않지만, 공짜에 가까운 비용에 다른 정규화와 겹쳐 쓸 수 있다는 점이 매력이었다.

손상 라벨 저항. 라벨의 일부를 무작위로 망가뜨린 데이터에서 믹스업은 암기를 눈에 띄게 늦춘다. ERM은 손상 라벨까지 성실히 외워 훈련 오차를 0으로 만드는 반면, 믹스업은 그 방향으로 가려면 선분 위 전체에서 모순된 타깃을 맞춰야 해서 암기 비용이 훨씬 비싸진다.

적대적 강인성. 결정경계 근처에서 함수가 완만해지므로, 같은 크기의 섭동으로 라벨을 뒤집기가 어려워진다. 다만 이건 적대적 훈련만큼의 방어는 아니고, 강한 화이트박스 공격에는 여전히 뚫린다. “공짜로 얻는 약간의 강인성”쯤으로 보는 게 맞다.

보정. 툴라시다산 등(2019)은 믹스업으로 학습한 모형의 기대 보정 오차가 낮아진다고 보고했고, 이게 한동안 정설이었다. 다만 이후 연구에서 믹스업 모형이 반대 방향으로, 즉 과소확신 쪽으로 어긋나는 사례가 보고되면서 지금은 “보정이 반드시 좋아진다”보다 “과신이 줄어든다”가 더 정확한 서술로 여겨진다. 라벨 평활화에서 본 것과 같은 구도다 — 과신을 깎는 장치는 너무 세게 걸면 반대편으로 넘어간다.

4. 정규화로 다시 쓰면[편집]

“왜 되는가”에 대한 사후 해석은 크게 셋이다.

결정경계 선형화. 가장 직관적인 그림. 믹스업이 요구하는 것은 $f(\lambda x_i + (1-\lambda)x_j) \approx \lambda f(x_i) + (1-\lambda) f(x_j)$ 이므로, 모형이 훈련점 사이에서 선형에 가깝게 행동하도록 압박한다. 훈련점 사이에서 급격히 튀는 함수는 자연스럽게 벌점을 받는다.

암묵적 기울기·곡률 벌점. 좀 더 정량적인 설명은 믹스업 손실을 $\lambda$ 에 대해 테일러 전개하는 데서 나온다. 여러 분석이 믹스업 목적함수가 원래의 ERM 손실 + 모형의 기울기·헤세 노름에 걸리는 데이터 의존 벌점 꼴로 근사된다는 것을 보였다. 즉 티호노프 정규화처럼 가중치를 눌러 놓는 게 아니라, 데이터가 놓인 방향으로만 매끄러움을 요구하는 적응적 정규화다. 강인성과 일반화 향상이 같은 항에서 나온다는 것이 이 관점의 요점.

라벨 평활화와의 관계. 둘 다 소프트 타깃을 만든다는 점에서 사촌이지만 결이 다르다. 라벨 평활화는 모든 표본에 똑같은 균등 분포를 $\alpha$ 만큼 섞고 입력은 건드리지 않는다. 믹스업은 표본 쌍마다 다른 타깃을 만들고 입력도 함께 옮긴다. 정보량으로 보면 믹스업 쪽이 많고, 그래서 입력 없이 타깃만 섞는 것보다 효과가 크다. 다만 둘을 겹쳐 쓰면 과하게 평평해지는 구간이 있으므로, 정규화는 더하기가 아니라 예산 배분이라는 원칙이 여기서도 적용된다.³ 지식 증류의 교사를 만들 때 믹스업을 걸어도 되는지 같은 질문은 아직 정설이 없다.

5. α 고르기와 변형들[편집]

$\alpha \to 0$ 이면 $\lambda$ 가 0이나 1에 몰려 그냥 ERM이 되고, $\alpha = 1$ 이면 $\lambda$ 가 $[0,1]$ 위 균등분포다. $\alpha > 1$ 이면 오히려 $\lambda \approx 0.5$ 쪽으로 몰려 모든 표본이 반반 섞인 죽이 된다. 원논문의 권고는 ImageNet 기준 $\alpha \in [0.1, 0.4]$ 이고, 그 이상에서는 유의한 과소적합이 관찰됐다. CIFAR 규모에서는 $\alpha = 1$ 도 흔히 쓴다. 요약하면 데이터가 크고 모형이 클수록 작은 $\alpha$ 다.

변형	무엇을 섞나	라벨 보간	노림수
mixup	입력 전체를 픽셀 단위로	예, 비율 λ	범용 기본형
CutMix	B의 사각 패치를 A에 이식	예, 면적 비율	흐릿한 합성 이미지 회피, 국소화
Manifold Mixup	무작위 은닉층의 활성값	예, 비율 λ	표현 공간에서 평탄화
AugMix	같은 이미지의 여러 증강본	아니오	손상 강인성 + 일관성 손실

CutMix(Yun 등, 2019)는 이미지 A에 이미지 B의 직사각형 패치를 붙이고 라벨을 면적 비율로 섞는다. 믹스업 합성 이미지가 부자연스럽게 반투명한 문제를 피하면서 모형이 물체의 여러 부분을 보게 만든다. 다만 잘라 붙인 패치가 하필 B의 배경이면 라벨 비율이 거짓말이 된다.

Manifold Mixup(Verma 등, 2019)은 보간을 입력이 아니라 무작위로 고른 은닉층에서 한다. 표현 공간은 입력 공간보다 이미 펴져 있으므로 선형 보간 가정이 덜 무리하고, 클래스별 표현이 낮은 차원으로 수축한다는 것이 논문의 관찰이다.

AugMix(Hendrycks 등, 2020)는 이름 때문에 같은 계열로 묶이지만 라벨을 섞지 않는다. 한 이미지에 서로 다른 증강 사슬을 여러 갈래 적용해 합성하고, 원본과 증강본들의 예측이 일치하도록 젠센-섀넌 일관성 손실을 건다. 목표도 일반화보다 손상 강인성(ImageNet-C 류)이다. 이름만 보고 “믹스업 변형”이라 적으면 틀린다.

6. 실패 사례[편집]

$\alpha$ 과다. 가장 흔한 사고. 훈련 손실이 안 내려가고 훈련·시험 정확도가 같이 떨어지면 과소적합을 의심한다. 여기에 드롭아웃·가중치 감쇠·라벨 평활화까지 최대로 걸어 놓은 상태라면 원인은 거의 확정이다.

다양체 침범(manifold intrusion). 궈 등(2019)이 지적한 문제. 클래스 A와 B를 섞어 만든 $\tilde{x}$ 가 하필 실제 클래스 C의 표본과 닮은 지점에 떨어지는 경우가 있다. 그러면 모형은 진짜 C 표본에 대해서는 “C”라고, 거의 같은 지점의 합성 표본에 대해서는 “A 반 B 반”이라고 배우게 되어 타깃끼리 충돌한다. 클래스 수가 많고 데이터가 조밀할수록 심해진다.

회귀. 여기서 앞의 손실 항등식이 깨진다. 제곱오차는 타깃에 대해 선형이 아니라 이차이므로 “두 손실의 가중합”과 “섞은 타깃에 대한 손실”이 다르다. 게다가 타깃 분포가 치우쳐 있으면 멀리 떨어진 두 라벨을 섞은 값이 애초에 데이터가 존재하지 않는 구간을 가리킬 수 있다. 그래서 회귀용 변형들은 아무 쌍이나 섞지 않고 라벨이 가까운 쌍만 골라 섞는 쪽으로 간다.

검출·분할. 바운딩 박스나 마스크는 평균을 낼 수 있는 물건이 아니다. 박스 두 개를 0.6 대 0.4로 섞으면 아무 데도 없는 박스가 나온다. 그래서 검출 쪽 실전 레시피는 이미지만 겹치고 라벨은 보간하지 않고 합집합으로 둔 뒤 손실을 가중하는 식으로 우회한다. 순서 구조가 중요한 계열 데이터도 사정이 비슷하다.

7. 물리 데이터와 PDE 대리모델에 쓸 때[편집]

이쪽이 심위키 독자에게 가장 중요한 대목이다. 결론부터 말하면 비선형 문제에서 입출력 쌍을 그대로 섞는 것은 틀린 라벨을 만드는 짓이다.

해 연산자 $\mathcal{S}$ 가 입력장(또는 파라미터) $u$ 를 해 $\mathcal{S}(u)$ 로 보낸다고 하자. 믹스업이 만드는 훈련쌍은

\Bigl(\ \lambda u_i + (1-\lambda)u_j,\ \ \lambda\,\mathcal{S}(u_i) + (1-\lambda)\,\mathcal{S}(u_j)\ \Bigr)

인데, 이게 유효한 훈련쌍이려면

\mathcal{S}\bigl(\lambda u_i + (1-\lambda)u_j\bigr) = \lambda\,\mathcal{S}(u_i) + (1-\lambda)\,\mathcal{S}(u_j)

가 성립해야 한다. 즉 $\mathcal{S}$ 가 선형일 때만 맞다. 선형 PDE에 선형 경계조건이면 중첩 원리가 정확히 이걸 보장하므로 믹스업은 무해하다 — 대신 그 경우 섞은 표본은 기존 표본의 스팬 안에 있어서 새 정보를 주지도 않는다. 반대로 나비에-스토크스 방정식처럼 $\mathcal{S}$ 가 비선형이면 위 등식은 그냥 거짓이고, 오차는 $\lambda(1-\lambda)$ 에 비례해 정확히 가장 많이 섞은 곳에서 가장 크다. 레이놀즈수 두 값을 섞어 그 사이 유동장을 라벨로 주는 짓이 대표적이다. 유동장은 레이놀즈수에 대해 선형은커녕 분기까지 하는 함수다.

제약 조건도 따져 봐야 한다. 볼록결합은 선형 등식 제약과 볼록 부등식 제약은 보존하지만 비선형 대수 관계는 깨뜨린다.

보존됨: 비압축 조건 $\nabla \cdot \mathbf{u} = 0$ (선형), 밀도·온도의 양수성(볼록), 질량분율의 합이 1(선형 등식).
깨짐: 이상기체 상태방정식 $p = \rho R T$ (곱이라 비선형), 단위벡터 정규화 $\lvert \mathbf{n} \rvert = 1$ , 상평형 관계, 활성화 에너지가 든 반응속도식.

그래서 물리 데이터에 믹스업을 얹고 싶다면 대략 세 갈래다. (i) 은닉층에서 섞는다 — Manifold Mixup처럼 인코더를 통과한 잠재 표현에서 보간하면 물리 제약을 직접 깨뜨리지는 않는다. 물론 디코더가 물리적으로 유효한 장을 뱉으리라는 보장은 별도로 필요하다. (ii) 가까운 파라미터끼리만, 작은 $\lambda$ 로 섞는다 — 국소적으로는 $\mathcal{S}$ 를 선형화할 수 있으므로 오차가 파라미터 간격의 제곱 차수로 줄어든다. 사실상 유한차분 감도를 훈련 신호로 쓰는 셈이다. (iii) 섞은 표본에 물리 잔차 손실을 매긴다 — 라벨을 믿는 대신 지배 방정식으로 채점한다. 물리 정보 신경망과 자연스럽게 붙는 방향이고, 이때 믹스업은 라벨 공급원이 아니라 콜로케이션 점 샘플러로 격하된다. 오히려 이게 정직한 용법이다.

대리 모델이나 신경 연산자를 학습시키면서 습관적으로 믹스업 스위치를 켰는데 시험 오차가 이상하게 안 내려간다면, 정규화가 약해서가 아니라 훈련 데이터의 절반이 물리적으로 틀린 라벨이어서일 수 있다. 분류 문제에서 통하던 데이터 증강 상식이 지배 방정식 앞에서 그대로 통할 거라 기대하면 안 된다.⁴

8. 관련 문서[편집]

Zhang, H., Cissé, M., Dauphin, Y. N., Lopez-Paz, D. (2018). “mixup: Beyond Empirical Risk Minimization.” ICLR 2018. 논문에 실린 핵심 코드가 여섯 줄이라, 발표 당시 “이게 논문이 되냐”는 반응과 “이게 되네”라는 반응이 동시에 나왔다. 결과적으로 후자가 이겼다. ↩
VRM은 Chapelle, Weston, Bottou, Vapnik (2000)이 정식화했다. 재미있는 건 우리가 수십 년간 아무 생각 없이 써 온 회전·크롭 증강이 사실 전부 VRM의 특수한 경우였다는 점이다. 이론이 관행을 뒤늦게 설명해 주는 흔한 패턴. ↩
그래서 논문 표에서 “mixup + label smoothing + CutMix + RandAugment”를 전부 켠 최신 레시피를 볼 때는, 각 항목의 기여가 더해지는 게 아니라 서로 잡아먹는다는 것을 감안해야 한다. 절제 실험(ablation) 없이 다 켜고 최고 점수만 보고하는 관행이 이 바닥의 고질병이다. ↩
이건 믹스업만의 문제가 아니다. 유동장에 좌우 반전 증강을 걸었는데 그 유동에 회전 방향이 물리적으로 정해져 있다면, 그것도 똑같이 틀린 라벨을 만드는 짓이다. 영상 증강 기법을 물리 데이터에 옮길 때는 매번 그 변환이 지배 방정식의 대칭성인가를 먼저 물어야 한다. ↩

믹스업