다양체 학습

통계 수치해석 마지막 수정: 2026-08-27 04:44:22

1. 개요[편집]

다양체 학습 Manifold Learning
전제	다양체 가설 — 고차원 데이터가 저차원 다양체 근처에 있다
고전 삼총사	Isomap · LLE · 라플라시안 고유맵 (2000~2003)
공통 구조	이웃 그래프를 만들고 대칭 고유값 문제를 푼다
예외	t-SNE · UMAP — 고유값 문제가 아니라 손실 최소화
약점	이웃 수 $k$ 민감 · 아웃오브샘플 · 잡음 · 내재 차원 추정
선형 사촌	주성분 분석

데이터가 사는 방은 1000차원인데, 정작 걸어 다니는 바닥은 3차원짜리 구겨진 종이일 수 있다.

다양체 학습은 고차원 공간에 놓인 데이터가 실제로는 훨씬 낮은 차원의 매끄러운 다양체 위(또는 근처)에 있다는 다양체 가설을 전제로, 그 다양체의 내재 좌표를 데이터만 보고 복원하는 비선형 차원축소 기법의 총칭이다. 주성분 분석이 “가장 잘 맞는 평면”을 찾는다면, 다양체 학습은 “가장 잘 맞는 구겨진 면”을 찾아 그것을 펴는 일을 한다.

가설 자체는 그럴듯하다. 64×64 흑백 얼굴 사진은 형식적으로 4096차원 벡터지만, 같은 사람을 조명 각도 둘과 고개 각도 하나만 바꿔 찍었다면 실제 자유도는 3이다. 데이터를 만든 물리적 과정의 파라미터 수가 곧 내재 차원이고, 그 개수가 관측 차원보다 훨씬 작은 상황이 실제로 흔하다. 차원의 저주를 정면으로 상대하지 않고 우회하는 방법이라고 보면 된다.¹

2. 왜 선형으로는 안 되나[편집]

교과서 반례는 스위스롤이다. 2차원 직사각형을 두루마리처럼 만 곡면 위에 점을 뿌려 놓으면, 겉보기 유클리드 거리로는 두루마리의 안쪽 층과 바깥 층이 바로 옆에 붙어 있다. 주성분 분석은 분산이 큰 방향으로 사영할 뿐이라 이 두 층을 그대로 겹쳐 뭉개 버린다.

다양체 학습의 공통 전략은 국소적으로만 유클리드를 믿는 것이다. 아주 가까운 두 점 사이에서는 곡면이 거의 평평하니 직선거리를 써도 되고, 멀리 떨어진 두 점 사이는 그 국소 정보들을 이어 붙여서 재구성한다. 어떻게 이어 붙이느냐가 방법을 가른다.

3. 고전 삼총사[편집]

Isomap(테넨바움·드실바·랭퍼드, 2000)은 거리를 고쳐 쓴다. $k$ -최근접 이웃 그래프를 만들고 간선에는 유클리드 거리를 달아 놓은 뒤, 임의의 두 점 사이 거리를 그래프 최단경로(다익스트라 알고리즘 또는 플로이드-워셜 알고리즘)로 잡는다. 이것이 측지거리의 추정치다. 그 거리 행렬에 고전적 다차원 척도법을 걸면 끝이다. 표본이 조밀해지면 그래프 최단경로가 참 측지거리로 수렴한다는 보장이 있다는 것이 강점이고, 대신 다양체가 볼록한 모양이어야 한다는 조건이 붙는다. 두루마리 한가운데 구멍이 뚫려 있으면 최단경로가 구멍을 돌아가면서 거리가 부풀려져 왜곡이 생긴다.

LLE(로와이스·사울, 2000)는 거리를 아예 안 쓴다. 각 점 $x_i$ 를 이웃들의 선형결합으로 재구성하는 가중치 $W_{ij}$ 를 구하되 $\sum_j W_{ij}=1$ 을 걸어, 가중치가 평행이동·회전·스케일에 불변이 되게 만든다. 그러면 그 가중치는 국소 형상만 담는다. 저차원 좌표 $Y$ 는 같은 가중치로 재구성이 되도록

\min_Y \sum_i \Bigl\| y_i - \sum_j W_{ij}y_j \Bigr\|^2 = \min_Y \mathrm{tr}\bigl(Y^{\mathsf T}(I-W)^{\mathsf T}(I-W)Y\bigr)

를 풀어 얻는다. 정규화 조건을 걸면 $M=(I-W)^{\mathsf T}(I-W)$ 의 가장 작은 고유벡터들이 답이고, 고윳값 0에 대응하는 상수 벡터는 버린다. 전역 거리 계산이 없어 희소행렬만 다루면 된다는 것이 Isomap 대비 장점.

라플라시안 고유맵(벨킨·니요기, 2003)은 물리적으로 가장 읽기 쉽다. 가중치 $w_{ij}=\exp(-\|x_i-x_j\|^2/\sigma^2)$ 를 준 이웃 그래프에서

\min_Y \ \tfrac12\sum_{i,j} w_{ij}\|y_i-y_j\|^2 = \mathrm{tr}(Y^{\mathsf T}LY) \quad \text{s.t.}\quad Y^{\mathsf T}DY = I

를 풀면 일반화 고유값 문제 $Ly=\lambda Dy$ 가 되고, 자명한 상수 해를 빼고 하위 고유벡터를 좌표로 쓴다. “가까운 점은 가깝게 놓아라, 단 전부 한 점으로 뭉개지는 것은 금지”라는 말을 그대로 수식으로 옮긴 것이다. 그래프 라플라시안이 표본이 늘면 다양체의 라플라스-벨트라미 연산자로 수렴한다는 결과가 이 방법의 이론적 뒷배다. 스펙트럴 군집화가 쓰는 것과 완전히 같은 행렬의 같은 고유벡터이며, 차이는 그 뒤에 군집을 자르느냐 좌표로 쓰느냐뿐이다.

4. 확산 지도 — 시간이라는 손잡이[편집]

확산 지도(코이프만·라폰, 2006)는 라플라시안 고유맵에 마르코프 사슬 해석을 얹는다. $P = D^{-1}W$ 를 그래프 위 랜덤워크의 전이행렬로 보고, $t$ 스텝 후 분포의 차이로 두 점 사이 거리를 정의한 것이 확산거리다. 좌표를

\Psi_t(x) = \bigl(\lambda_1^t\psi_1(x),\ \lambda_2^t\psi_2(x),\ \dots\bigr)

로 잡으면 이 좌표 공간의 유클리드 거리가 정확히 확산거리가 된다. 얻는 것이 둘 있다. 첫째, $t$ 라는 명시적 스케일 손잡이 — $t$ 를 키우면 큰 구조만 남는다. 둘째, 표본 밀도의 영향을 떼어내는 정규화 계열( $\alpha$ -정규화)이 있어서, $\alpha=1$ 로 두면 데이터가 어떻게 뽑혔든 극한 연산자가 다양체 고유의 라플라스-벨트라미가 된다. 다른 방법들이 조용히 밀도에 오염되는 지점을 정면으로 다룬 것이 이 계열의 기여다.

5. 전부 같은 고유값 문제였다[편집]

여기까지 보면 눈치챘겠지만, 네 방법은 전부 “행렬 하나 만들고 극단 고유벡터를 뽑는다” 는 같은 골격이다.

방법	행렬	쓰는 고유벡터
MDS / PCA	중심화 그람 행렬	상위
Isomap	측지거리의 중심화 그람 행렬	상위
LLE	$(I-W)^{\mathsf T}(I-W)$	하위 (상수 제외)
라플라시안 고유맵	그래프 라플라시안 $L$	하위 (상수 제외)
확산 지도	랜덤워크 행렬 $P$	상위 (자명 해 제외)

이 통일을 명시적으로 보인 것이 커널 PCA 관점이다. 각 방법을 “데이터에 맞춰 만든 커널 행렬의 PCA”로 다시 쓸 수 있고, 그러면 방법 간 차이는 커널의 정의 차이로 환원된다. 실무적 함의가 크다 — 코드의 90%가 공유되고, 계산 비용은 전부 대칭 고유값 문제의 극단 고유쌍 몇 개로 결정되며, 따라서 란초스 알고리즘·ARPACK·랜덤화 SVD 같은 수치해석 도구가 그대로 재활용된다. 데이터 과학 논문에 나온 새 방법이 알고 보면 커널만 바꾼 것인 경우가 흔한 이유이기도 하다.

6. t-SNE와 UMAP — 다른 종족[편집]

시각화 판을 장악한 t-SNE 와 UMAP 은 위 골격에 속하지 않는다. 고유값 문제를 풀지 않고, 고차원과 저차원에서 각각 정의한 이웃 확률분포 사이의 손실(t-SNE는 KL 발산, UMAP은 교차 엔트로피)을 경사법으로 직접 최소화한다. 비볼록이라 초기값과 난수 시드에 따라 결과가 달라진다.

t-SNE의 핵심 트릭은 저차원에서 정규분포 대신 꼬리가 두꺼운 스튜던트 $t$ 분포를 쓰는 것이다. 고차원에서 “적당히 먼” 점들의 개수가 저차원에서는 담을 자리가 없어 전부 중앙으로 밀려드는 혼잡 문제(crowding)를 두꺼운 꼬리가 완화한다.

그리고 해석의 함정이 크다.

군집의 크기와 군집 사이 거리는 의미가 없다. 손실함수가 국소 이웃 보존에만 벌점을 주므로, 그림에서 두 덩어리가 멀리 떨어져 있다고 실제로 먼 것이 아니다.
혼잡도(perplexity)와 이웃 수가 그림을 바꾼다. 값 하나만 보고 결론 내리지 말고 여러 설정에서 재현되는 구조만 믿어야 한다.
“UMAP이 전역 구조를 더 잘 보존한다”는 통설은 상당 부분 초기화 차이다. UMAP은 기본값이 라플라시안 고유맵 초기화이고 t-SNE는 관례적으로 무작위 초기화였다. t-SNE를 PCA로 초기화하면 격차가 크게 줄어든다는 것이 후속 연구의 결론이다.²

즉 이쪽은 탐색적 시각화 도구이지 좌표를 신뢰할 수 있는 차원축소기가 아니다. 축소한 좌표를 다음 계산의 입력으로 쓸 생각이라면 고유값 계열로 돌아가는 편이 안전하다.

7. 아웃오브샘플 — 새 점은 어디에 놓나[편집]

고유값 계열의 구조적 약점이 여기 있다. 결과가 $n$ 개 표본에 대한 좌표 목록일 뿐 함수 $f:\mathbb R^D\to\mathbb R^d$ 가 아니어서, 새 점 $x_{\text{new}}$ 를 어디에 찍을지 정해져 있지 않다. 전부 다시 계산하면 되지만 $O(n^3)$ 이 매번 돌아온다.

표준 처방이 나이스트룀 확장이다. 고유벡터를 커널의 고유함수의 표본으로 보고

\psi_k(x_{\text{new}}) \;\approx\; \frac{1}{\lambda_k}\sum_{i=1}^{n} \tilde k(x_{\text{new}}, x_i)\,\psi_k(x_i)

로 보간한다. Isomap·LLE·라플라시안 고유맵·확산 지도가 전부 같은 커널 틀에 들어간다는 앞 절의 통일 덕에, 하나의 공식이 네 방법 모두에 적용된다. 같은 나이스트룀 근사가 가우시안 프로세스의 커널 행렬 저랭크 근사에도 쓰이는 그 도구다. 정확도는 새 점이 원래 표본의 지지집합 안에 있을 때만 믿을 만하고, 다양체 바깥이면 답이 무의미하다. 명시적 인코더가 꼭 필요하면 오토인코더 계열로 가는 것이 현실적 선택이다.

8. 스위스롤이라는 함정[편집]

거의 모든 논문이 스위스롤을 벤치마크로 쓰는데, 이 예제는 생각보다 쉬운 문제다.

스위스롤은 가우스 곡률이 0인 전개 가능 곡면이다. 즉 찢거나 늘이지 않고 평면으로 펼 수 있는, 평면과 등거리인 곡면이다. Isomap이 잘 푸는 것이 당연하다 — 측지거리를 보존하면 정답이 나오도록 설계된 문제이기 때문이다. 진짜 곡률이 있는 다양체(구면)에서는 어떤 방법도 거리를 보존하는 평면 좌표를 만들 수 없다. 지도 제작자들이 수백 년째 겪는 그 문제다.
$k$ 하나에 결과가 뒤집힌다. $k$ 를 조금만 키우면 두루마리의 인접한 층 사이에 간선이 생기고(단락, short-circuit), 그 순간 측지거리 추정이 통째로 붕괴한다. 반대로 너무 작으면 그래프가 여러 조각으로 끊어져 고유벡터가 조각별 지시함수가 된다. 잘 되는 $k$ 의 구간이 좁고, 그 구간을 데이터만 보고 정하는 원리적 방법이 없다.
잡음에 약하다. 두께 $\varepsilon$ 의 잡음이 얹히면 데이터는 더 이상 2차원 다양체가 아니라 그 근방의 3차원 덩어리이고, 국소 이웃이 잡음 방향까지 포함하기 시작하면 국소 선형성 가정이 무너진다.
내재 차원을 모른다. $d$ 를 몇으로 둘지가 입력인데, 상관 차원이나 최대우도 추정 같은 도구는 표본 수가 $d$ 에 지수적으로 필요해서 $d$ 가 10만 넘어도 신뢰하기 어렵다.

요약하면 스위스롤을 편다고 그 방법이 실데이터에서 작동한다는 근거는 되지 않는다. 논문 그림에서 두루마리가 예쁘게 펴진 것을 보면 “이건 곡률 0인 등거리 문제였다”를 먼저 떠올리는 편이 건강하다.

9. 시뮬레이션 쪽에서의 쓸모[편집]

집단 변수 찾기. 분자동역학 궤적은 원자 수의 3배 차원이지만 실제 느린 동역학은 몇 개의 반응좌표가 지배한다. 확산 지도를 궤적에 걸어 나온 하위 고유함수를 집단 변수로 쓰고, 그 위에서 자유에너지를 재구성하는 접근이 자리 잡았다. 그래프 라플라시안의 느린 고유모드가 곧 느린 동역학이라는 대응이 물리적으로 정당화된다는 점이 핵심이다.
비선형 축소차수모델. 적합직교분해 기반 축소차수모델은 해를 선형 부분공간에 가둔다. 이류가 지배하는 문제(이동하는 충격파, 파동)에서는 특이값이 잘 안 떨어져서 선형 기저로는 차수를 못 줄이는 한계가 있고, 이것이 콜모고로프 $n$ -폭 장벽이다. 해 다양체를 비선형 다양체로 놓고 오토인코더로 좌표를 학습하는 접근이 이 장벽을 우회하려는 시도이며, 다양체 학습의 문제의식이 전산유체역학으로 들어온 통로다.
형상·자세 데이터. 점군 정합이나 확산텐서 데이터처럼 표본 하나하나가 이미 다양체 위 원소인 경우에는, 데이터 공간의 다양체 구조가 가정이 아니라 알려진 사실이다. 이때는 추정할 필요 없이 리만 다양체의 도구와 프레셰 평균을 바로 쓰면 된다. 다양체 학습은 그 구조를 모를 때 쓰는 것이라는 구분을 놓치면 안 된다.³

10. 관련 문서[편집]

다만 “우회”이지 “해결”이 아니다. 다양체 학습의 표본 복잡도는 관측 차원 $D$ 가 아니라 내재 차원 $d$ 에 지수적인데, 지수는 지수다. $d=2$ 짜리 논문 예제와 $d=15$ 짜리 실데이터 사이에는 사람들이 말하지 않는 낭떠러지가 있다. ↩
그래서 “우리 방법이 전역 구조를 더 잘 보존한다”류의 주장을 볼 때는 초기화가 무엇이었는지부터 확인하는 게 좋다. 알고리즘의 공로로 발표된 것이 사실은 초기값의 공로인 사례가 이 분야에 여러 건 있다. 하이퍼파라미터를 통제하지 않은 비교는 벤치마크가 아니라 그림 감상이다. ↩
이 구분이 흐려진 채로 쓰인 문장이 논문에 자주 보인다. “데이터가 다양체 위에 있으므로 리만 최적화를 썼다”와 “데이터가 다양체 위에 있다고 가정하고 그 좌표를 추정했다”는 완전히 다른 주장인데, 둘 다 “manifold” 한 단어로 뭉뚱그려진다. 앞의 것은 정리가 뒷받침하고 뒤의 것은 가설이 뒷받침한다. ↩