이미지 피라미드

컴퓨터 그래픽스 수치해석 마지막 수정: 2026-08-30 04:26:41

1. 개요[편집]

이미지 피라미드 Image Pyramid
제안	Burt & Adelson (1983) — 라플라시안 피라미드
두 연산	REDUCE(평활 후 1/2 표본화) · EXPAND(영 삽입 후 보간)
생성 커널	5탭 분리형 $[1,4,6,4,1]/16$ 계열
메모리	원본의 $4/3$ 배 (2D 기준 +33%)
가우스형	저역통과 계층 — 다해상도 탐색·밉맵
라플라스형	대역통과 계층 — 완전 복원 · 압축 · 멀티밴드 블렌딩

큰 커널로 한 번 때릴 것인가, 작은 커널로 여러 번 때리며 영상을 줄여 갈 것인가. 답은 후자이고, 그 이유는 공짜이기 때문이다.

이미지 피라미드는 하나의 영상을 해상도를 절반씩 줄여 가며 쌓아 놓은 영상 계층으로, 각 층이 서로 다른 공간 주파수 대역을 담당하도록 만든 다해상도 표현이다. 아래층일수록 크고 세밀하며 위층일수록 작고 흐리다. 옆에서 보면 사다리꼴이라 피라미드다.

스케일 공간이 “스케일을 연속 좌표축으로 승격시킨다”는 이론이라면, 이미지 피라미드는 그 이론을 유한한 메모리와 유한한 시간 안에 구현한 자료구조다. 이론은 $(x,y,t)$ 의 3차원 연속체지만 코드가 다룰 수 있는 건 옥타브 단위로 성기게 뜬 표본 몇 장이고, 그 성김에서 오는 이득과 대가가 이 문서의 내용이다.

2. 왜 줄이기 전에 흐리는가[편집]

피라미드의 절반은 다운샘플이고 나머지 절반은 다운샘플 직전의 저역통과다. 후자를 빼먹는 것이 초보자가 저지르는 압도적 1위 실수이므로 먼저 짚는다.

표본 간격을 2배로 늘리면 나이퀴스트 주파수가 절반이 된다. 원 영상에 그보다 높은 주파수가 남아 있으면 그 성분은 사라지는 게 아니라 저주파로 접혀 들어온다(에일리어싱). 격자무늬 셔츠가 거친 층에서 난데없는 모아레 줄무늬가 되고, 가느다란 전선이 점선으로 끊어지고, 특징점 검출기가 원본에 없는 코너를 성실하게 찾아낸다. 더 나쁜 건 이게 조용히 일어난다는 것이다 — 오류 메시지도, NaN도 없다.

g_{k+1}(i,j) = \sum_{m=-2}^{2}\sum_{n=-2}^{2} w(m)\,w(n)\;g_k(2i+m,\; 2j+n)

버트와 애덜슨은 커널에 네 가지 조건을 걸었다.¹ 분리성(2차원 커널이 1차원 커널의 곱 $w(m)w(n)$ ), 정규화( $\sum w = 1$ ), 대칭( $w(-m)=w(m)$ ), 그리고 동등 기여(equal contribution) — 짝수 위치 화소와 홀수 위치 화소가 상위 층에 똑같은 총 무게로 기여해야 한다는 조건이다. 분리성으로 문제가 1차원 5탭 $w$ 로 줄고, 나머지 세 조건을 풀면 자유도가 하나만 남는다.

w = \bigl[\,\tfrac14 - \tfrac{a}{2},\;\; \tfrac14,\;\; a,\;\; \tfrac14,\;\; \tfrac14 - \tfrac{a}{2}\,\bigr]

$a = 0.4$ 면 $[0.05,\,0.25,\,0.4,\,0.25,\,0.05]$ 로 가우스와 거의 겹치고, $a = 0.375$ 면 정확히 이항 커널 $[1,4,6,4,1]/16$ 이 되어 정수·시프트 연산만으로 구현된다. $a = 0.5$ 는 삼각형(양선형)이고, $a$ 를 0.6 이상으로 올리면 꼬리가 음수가 되어 오버슛이 생긴다. 이항 커널이 사실상의 국룰인 이유는 정수 연산이라는 점 외에도, 스케일 공간 문서가 정리한 대로 이항 커널의 반복 합성곱이 이산 신호에서 새로운 극값을 만들지 않는다는 성질 때문이다.

경험칙 하나. 2배 데시메이션 전에는 $\sigma \gtrsim 0.8 \sim 1$ 화소 정도의 유효 평활이 필요하다. 5탭 이항 커널의 유효 $\sigma$ 가 딱 1 근처다. SIFT가 옥타브 시작 $\sigma$ 를 1.6으로 잡고 카메라의 기본 흐림을 0.5로 가정하는 것도 같은 계산에서 나온다.

3. 라플라시안 피라미드 — 뺄셈 한 번의 마법[편집]

가우스 피라미드의 각 층은 저역통과다. 인접한 두 층의 차를 취하면 대역통과가 된다.

L_k = g_k - \operatorname{EXPAND}(g_{k+1}), \qquad k = 0,\dots,N-1, \qquad L_N = g_N

여기서 EXPAND는 홀수 표본 자리에 0을 끼워 넣고 같은 커널(2D에서는 진폭 4배)로 합성곱해 크기를 두 배로 되돌리는 연산이다. $L_k$ 들과 꼭대기 $g_N$ 이 라플라시안 피라미드이고, 이름은 그 층들이 스케일 공간의 정규화 라플라시안(즉 LoG)과, 더 직접적으로는 DoG와 닮았기 때문이다.

이 표현의 결정적 성질은 완전 복원(perfect reconstruction)이다.

g_k = L_k + \operatorname{EXPAND}(g_{k+1})

를 꼭대기부터 아래로 되풀이하면 원 영상이 비트 단위로 돌아온다. 여기서 놀라운 것은 이 성질이 커널 $w$ 에 아무 조건도 걸지 않는다는 점이다. 웨이블릿에서 완전 복원을 얻으려면 분석·합성 필터뱅크가 정교한 대칭 조건을 만족해야 하지만, 라플라시안 피라미드는 그냥 “빼서 저장했으니 더하면 돌아온다”이다. 필터 설계 자유도를 통째로 얻는 대신 값을 치른다 — 표본이 $4/3$ 배로 늘어나는 과완비(overcomplete) 표현이라는 것.

이 33%의 잉여가 압축에서는 치명타였다. 라플라시안 피라미드는 원래 “compact image code”라는 제목으로 발표된 압축 코덱이었고, 계수 대부분이 0 근처에 몰려 엔트로피가 낮다는 점에서 실제로 잘 작동했다. 그러나 임계 표본화된 웨이블릿 변환과 이산 코사인 변환이 같은 화질을 잉여 없이 내면서 JPEG·JPEG2000이 표준을 가져갔다. 라플라시안 피라미드는 압축에서 밀린 대신 합성·편집 쪽에서 불멸의 지위를 얻었다.

4. 멀티밴드 블렌딩[편집]

두 영상을 이어 붙일 때 경계선을 감추는 문제를 생각하자. 딱 자르면 이음매가 선으로 보이고, 넓게 페이드하면 이중상(ghosting)이 생긴다. 어느 폭이 맞는지가 주파수마다 다르기 때문이다. 저주파(전체 밝기 차이)는 아주 넓게 섞어야 티가 안 나고, 고주파(질감)는 좁게 섞어야 번지지 않는다.

버트와 애덜슨의 답은 명쾌하다. 두 영상 각각의 라플라시안 피라미드와, 마스크의 가우스 피라미드를 만든 뒤

L^{\text{blend}}_k = M_k \cdot L^{A}_k + (1 - M_k)\cdot L^{B}_k

로 층마다 섞고 다시 합성한다. 마스크가 위층으로 갈수록 흐려지므로 저주파는 자동으로 넓게, 고주파는 자동으로 좁게 섞인다. 폭을 사람이 고를 필요가 없다는 게 요점이다. 오늘날 파노라마 스티칭, 노출 브라케팅 합성, HDR 톤매핑, 얼굴 합성이 전부 이 한 줄 위에 있다. 손으로 그린 마스크로 사과와 오렌지를 이어 붙인 원 논문의 “오라플(orapple)” 그림은 40년째 교과서에 실려 있다.²

5. 굵은-고운 전략과 멀티그리드[편집]

피라미드의 두 번째 대표 용도는 탐색 반경 확보다. 광류 추정의 루카스-카나데는 $I(\mathbf{x}+\mathbf{d}) \approx I(\mathbf{x}) + \nabla I^{\mathsf T}\mathbf{d}$ 라는 선형화 위에 서 있는데, 이 근사는 변위 $\mathbf{d}$ 가 영상 구조의 크기보다 작을 때만 유효하다. 화소 20개짜리 변위를 원 해상도에서 추정하면 그냥 발산한다.

처방은 피라미드다. 레벨 $L$ 에서는 실제 변위가 $2^{-L}$ 로 줄어드니 선형화가 성립한다. 거친 층에서 대략의 변위를 구하고, 그것으로 아래층 영상을 워핑한 뒤 남은 잔차 변위만 다시 추정하며 내려온다. 이 굵은-고운(coarse-to-fine) 전략은 광류뿐 아니라 이미지 정합, 스테레오 대응, 능동 형상 모형 탐색, 비볼록 최적화의 초기값 생성에 그대로 쓰인다.

여기서 다중격자법과의 관계를 정확히 해 둘 필요가 있다. 둘 다 격자 계층을 오르내리고, 제한(restriction)·보간(prolongation) 연산자가 사실상 같으며, 심지어 커널도 이항 계열로 같다. 그러나 하는 일이 다르다.

항목	굵은-고운 광류	다중격자 V-사이클
거친 격자의 역할	다음 레벨의 초기 추정값 공급	잔차 방정식을 풀어 보정량 공급
오가는 양	해(변위장)	잔차 → 보정
방향	위에서 아래로 한 번	아래위 왕복, 필요하면 여러 번
보장	없음(포획 반경만 넓힘)	조건 만족 시 $O(N)$ 수렴

즉 굵은-고운 전략은 다중격자의 중첩 반복(nested iteration, FMG의 앞부분)에 해당할 뿐, 잔차 보정 사이클이 없다. 그래서 비선형 광류 에너지를 진짜 다중격자로 푸는 연구가 따로 있고, 실제로 굵은-고운 단독 대비 수십 배 빨라진다. “피라미드를 쓴다”는 말이 곧 “멀티그리드를 쓴다”는 뜻은 아니다.

6. 그래픽스 쪽의 같은 물건[편집]

밉맵은 이름만 다른 이미지 피라미드다. 목적도 동일하다 — 표본화율에 맞춰 미리 대역을 잘라 안티앨리어싱하는 것. 메모리 $4/3$ 배라는 숫자도 똑같이 나온다. 다른 점은 취향의 문제에 가깝다.

밉맵은 보통 2×2 상자 필터 평균으로 만든다. 이항 5탭보다 싸지만 주파수 응답의 옆귀(sidelobe)가 커서 잔여 에일리어싱이 남는다. 화질에 민감한 파이프라인은 밉 생성에 이항·란초시 커널을 쓴다.
밉맵은 화소 발자국을 정사각형으로 가정한다. 비스듬한 표면에서는 발자국이 길쭉해져 짧은 축 기준으로 과도하게 흐려지고, 이걸 잡는 것이 이방성 필터링이다. 영상처리 피라미드는 애초에 등방 축소만 다루므로 이 문제가 없다. 자세한 것은 밉맵 문서로.
밉맵은 색을 평균하므로 선형 색공간에서 만들어야 한다. 감마 공간에서 평균 내면 원경이 어두워진다.

기하 쪽의 레벨 오브 디테일, 그리고 실시간 렌더링의 가상 텍스처링·클립맵도 같은 발상의 변주다.

7. 연속 스케일 공간과 이산 피라미드의 간극[편집]

피라미드는 공짜가 아니다. 이론이 보장하던 성질 몇 개를 잃는다.

하나. 스케일 축이 성기다. 옥타브당 한 층뿐이면 스케일 해상도가 $2\times$ 다. 반지름 1.4배 차이 나는 물체를 구분할 수 없다는 뜻이라, SIFT는 옥타브를 $s$ 등분해 비율 $k=2^{1/s}$ 로 층을 더 깐다(원 논문 $s=3$ ). 옥타브가 끝나면 어차피 $\sigma$ 가 2배가 되었으니 다운샘플해도 정보 손실이 없고, 그래서 큰 $\sigma$ 를 큰 커널로 계산하는 낭비가 사라진다. 옥타브당 비용이 $1 + \frac14 + \frac1{16} + \cdots = \frac43$ 이므로 피라미드 전체가 원본 한 장의 1.33배로 끝난다는 것이 피라미드가 존재하는 근본 이유다.

둘. 이동 불변성이 깨진다. 데시메이션은 격자 위상에 의존하므로, 영상을 화소 하나 옮기면 위층 값이 달라진다. 연속 스케일 공간은 이동 등변이지만 이산 피라미드는 아니다. 이것이 부화소 보정이 선택이 아니라 필수인 이유이고, 특징점 위치를 2차 곡면 맞춤으로 다듬지 않으면 반복성이 눈에 띄게 떨어진다. 합성곱 신경망의 스트라이드·풀링에서 같은 문제가 반복되며, “shift-invariant CNN” 논쟁이 실은 40년 된 데시메이션 에일리어싱 이야기의 재방송이다.³

셋. 방향이 없다. 가우스·라플라스 피라미드는 등방적이라 에지 방향 정보를 층 안에 섞어 버린다. 방향 선택성이 필요하면 시몬첼리·프리먼의 조향 가능 피라미드(steerable pyramid)나 가버 피라미드처럼 각 층을 방향별 대역으로 더 쪼갠다. 질감 합성·영상 품질 평가에서 표준으로 쓰인다.

넷. 인과성이 코드 수준에서 깨질 수 있다. 앞서 말한 평활 부족이 그것이다. “거친 층에서 원본에 없는 구조가 보인다”는 버그의 대부분이 여기서 나온다.

8. 어디에 더 쓰이나[편집]

특징점 검출. SIFT의 DoG 피라미드, ORB의 다중 스케일 FAST가 전부 이 구조 위에 있다.
탐색 가속. 템플릿 매칭·물체 검출에서 거친 층으로 후보를 줄이고 고운 층에서 확정한다. 슬라이딩 윈도 검출기의 표준 형태.
잡음제거·톤매핑. 층별로 다른 게인을 주면 국소 대비 조절이 된다. 다만 라플라시안 층에 무리한 게인을 주면 에지 근처에 후광(halo)이 생기는데, 이 문제를 정면으로 다룬 것이 에지 인지 필터 계열과 비등방성 확산이다.
딥러닝. 특징 피라미드 네트워크(FPN), U-Net의 스킵 연결, 라플라시안 피라미드형 초해상도(LapSRN)와 점진적 성장 GAN이 전부 같은 계층 구조를 학습 가능한 형태로 재현한 것이다.
라돈 변환 기반 재구성. 다해상도 재구성은 각도 표본이 부족할 때 거친 성분부터 안정적으로 복원하는 정칙화 전략으로 쓰인다.

한 줄로 줄이면 이미지 피라미드는 ” $4/3$ 배의 메모리로 모든 스케일을 사는 거래” 이며, 40년 동안 이보다 싼 거래는 나오지 않았다.

9. 관련 문서[편집]

Burt, P. J. & Adelson, E. H. (1983). “The Laplacian Pyramid as a Compact Image Code”, IEEE Trans. Communications 31(4). 제목이 압축 논문인데 정작 압축 표준은 못 됐고, 같은 해 두 사람이 낸 자매 논문 “A Multiresolution Spline with Application to Image Mosaics”의 블렌딩이 대박을 쳤다. 논문이 어디로 팔릴지는 저자도 모른다. ↩
사과 반쪽과 오렌지 반쪽을 이어 붙인 그 그림. 단순 페이드로 만들면 경계에 흐린 띠가 보이고, 딱 자르면 선이 보이는데, 멀티밴드로 섞으면 “원래 그런 과일이 있었나” 싶은 물건이 나온다. 요즘 스마트폰 파노라마가 이음매 없이 붙는 것도 결국 이 40년 된 알고리즘 덕이다. ↩
스트라이드 2 합성곱과 맥스풀링은 저역통과 없이 데시메이션하는 연산이다. 입력을 한 화소 옮기면 분류 결과가 뒤집히는 사례가 보고되자 “풀링 앞에 흐림 커널을 넣자”는 처방이 나왔는데, 그 커널이 하필 $[1,2,1]$ · $[1,4,6,4,1]$ 계열의 이항 커널이다. 1983년에 버트와 애덜슨이 쓰던 그 커널이 맞다. 분야가 바뀌어도 나이퀴스트는 안 바뀐다. ↩