스케일 공간

컴퓨터 그래픽스 수치해석 마지막 수정: 2026-08-28 04:41:52

1. 개요[편집]

스케일 공간 Scale Space
정의	$L(x,y;t) = g(\cdot\,;t) * f$, $t=\sigma^2$ = 스케일 매개변수
제안	Witkin (1983) · Koenderink (1984) · Lindeberg (1990년대 체계화)
지배 방정식	$\partial_t L = \tfrac12\nabla^2 L$ — 열방정식 그 자체
핵의 유일성	선형 + 이동/회전 불변 + 반군 + 극값 비증강 ⟹ 가우시안
정규화 미분	$t^{\gamma/2}\partial_x$ — 스케일 간 비교를 가능하게 만드는 장치
대표 응용	블롭 검출(LoG/DoG) · 스케일 불변 특징 · 다해상도 탐색

물체의 크기를 모르는 채로 물체를 찾아야 한다. 답은 “모든 크기에서 동시에 본다”이다.

스케일 공간(scale space)은 원 영상 $f(x,y)$ 에 표준편차 $\sigma=\sqrt{t}$ 의 가우스 핵을 합성곱해 얻는 한 매개변수 영상족 $L(x,y;t)$ 전체를, 하나의 3차원 대상으로 취급하는 표현 방식이다. 스케일 $t$ 를 “튜닝 파라미터”가 아니라 좌표축 하나로 승격시키는 것이 이 관점의 전부이자 전부다.

L(x,y;t) = \int\!\!\int g(x-\xi,\,y-\eta;\,t)\,f(\xi,\eta)\,d\xi\,d\eta, \qquad g(x,y;t) = \frac{1}{2\pi t}\exp\!\left(-\frac{x^2+y^2}{2t}\right)

왜 이런 것이 필요한가. 에지 검출 문서가 정리해 놓은 딜레마 때문이다. 평활 폭 $\sigma$ 를 키우면 잡음에는 강해지지만 구조가 뭉개지고, 줄이면 위치는 정확해지지만 잡음 극대가 쏟아진다. 그리고 “올바른 $\sigma$ “는 존재하지 않는다. 나뭇잎을 볼지 나무를 볼지 숲을 볼지는 영상이 아니라 질문이 정한다. 위트킨은 이 사실을 받아들이고 방향을 틀었다 — 하나를 고르지 말고 전부 계산해 놓고, 스케일 축에서 구조가 어떻게 태어나고 죽는지를 관찰하자.¹

2. 왜 하필 가우시안인가[편집]

“매끄럽게 하려면 그냥 상자 필터나 중간값 필터를 쓰면 안 되나?” 이 질문에 대한 답이 스케일 공간 이론의 진짜 내용이다. 결론부터 말하면 몇 개의 상식적 요구를 적으면 가우스 핵 말고 다른 선택지가 남지 않는다.

요구 사항은 이렇다.

선형성·이동 불변성. 평활은 합성곱이어야 한다(위치마다 다르게 굴면 곤란하다).
회전 대칭성. 영상을 돌려 놓고 평활한 것과 평활하고 돌린 것이 같아야 한다.
반군 성질(semigroup). $g(\cdot;t_1) * g(\cdot;t_2) = g(\cdot;t_1+t_2)$ . 두 번 나눠 평활한 것이 한 번에 그만큼 평활한 것과 같아야 한다. 스케일 축이 “누적된 흐릿함”이라는 하나의 좌표로 성립하려면 필수다.
인과성(causality) / 극값 비증강. 스케일을 키울 때 없던 구조가 새로 생기면 안 된다. 굵게 볼수록 정보는 줄어들기만 해야지, 거친 스케일에서 관찰된 무언가가 원 영상에 없는 허구라면 그 표현은 못 쓴다.

쾨넨데링크가 1984년에 이 인과성 요구를 “스케일 공간에서 등밝기면이 새로 생기지 않을 것”으로 정식화하고, 그것이 확산 방정식과 동치임을 보였다. 이후 린데베르크가 이산·연속 양쪽에서 공리계를 정리해 위 조건들로부터 가우스 핵이 유일하게 결정된다는 것을 증명했다.

여기서 흔히 잘못 인용되는 대목 하나를 짚어야 한다. “가우스 평활은 새 극값을 만들지 않는다”는 명제는 1차원에서만 참이다. 1차원 신호에서는 $t$ 가 커질 때 국소 극값 개수(또는 $\partial_x L$ 의 영교차 수)가 단조 비증가한다는 것이 정리로 성립하지만, 2차원에서는 반례가 존재해 성립하지 않는다. 2차원 이상에서 올바른 진술은 극값 비증강(non-enhancement of local extrema)이다 — 어떤 점이 그 스케일에서 공간적 국소 최대이면 그 점에서 $\partial_t L \le 0$ (최소이면 $\ge 0$ ), 즉 극값이 스케일이 커지며 더 뾰족해지지는 않는다. 새 극값이 아예 안 생긴다는 보장이 아니라 있던 극값이 강해지지 않는다는 보장이고, 공리로서 가우시안의 유일성을 이끄는 것은 이 약한 쪽이다. 스케일 공간을 처음 소개하는 글의 절반쯤이 이 구분을 흘려서, 실제로 2차원 반례 그림을 보고 당황하는 사람이 꾸준히 나온다.

3. 열방정식과 같은 물건이다[편집]

가우스 핵은 열방정식의 기본해다. 그러니 스케일 공간은 다음 초기값 문제의 해 그 자체다.

\frac{\partial L}{\partial t} = \frac12\nabla^2 L, \qquad L(x,y;0) = f(x,y)

이 등가성이 실용적으로 세 가지를 뜻한다.

하나. “평활”이 아니라 “확산”이다. 스케일을 키우는 행위는 영상 밝기를 열처럼 퍼뜨리는 물리 과정이며, 그래서 최대값 원리가 성립한다(새 밝기 극단이 생기지 않는다). 앞 절의 인과성이 곧 확산의 최대값 원리다.

둘. 가우스 합성곱은 지수 적분기다. 열방정식을 유한차분법으로 명시적으로 시간전진하면 2차원에서 $\Delta t \le h^2/4$ 라는 제약을 받고, $\sigma=8$ 짜리 평활 하나에 수백 스텝이 든다. 반면 가우스 합성곱은 해 연산자 $e^{t\nabla^2/2}$ 를 한 방에 정확히 적용하는 것이다. 그래서 선형 스케일 공간을 만들 때는 아무도 시간전진을 하지 않는다. 반대로 확산계수가 밝기에 의존하는 비선형 확산으로 넘어가는 순간 해석해가 사라져 다시 시간전진을 해야 하고, 그제야 안정성·암시적 스킴·AOS 분할 같은 수치해석 이야기가 논문에 등장한다.

셋. 부호를 뒤집으면 지옥이 열린다. $t$ 를 줄이는 방향(디컨볼루션, 역확산)은 후향 열방정식이라 잘못된 문제다. 고주파가 지수적으로 증폭되므로 “흐린 사진을 정확히 되돌리기”는 정칙화 없이는 불가능하다.² 티호노프 정규화와 역문제가 필요해지는 전형적인 자리.

계산 측면 실무 팁도 여기서 나온다. 가우스 핵은 분리 가능하므로 2차원 $O(k^2)$ 를 가로·세로 1차원 두 번 $O(k)$ 로 줄인다. 핵은 보통 $\pm 3\sigma \sim \pm 4\sigma$ 에서 자른다( $4\sigma$ 면 꼬리 손실이 $10^{-4}$ 수준). $\sigma$ 가 커지면 재귀 IIR 근사(데리슈, 영-판블리트)로 $\sigma$ 와 무관하게 화소당 상수 시간을 낼 수 있고, 아주 큰 $\sigma$ 는 고속 푸리에 변환으로 곱셈 한 번에 끝낸다. 상자 필터를 세 번 반복하면 중심극한정리에 의해 가우스에 꽤 가까워지는데, 적분 영상과 결합하면 임의 폭이 상수 시간이라 SURF 같은 기법이 이 근사를 택했다.

4. 정규화 미분 — 스케일을 가로질러 비교하려면[편집]

스케일 공간의 진짜 목적은 흐릿한 영상을 얻는 것이 아니라 여러 스케일의 응답을 서로 비교하는 것이다. 그런데 그냥 비교하면 안 된다. 가우스 미분의 진폭이 스케일에 따라 체계적으로 줄어들기 때문이다. $\partial_x g$ 의 최대 크기는 $\sigma$ 에 반비례하고, $k$ 계 미분이면 $\sigma^{-k}$ 로 죽는다. 그러니 “가장 강한 응답을 주는 스케일”을 그냥 찾으면 언제나 가장 고운 스케일이 이기는 시시한 결과가 나온다.

린데베르크의 처방이 정규화 미분이다.

\partial_{\xi} = t^{\gamma/2}\,\partial_x, \qquad \partial_{\eta} = t^{\gamma/2}\,\partial_y

즉 $k$ 계 미분에 $t^{k\gamma/2}$ 를 곱해 스케일 의존성을 상쇄한다. $\gamma=1$ 이 표준이며, 이때 정규화 미분 연산자는 자기 크기에 맞는 구조에서 최대 응답을 낸다. 그러면 이제 “여러 스케일 중 정규화 응답이 최대인 곳”이라는 질문이 의미를 갖는다. 이것이 스케일 선택(scale selection) 원리다.

가장 유명한 사례가 블롭 검출이다. 정규화 라플라시안

\nabla^2_{\text{norm}} L = t\,\bigl(L_{xx} + L_{yy}\bigr)

의 $(x,y,t)$ 공간 극값을 찾으면 위치와 크기를 동시에 얻는다. 반지름 $R$ 인 원판에 대해 중심에서의 $|\nabla^2_{\text{norm}}L|$ 은 $t = R^2/2$ 에서 최대가 된다 — 검출된 스케일이 물체 크기를 직접 알려 준다는 뜻이고, 이게 스케일 불변 특징의 출발점이다. 같은 방식으로 정규화 헤시안 행렬식은 얼룩·능선을, 정규화 구조 텐서는 코너를 스케일과 함께 잡는다.

5. LoG·DoG와 SIFT[편집]

LoG 필터는 비싸다(2차 미분 커널을 스케일마다). 그런데 열방정식이 공짜 근사를 준다. $\partial L/\partial \sigma = \sigma\nabla^2 L$ 이므로 차분으로

L(x,y;k\sigma) - L(x,y;\sigma) \;\approx\; (k-1)\,\sigma^2\,\nabla^2 L

즉 두 가우스 평활 영상의 차(DoG, Difference of Gaussians)가 정규화 LoG에 상수배로 비례한다. 스케일별 영상을 어차피 만들어 놓았으니 뺄셈 한 번이면 되고, 상수배는 극값 위치를 바꾸지 않으므로 검출에는 지장이 없다. 이 한 줄의 트릭 덕에 스케일 공간 블롭 검출이 실시간 예산 안으로 들어왔다.

로우의 SIFT(1999/2004)가 이 위에 세워졌다.³ 뼈대만 적으면 이렇다.

DoG 스케일 공간 구축. 옥타브당 $s$ 개 구간, 비율 $k=2^{1/s}$ (원 논문 $s=3$ , 시작 $\sigma=1.6$ ). 한 옥타브가 끝나면 영상을 절반으로 다운샘플해 다음 옥타브를 시작하므로, 큰 $\sigma$ 를 큰 커널로 계산하는 낭비가 없다.
극값 검출. 각 화소를 같은 층 8개 + 위아래 층 9+9개, 총 26개 이웃과 비교해 $(x,y,\sigma)$ 3차원 국소 극값을 고른다.
부화소·부스케일 보정. DoG를 극값 근처에서 2차 테일러 전개해 정점을 푼다. 동시에 대비가 낮은 점과 에지 위의 불안정한 점을 버리는데, 후자는 2×2 헤시안의 $\operatorname{tr}^2/\det$ 가 임계 이상이면(주곡률 비가 크면) 제거하는 방식이다. 코너 판정과 같은 논리.
방향 배정과 기술자. 국소 기울기 방향 히스토그램의 최빈값을 기준 방향으로 잡아 회전 불변성을 얻고, 4×4 구획 × 8 방향 = 128차원 기술자를 만든다.

여기서 스케일 공간이 한 일은 2번까지다. 나머지는 기술자 설계인데, “어느 스케일에서 볼지”를 알고리즘이 스스로 정했다는 점이 SIFT를 스케일 불변으로 만든 유일한 이유다. 같은 발상에 다른 검출기를 얹은 해리스-라플라스, 헤시안-라플라스, 그리고 아핀 변형까지 흡수하는 아핀 적응 계열이 뒤따랐고, 그 전부가 정규화 미분의 스케일 극값이라는 한 원리 위에 있다. 자세한 비교는 특징점 검출 쪽 이야기다.

6. 피라미드 — 구현의 현실[편집]

이론상 스케일 공간은 $(x,y,t)$ 의 연속 3차원이지만, 실제로는 이미지 피라미드 로 구현한다. $\sigma$ 가 두 배가 되면 유효 대역폭이 절반이 되므로, 나이퀴스트를 넘지 않는 한 표본을 절반으로 줄여도 정보 손실이 없다. 그러니 큰 $\sigma$ 를 큰 커널로 때리는 대신 작은 커널 + 다운샘플을 반복한다. 옥타브당 비용이 $1 + 1/4 + 1/16 + \cdots \to 4/3$ 로 수렴하니 피라미드 전체가 원 영상 한 장의 1.33배밖에 안 든다.

주의할 것은 하나다. 다운샘플 전에 충분히 흐리게 하지 않으면 에일리어싱이 들어간다. 표본 간격을 2배로 늘리기 전에 최소한 $\sigma\gtrsim 1$ 정도의 평활이 필요하고, 이걸 안 지키면 거친 레벨에 원본에 없던 모아레 구조가 나타난다 — 그 순간 인과성 공리가 코드 수준에서 깨진 것이다. “거친 스케일에서 이상한 게 보인다”는 버그의 압도적 다수가 여기다.

같은 자료구조가 다른 이름으로 여러 분야에 가 있다. 렌더링에서는 밉맵이 바로 가우스(내지 상자) 피라미드이며, 목적도 똑같다 — 표본화 주파수에 맞춰 미리 대역을 잘라 안티앨리어싱하는 것. 레벨 오브 디테일의 기하 버전, 다중격자법의 격자 계층, 웨이블릿 변환의 다중해상도 분해가 전부 사촌지간이다. 다만 웨이블릿은 직교·완전 재구성을 목표로 대역을 쪼개는 반면 가우스 스케일 공간은 재구성을 포기하고 구조 관찰을 택했다는 점이 다르다. 압축에는 웨이블릿이, 검출에는 스케일 공간이 이긴 이유가 그 차이다.

7. 이산 스케일 공간[편집]

이론은 연속이고 코드는 격자다. 이 간극이 생각보다 성가시다. 연속 가우스를 격자에서 표본만 뜬 핵은 반군 성질과 극값 비증가 성질을 정확히 만족하지 않고, 특히 $\sigma$ 가 작을 때(대략 $\sigma < 0.8$ ) 눈에 띄게 어긋난다. 극단적으로 $\sigma \to 0$ 이면 표본 가우스는 $[0,1,0]$ 이 아니라 여전히 옆 화소에 미미한 무게를 남기거나, 반대로 정규화 때문에 요상한 응답을 낸다.

린데베르크가 제시한 올바른 답은 공간만 이산화한 확산 방정식을 정확히 푸는 것이다. $\partial_t L_n = \tfrac12(L_{n+1}-2L_n+L_{n-1})$ 의 해 커널은

T(n;t) = e^{-t}\,I_n(t)

로, $I_n$ 은 변형 베셀 함수다. 이 이산 가우스 핵은 반군 성질을 정확히 만족하고 1차원 이산 신호에서 국소 극값을 새로 만들지 않는다는 것이 증명된다. 실무에서 굳이 베셀 함수를 부르는 경우는 드물지만, 아주 작은 스케일을 다루거나 스케일 공간의 성질 자체를 검증할 때는 이쪽이 정답이다. 흔한 절충은 이항 계수 핵( $[1,2,1]/4$ 의 반복 합성곱)을 쓰는 것으로, 이것도 극값을 새로 만들지 않고 구현이 정수 연산이라 싸다.

8. 비선형으로 나가면[편집]

선형 스케일 공간의 유일한 그러나 치명적인 약점은 경계도 같이 뭉갠다는 것이다. 확산은 물체가 어디 있는지 모른다. 그래서 스케일을 올릴수록 잡음도 줄지만 에지 위치도 곡률 중심 쪽으로 밀린다.

처방은 확산계수를 상수에서 밝기 기울기의 함수로 바꾸는 것이다.

\frac{\partial u}{\partial t} = \nabla\cdot\bigl(c(|\nabla u|)\,\nabla u\bigr), \qquad c(s) = \frac{1}{1+(s/K)^2}

기울기가 큰 곳(에지)에서 확산을 꺼 버리는 페로나-말릭 모형이며, 이 방향의 전개가 비등방성 확산이다. 이때 가우스 반군도 인과성 정리도 잃고, 어떤 파라미터 영역에서는 방정식이 국소적으로 후향 확산이 되어 잘못된 문제가 된다는 논란까지 따라온다. 대신 에지를 지키며 잡음을 죽인다. 같은 목적을 변분으로 접근한 것이 전변분 잡음제거이고, 그 오일러-라그랑주 방정식이 곡률 확산이라는 점에서 두 계보는 결국 만난다.

9. 해석·시뮬레이션 쪽에서[편집]

에지 검출의 $\sigma$ 문제. 여러 스케일에서 검출하고 거친 것에서 고운 것으로 추적해 위치를 보정하는 에지 포커싱이 표준 처방이며, 그 사고틀이 스케일 공간이다.
능동 형상 모형·활성 윤곽선의 다해상도 탐색. 거친 레벨에서 캡처 반경을 벌고 고운 레벨에서 정밀도를 얻는 굵은-고운 전략은 사실상 모든 영상 정합·정렬의 국룰이다. 초기값에 민감한 비볼록 문제를 다루는 일반적 처방이기도 하다.
계측 영상 처리. PIV·계면 추적에서 관심 구조의 크기를 알면 그 크기에 맞춰 $t$ 를 고정하는 것이 잡음 대비 최적이다. 여기서는 스케일 선택을 자동화하기보다 물리로 정하는 쪽이 맞다.
신경망과의 관계. 합성곱 신경망의 층별 수용장 확대, 팽창 합성곱, 특징 피라미드 네트워크는 전부 학습된 스케일 공간이라고 볼 수 있다. 다만 학습된 필터는 인과성 공리를 만족하지 않으므로 “거친 층에 없던 게 생겼다”는 것이 가능하고, 실제로 그 덕에 표현력이 더 크다.

한 줄로 요약하면 스케일 공간은 “관측 크기를 정하지 않은 채로 관측하는 법” 이고, 그 답이 하필 열방정식이었다는 것이 이 이론의 미학이다. 영상처리 논문에 확산이 나오면 놀랄 일이 아니라 당연한 일이다.

10. 관련 문서[편집]

Witkin, A. (1983). “Scale-Space Filtering”, IJCAI. 위트킨의 원 논문은 1차원 신호를 다루면서 극값이 스케일을 따라 그리는 궤적을 “지문(fingerprint)“이라 불렀고, 그 궤적이 이루는 나무 구조로 신호를 요약하려 했다. 2차원으로 올리는 순간 그 나무가 훨씬 지저분해진다는 사실이 곧 드러났지만, “스케일을 축으로 승격시킨다”는 발상만으로 분야 하나가 열렸다. ↩
후향 확산이 왜 위험한지는 푸리에 영역에서 한 줄이다. 전향 확산은 파수 $k$ 성분에 $e^{-tk^2/2}$ 를 곱하고, 후향은 $e^{+tk^2/2}$ 를 곱한다. $\sigma=2$ 짜리 흐림을 정확히 되돌리려 하면 화소 단위 잡음이 천문학적으로 증폭된다. “AI가 흐린 사진을 선명하게 복원했다”는 말은 정보를 되찾았다는 뜻이 아니라 그럴듯한 것을 지어냈다는 뜻이며, 이 구분은 과학·계측 영상에서 결정적으로 중요하다. ↩
Lowe, D. (2004). “Distinctive Image Features from Scale-Invariant Keypoints”, IJCV 60(2). SIFT는 특허(만료됨) 때문에 오픈소스 진영에서 오랫동안 SURF·ORB 같은 대체재를 쓰게 만든 원흉이기도 했다. 딥러닝 이후에도 카메라 자세 추정·SfM 파이프라인에서는 여전히 살아 있는데, 학습 데이터 분포 밖에서도 성능이 예측 가능하다는 고전 기법 특유의 장점 때문이다. ↩