해밀턴-야코비-벨만 방정식

최적설계 수치해석 시뮬레이션 마지막 수정: 2026-08-11 04:22:51

1. 개요[편집]

해밀턴-야코비-벨만 방정식(Hamilton-Jacobi-Bellman equation, HJB)은 동적 계획법의 연속시간 극한으로 얻어지는 비선형 1계 편미분방정식이며, 최적 제어 문제의 가치함수가 만족해야 하는 방정식이다. 폰트랴긴 최대 원리가 특정 초기 상태 하나에 대한 개회로 궤적을 주는 데 반해, HJB는 모든 상태에서의 최적 되먹임 법칙을 한꺼번에 준다. 대가는 편미분방정식을 상태공간 전체에서 풀어야 한다는 것이고, 그 대가가 바로 차원의 저주다.

이름은 세 사람에게서 왔다. 해밀턴과 야코비의 고전역학 해밀턴-야코비 방정식에, 벨만이 최적성 원리에서 얻은 제어에 대한 최소화를 얹은 형태이기 때문이다. 실제로 제어를 없애면(허용 입력이 한 점이면) 정확히 고전 해밀턴-야코비 방정식으로 되돌아간다.

2. 최적성 원리에서 편미분방정식으로[편집]

상태 $x$ , 시각 $t$ 에서 남은 최소 비용을 가치함수

V(x,t) = \min_{u(\cdot)} \left\{ \phi\big(x(t_f)\big) + \int_{t}^{t_f} L(x,u,s)\,ds \right\}

로 정의한다. 벨만의 최적성 원리 — “최적 궤적의 뒷부분은 그 중간 상태에서 출발하는 문제의 최적 궤적이다” — 를 아주 짧은 구간 $[t, t+\Delta t]$ 에 적용하면

V(x,t) = \min_{u} \left\{ L(x,u,t)\,\Delta t + V\big(x + f(x,u,t)\Delta t,\; t + \Delta t\big) \right\} + o(\Delta t)

가 된다. 우변을 테일러 전개하고 $\Delta t \to 0$ 을 취하면 HJB가 떨어진다.

-\frac{\partial V}{\partial t}(x,t) = \min_{u \in \mathcal{U}} \left\{ L(x,u,t) + \nabla_x V(x,t)^{\top} f(x,u,t) \right\}, \qquad V(x,t_f) = \phi(x)

중괄호 안이 정확히 PMP의 해밀토니안 $H = L + \lambda^\top f$ 이고, 여기서 $\lambda$ 자리에 $\nabla_x V$ 가 앉아 있다. 최소값을 하부 해밀토니안

\mathcal{H}(x,p,t) = \min_{u \in \mathcal{U}} \left\{ L(x,u,t) + p^{\top} f(x,u,t) \right\}

로 묶으면 방정식은 $V_t + \mathcal{H}(x, \nabla_x V, t) = 0$ 이라는 깔끔한 꼴이 된다. 종단 조건에서 시간을 거꾸로 푸는 것이 특징이며, 무한 지평 할인 문제에서는 시간 의존성이 사라져 정상 HJB $\rho V = \min_u\{L + \nabla V^\top f\}$ 가 된다.

3. 검증 정리 — 필요조건이 아니라 충분조건[편집]

PMP와의 결정적 차이가 여기 있다. PMP는 필요조건이라 그것을 만족하는 후보가 여러 개 나올 수 있고, 어느 것이 진짜 최적인지는 따로 따져야 한다. HJB에는 검증 정리(verification theorem)가 붙는다.

어떤 매끄러운 함수 $W(x,t)$ 가 HJB와 종단 조건을 만족하고, 각 $(x,t)$ 에서 최소를 달성하는 $u^*(x,t)$ 가 존재하면, $W$ 는 진짜 가치함수이고 $u^*$ 는 최적 되먹임 법칙이다.

증명은 임의의 허용 입력에 대해 $\frac{d}{ds}W(x(s),s) \ge -L$ 을 적분하는 두 줄이면 끝난다. 즉 HJB의 해를 하나 찾아내면 그것이 최적이라는 증명서가 딸려 온다. 되먹임 형태라서 외란이 들어와도 그때의 상태에서 다시 최적이라는 것도 공짜로 얻는다.

문제는 “매끄러운”이라는 단어다.

4. 왜 점성해가 필요한가[편집]

가치함수는 아주 얌전한 문제에서도 미분 불가능해진다. 전형적인 예가 최소시간 도달 문제다. 장애물을 우회해 목표에 가는 최단 시간 $V(x)$ 를 생각해 보자. 왼쪽으로 도는 경로와 오른쪽으로 도는 경로가 정확히 같은 시간이 걸리는 점들이 있고, 그 선을 가로지르면 최적 궤적의 방향이 불연속적으로 바뀐다. $V$ 는 그 선 위에서 꺾인다 — 기울기가 두 개인 능선(kink)이 생긴다. 레벨셋 방법에서 신호가 양쪽에서 만나 충격이 생기는 그림과 같은 현상이고, 실제로 HJ 방정식은 보존법칙의 충격파와 사촌 관계다.

여기서 두 가지가 동시에 터진다. 고전해(모든 점에서 미분 가능한 해)는 존재하지 않고, 거의 모든 점에서 만족하는 약해는 무수히 많다. 최적 제어가 답이 하나인 문제인데 방정식은 답을 특정하지 못하는 상황이다.

이를 정리한 것이 크랜들과 리옹의 점성해(viscosity solution, 1983)다. 발상은 이렇다. 점성항을 붙인

V^{\varepsilon}_t + \mathcal{H}(x, \nabla V^{\varepsilon}) = \varepsilon \Delta V^{\varepsilon}

는 2계 포물형이라 매끄러운 해가 유일하게 존재한다. $\varepsilon \to 0^+$ 의 극한으로 얻어지는 것을 진짜 해로 삼자는 것 — 이름의 유래다. 다만 실제 정의는 극한을 직접 다루지 않고 시험함수로 우회한다. $V$ 가 매끄러운 $\varphi$ 와 위에서 접하면( $V - \varphi$ 가 국소 최대) 부등식 한쪽을, 아래에서 접하면 반대쪽을 요구하는 방식이다. 미분을 시험함수로 떠넘겼기 때문에 $V$ 자신은 연속이기만 하면 된다.

이 정의의 값어치는 비교 원리에서 나온다. 점성 하해가 점성 상해 이하라는 것을 보일 수 있고, 여기서 존재성과 유일성, 그리고 수치해석에 결정적인 안정성이 따라온다. 가치함수가 유일한 점성해라는 정리 덕분에, 이제 “HJB를 푼다”는 말이 명확한 뜻을 갖는다.¹

부수 효과도 있다. $V$ 가 미분 가능한 점에서는 $\lambda(t) = \nabla_x V(x^*(t),t)$ 로 PMP의 수반변수가 정확히 복원되지만, 꺾이는 점에서는 준미분(subdifferential)이 여러 방향을 담고 있어 수반변수가 유일하지 않다. PMP 후보가 여러 개 나오는 상황이 여기서 설명된다.

5. PMP와의 관계 — 특성곡선[편집]

두 이론의 연결은 특성곡선법이 맡는다. $V_t + \mathcal{H}(x, \nabla V) = 0$ 을 특성곡선으로 풀면, 특성 방정식이

\dot{x} = \frac{\partial \mathcal{H}}{\partial p}, \qquad \dot{p} = -\frac{\partial \mathcal{H}}{\partial x}

가 되는데 이것이 바로 PMP의 상태-수반 정준계다. PMP의 2점 경계값 문제는 HJB 편미분방정식의 특성곡선 ODE였던 것이다. 그러면 앞의 이야기도 일관되게 읽힌다 — 특성곡선이 서로 교차하면 그 지점에서 $V$ 가 꺾이고, 같은 점을 지나는 특성이 여러 개라 PMP 극값도 여러 개가 되며, 어느 것이 최적인지는 특성곡선만 봐서는 알 수 없다. 점성해가 하는 일이 바로 그 선택 규칙을 못 박는 것이다.

정리하면 이렇다.

	폰트랴긴 최대 원리	HJB
성격	필요조건	필요충분(검증 정리 포함)
결과물	개회로 궤적 하나	상태공간 전체의 되먹임 법칙
미지수	시간의 함수 $x(t), \lambda(t)$	상태의 함수 $V(x,t)$
계산 규모	ODE 2점 경계값 문제	$n$ 차원 편미분방정식
차원의 저주	없음	정면으로 맞음

6. LQR — 저주를 피해 가는 유일한 통로[편집]

선형 동역학 $\dot{x} = Ax + Bu$ 에 이차 비용 $L = x^\top Q x + u^\top R u$ 를 얹으면 기적이 일어난다. $V(x,t) = x^\top P(t) x$ 라는 이차형식 가정을 넣어 보자. $V_t = x^\top \dot{P} x$ , $\nabla_x V = 2Px$ 이므로 HJB의 중괄호는

x^{\top}Qx + u^{\top}Ru + 2x^{\top}P(Ax + Bu)

이고, $u$ 에 대해 미분해 0으로 놓으면 $2Ru + 2B^\top P x = 0$ , 즉

u^{*} = -R^{-1}B^{\top}P\,x

가 나온다. 이걸 도로 대입하면 $u$ 관련 항이 $-x^\top PBR^{-1}B^\top P x$ 로 정리되어

-x^{\top}\dot{P}x = x^{\top}\left(A^{\top}P + PA - PBR^{-1}B^{\top}P + Q\right)x

즉 $-\dot{P} = A^\top P + PA - PBR^{-1}B^\top P + Q$ , 종단 조건 $P(t_f) = Q_f$ . 편미분방정식이 행렬 상미분방정식으로 축소됐다. 이차형식이 벨만 백업에 대해 닫혀 있기 때문에 가능한 일이고, 이것이 리카티 방정식이 제어공학을 지배하는 이유다. 상태가 100차원이어도 격자 없이 $100 \times 100$ 대칭행렬 하나만 적분하면 된다.

이 닫힘성은 아주 쉽게 깨진다. 입력 포화 $|u| \le u_{\max}$ 를 하나만 넣어도 $V$ 는 이차형식이 아니게 되고, 우리는 매 주기 이차계획을 푸는 모델 예측 제어의 세계로 끌려간다. 확률적 잡음이 들어가는 경우는 예외적으로 살아남는데, 확산항이 붙은 확률 HJB

-V_t = \min_{u}\left\{ L + \nabla V^{\top} f + \tfrac{1}{2}\,\mathrm{tr}\!\left(\sigma\sigma^{\top}\nabla^2 V\right)\right\}

에서 $\nabla^2 V = 2P$ 가 상수라 추가항이 $u$ 에 무관한 상수만 만들기 때문이다. 잡음이 이득을 바꾸지 않는다는 확실성 등가(certainty equivalence)가 여기서 나온다.

7. 수치 해법과 차원의 저주[편집]

일반적인 HJB는 격자로 푼다. 그리고 격자점 수는 상태 차원 $n$ 에 대해 $N^n$ 으로 늘어난다. 축당 100점이면 3차원에서 $10^6$ , 6차원에서 $10^{12}$ 다. 벨만이 직접 붙인 이름 그대로 차원의 저주이고, 반세기가 지나도 근본적으로 해결되지 않았다.²

단조 유한차분법. 상류차분으로 짠 도식이 단조·안정·정합이면 점성해로 수렴한다는 바를-수가니디스(1991) 정리가 이 분야의 기반이다. 중앙차분처럼 정확도만 높은 도식은 단조성을 잃고 엉뚱한 약해로 수렴할 수 있다 — 업윈드 기법이 필수인 이유가 정확도가 아니라 해의 선택에 있다는 점이 HJB의 특이한 사정이다.
반라그랑주 도식. 격자점에서 한 스텝 동안 동역학을 따라 역추적한 뒤 그 점의 값을 보간하는 방식. 사실상 이산 동적 계획법의 벨만 백업을 그대로 구현한 것이라, CFL 조건에 묶이지 않고 큰 시간 스텝을 쓸 수 있다.
고속 행진법과 스위핑. 정상 문제(등방적 최소시간, 즉 아이코날 방정식 꼴)에서는 정보가 값이 작은 쪽에서 큰 쪽으로만 흐른다. 이 단조성을 이용해 다익스트라 알고리즘처럼 우선순위 큐로 한 번만 훑으면 $O(N\log N)$ 에 끝난다(치치클리스 1995, 세시안 1996이 각각 독립적으로). 동역학이 이방적이면 정보 흐름이 이웃 격자를 벗어나므로 순서 상류 도식(OUM) 같은 확장이 필요하다.
도달가능 집합 계산. 안전 검증에서는 비용 대신 “충돌 없이 도달 가능한가”를 묻는데, 이것도 최소-최대 형태의 HJ 방정식이라 레벨셋 방법으로 푼다. 실무에서 4~5차원이 사실상 한계고, 그 위로는 문제를 저차원 부분계로 쪼개는 분해 기법에 의존한다.

저주를 우회하려는 시도는 크게 세 갈래다. 첫째는 함수 근사 — 텐서 분해, 희소 격자, 최대-플러스 대수 기반 방법처럼 $V$ 의 구조를 가정해 표현을 압축한다. 둘째는 표본 기반 접근, 즉 격자 대신 궤적 표본으로 가치함수를 추정하는 강화 학습이다. 액터-크리틱은 사실상 HJB의 최소화 부분과 잔차 부분을 각각 신경망에 맡긴 것이다. 셋째는 최근의 신경망 직접 근사로, $V$ 를 신경망으로 두고 HJB 잔차를 손실에 넣는 물리 정보 신경망 방식이나, 확률 HJB를 후향 확률미분방정식으로 바꿔 푸는 deep BSDE 계열이 100차원 규모를 다뤘다고 보고한다.

다만 여기엔 정직한 유보가 필요하다. 신경망 근사는 점성해로의 수렴 보증이 일반적으로 없다. 잔차 손실은 거의 모든 점에서 방정식을 만족시키려 할 뿐인데, 앞서 봤듯 약해는 무수히 많다. 격자 도식이 단조성을 지켜서 얻던 선택 규칙이 신경망에는 없다는 뜻이다. 매끄러운 문제에서는 잘 되고, 꺾이는 곳이 중요한 문제에서는 조심해야 한다는 것이 현재까지의 상식이다.³

8. 관련 문서[편집]

크랜들과 리옹의 1983년 논문은 제목부터 Viscosity solutions of Hamilton-Jacobi equations다. 리옹은 이 작업 등을 포함한 비선형 편미분방정식 기여로 1994년 필즈상을 받았다. 제어공학자들이 “그냥 컴퓨터로 풀면 되지 않나” 하던 방정식이 알고 보니 필즈상급 난제였다는 이야기. ↩
벨만 본인의 회고에 따르면 “dynamic programming”이라는 이름은 수학적 의미가 아니라 연구비 심사를 통과하기 위한 작명이었다. “programming”은 계획 수립, “dynamic”은 어감이 좋아서. 그렇게 붙은 이름이 지금 전 세계 코딩 테스트의 단골 유형이 됐다. ↩
그래서 논문의 “100차원 HJB를 풀었다”는 문장은 반드시 문제 종류를 확인하고 읽어야 한다. 대개 확산이 충분해서 해가 매끄러운 확률 문제이고, 능선이 살아 있는 결정론적 최소시간 문제를 100차원에서 풀었다는 뜻이 아니다. V&V 정신으로 말하면 — 격자 해와 비교한 그림이 없는 고차원 결과는 아직 검증 전이다. ↩