확률미분방정식

1. 개요[편집]

확률미분방정식 Stochastic Differential Equation
약칭	SDE
표준형	dX = a(X,t)dt + b(X,t)dW
기본 적분기	오일러-마루야마 (강 0.5 / 약 1.0)
고차 적분기	밀슈타인 (강 1.0 / 약 1.0)
표준 교재	Kloeden & Platen (1992)

ODE는 초기조건만 주면 답이 하나다. SDE는 같은 초기조건으로 백만 번 돌려서 백만 개의 답을 얻고, 그중 무엇을 믿을지 정하는 게 절반의 일이다.

확률미분방정식(stochastic differential equation, SDE)은 결정론적인 변화율에 브라운 잡음 항이 더해진 미분방정식으로, 표준형은 다음과 같이 쓴다.

$$dX_t = a(X_t, t)\,dt + b(X_t, t)\,dW_t$$

여기서 $a$ 는 드리프트(drift), $b$ 는 확산(diffusion) 계수, $W_t$ 는 브라운 운동(위너 과정)이다. 문제는 $dW_t$ 가 통상적인 의미로 존재하지 않는다는 것 — $W_t$ 는 어디서도 미분되지 않고 유계변동도 아니라서, 위 식은 미분 형태의 약칭일 뿐이고 진짜 뜻은 적분형 $X_t = X_0 + \int_0^t a\,ds + \int_0^t b\,dW_s$ 이다. 그 두 번째 적분을 어떻게 정의하느냐가 이토 적분 문서의 주제이고, 이 문서는 그걸 컴퓨터로 어떻게 굴리는가를 다룬다.

물리 쪽에서 관성이 살아 있는 형태(랑주뱅 동역학)나 분포의 시간 발전(포커-플랑크 방정식) 각도는 각 문서에 있고, 여기서는 적분기와 수렴 차수가 주인공이다.

2. 오일러-마루야마[편집]

ODE의 전진 오일러법에 잡음 항을 그대로 얹은 것이 오일러-마루야마(Euler–Maruyama, EM) 도식이다.

$$X_{n+1} = X_n + a(X_n, t_n)\Delta t + b(X_n, t_n)\,\Delta W_n, \qquad \Delta W_n \sim \mathcal{N}(0, \Delta t)$$

핵심은 $\Delta W_n$ 의 표준편차가 $\Delta t$ 가 아니라 $\sqrt{\Delta t}$ 라는 것이다. 시간 간격을 100분의 1로 줄여도 한 스텝의 잡음은 10분의 1로밖에 안 줄어든다. SDE 적분기가 ODE 적분기보다 항상 한 수 아래로 보이는 이유가 여기서 시작된다. 난수는 박스-뮐러 변환 같은 표준 정규 생성기로 뽑고, 그 밑단은 메르센 트위스터나 카운터 기반 생성기가 담당한다.

구현은 세 줄이면 끝나지만, 세 줄짜리라고 아무 데나 쓰면 안 된다는 게 아래 두 절의 요지다.

3. 강수렴과 약수렴[편집]

SDE 적분기의 오차는 두 가지 전혀 다른 방식으로 잰다.

• 강수렴(strong convergence) 차수 $\gamma$: 같은 브라운 경로를 쓴 정확해와 수치해의 경로별 오차. $\mathbb{E}\lvert X_T - X_T^{\Delta}\rvert \le C\,\Delta t^{\gamma}$.
• 약수렴(weak convergence) 차수 $\beta$: 분포(적률)의 오차. 적당한 시험함수 $g$ 에 대해 $\lvert \mathbb{E}[g(X_T)] - \mathbb{E}[g(X_T^{\Delta})]\rvert \le C\,\Delta t^{\beta}$.

EM은 강 0.5, 약 1.0이다. 강 0.5인 이유는 이토-테일러 전개를 한 줄만 더 써 보면 보인다. 한 스텝의 확산 적분은

$$\int_{t_n}^{t_{n+1}} b(X_s)\,dW_s = b(X_n)\,\Delta W_n + b(X_n)b'(X_n)\int_{t_n}^{t_{n+1}}\!\!\int_{t_n}^{s} dW_u\,dW_s + \cdots$$

인데, 이중 위너 적분 $\int\!\int dW\,dW$ 는 크기가 $\Delta t$ 차수다(즉 $\Delta W$ 의 제곱 스케일). EM은 이 항을 통째로 버리므로 국소 오차가 $O(\Delta t)$ 이고, 이 오차들이 서로 독립·평균 0에 가까워 $N = T/\Delta t$ 스텝에 걸쳐 $\sqrt{N}$ 배로 쌓이면 전역 강오차가 $\sqrt{N}\cdot\Delta t = \sqrt{T\Delta t}$, 곧 $\Delta t^{1/2}$ 가 된다. 반면 기댓값만 보는 약수렴에서는 그 평균 0 항들이 서로 상쇄되어 차수가 1.0으로 회복된다.

어느 쪽이 필요한지는 무엇을 계산하는가로 갈린다. 최종 시각의 기댓값 하나만 뽑는다면 약수렴만 있으면 되고, 경로 의존 페이오프(최댓값·평균·정지시각), 궤적 시각화, 감도 해석, 그리고 뒤에 나올 다층 몬테카를로처럼 거친 경로와 미세 경로를 짝지어야 하는 계산에서는 강수렴이 본질적이다.¹

4. 밀슈타인 도식과 다차원의 벽[편집]

버린 이중 적분을 되살리면 밀슈타인(Milstein) 도식이 된다. 1차원에서 $\int\!\int dW dW = \tfrac12((\Delta W)^2 - \Delta t)$ 라는 닫힌 꼴이 있으므로

$$X_{n+1} = X_n + a\Delta t + b\,\Delta W_n + \tfrac{1}{2} b\,b'\left[(\Delta W_n)^2 - \Delta t\right]$$

로 강수렴 차수가 1.0으로 올라간다. 추가 비용은 난수 한 개도 없이 곱셈 몇 번뿐이라 1차원에서는 사실상 공짜다.

여기서 바로 따라오는 결론이 가법 잡음이면 밀슈타인 = EM이라는 것. $b$ 가 상수면 $b' = 0$ 이라 보정항이 사라지고, 그 말은 곧 가법 잡음 SDE에서는 EM도 이미 강수렴 1.0이라는 뜻이다. 랑주뱅 동역학류가 EM 계열 적분기로도 그럭저럭 버티는 이유가 이것이다.

다차원에서는 이야기가 달라진다. 서로 다른 두 잡음 성분에 대한 교차 이중 적분 $\int\!\int dW^i dW^j$ ($i \ne j$)는 증분 $\Delta W^i, \Delta W^j$ 만으로는 결정되지 않는다. 그 차이가 레비 면적(Lévy area)이고, 이걸 얻으려면 별도의 근사 표본추출(푸리에 급수 절단 등)을 돌려야 해서 잡음 차원 $m$ 에 대해 비용이 $O(m^2)$ 이상으로 뛴다. 그래서 실무에서는 교환 조건(commutativity)이 성립하는 특수한 경우가 아니면 다차원 밀슈타인을 포기하고 EM + 작은 $\Delta t$ 로 가는 일이 흔하다.

5. 강성, 암시적 도식, 폭발[편집]

드리프트가 강성(강성 방정식)이면 명시적 EM은 ODE 때와 똑같이 안정성 조건에 목이 졸린다. 대응책은 드리프트만 암시적으로 처리하는 반암시 도식이다.

$$X_{n+1} = X_n + a(X_{n+1})\Delta t + b(X_n)\Delta W_n$$

확산 항까지 암시적으로 만들지 않는 데는 이유가 있다. 정규 난수의 역수는 적률이 발산해서, 잡음을 암시적으로 처리하면 해가 유한 적률을 잃는다. 그래서 확산은 명시적으로 두는 것이 국룰이고, 여기에 세타 파라미터를 넣은 확률적 세타 도식(stochastic theta method)이 표준 도구다. 안정성은 결정론적 A-안정성 대신 평균제곱 안정성(mean-square stability)으로 따진다.

또 하나 알아 둘 함정: 드리프트가 초선형(superlinear)으로 자라면 EM이 그냥 발산한다. 계수가 전역 립시츠가 아니면 EM의 적률이 폭발한다는 것이 증명되어 있고, 실무 처방은 스텝마다 드리프트 크기를 억제하는 tamed 오일러 계열이다. ”$\Delta t$ 줄이면 되겠지”로 해결되지 않는 종류의 실패라 특히 킹받는다.²

6. 다층 몬테카를로[편집]

SDE 기반 몬테카를로의 비용 구조는 이중고다. 몬테카를로 방법의 통계 오차는 표본 수 $N$ 에 대해 $\sigma/\sqrt{N}$ (중심극한정리)이고, 여기에 이산화 편향 $O(\Delta t^{\beta})$ 이 따로 붙는다. 목표 RMSE $\varepsilon$ 를 맞추려면 둘 다 $\varepsilon$ 아래로 눌러야 하고, EM + 소박한 MC의 총비용은 $O(\varepsilon^{-3})$ 이 된다.

다층 몬테카를로(MLMC)의 아이디어는 한 문단으로 요약된다. 정밀한 층 $L$ 의 기댓값을 망원급수 $\mathbb{E}[P_L] = \mathbb{E}[P_0] + \sum_{\ell=1}^{L}\mathbb{E}[P_\ell - P_{\ell-1}]$ 로 쪼개고, 각 차분항은 같은 브라운 경로로 거친 해와 미세 해를 동시에 굴려 추정한다. 그러면 층이 올라갈수록 $P_\ell - P_{\ell-1}$ 의 분산이 급격히 작아지므로(이때 감소율을 결정하는 것이 바로 강수렴 차수다) 비싼 층에는 표본을 조금만, 싼 층에는 많이 배정할 수 있다. 강수렴이 왜 돈이 되는지가 여기서 드러난다 — 약수렴만 좋은 도식으로는 층간 분산이 안 줄어 MLMC가 작동하지 않는다.³

7. 검증과 실무 감각[편집]

SDE 코드의 검증(검증 및 확인)은 절단오차 로그-로그 기울기를 보는 ODE 방식과 비슷하되, 두 개의 그래프를 따로 그려야 한다. 같은 난수 시드로 미세 기준해와 짝지어 경로 오차를 재면 강수렴 기울기(EM이면 0.5)가, 독립 표본으로 적률 오차를 재면 약수렴 기울기(EM이면 1.0)가 나와야 한다. 기울기가 어중간하게 0.7쯤 나온다면 십중팔구 난수 재사용이 어긋났거나 통계 오차가 이산화 오차를 덮은 것이다.

응용은 넓다. 금융의 옵션 가격 결정, 분자 스케일의 과감쇠 동역학, 입자 필터·자료동화의 상태 전이 모형, 확률적 경사하강법의 연속시간 근사(SDE 관점의 학습률 해석)까지 — 잡음이 모형의 일부인 곳이면 어디서나 튀어나온다.

8. 관련 문서[편집]

• 이토 적분
• 브라운 운동
• 랑주뱅 동역학
• 몬테카를로 방법
• 중심극한정리
• 룽게-쿠타법
• 강성 방정식
• 수렴성
• 다층 몬테카를로
• 블랙-숄즈 방정식
• 메르센 트위스터

9. Footnotes[편집]

1. “우린 평균만 볼 거니까 EM으로 충분함” 하고 시작했다가 나중에 최댓값 기반 지표를 추가하는 순간 조용히 편향이 들어오는 전개는 이 바닥의 국룰이다. ↩

2. 발산이 아니라 “값이 좀 이상한데?” 정도로 보이다가 특정 시드에서만 오버플로가 나는 형태로 관측되는 경우가 많아서 더 악질이다. ↩

3. MLMC는 다중격자법의 아이디어를 확률 공간에 옮긴 것에 가깝다. 이름의 “다층”도 다중격자법의 층 개념과 같은 뿌리다. ↩