복제자 동역학

계산물리 수치해석 게임 개발 마지막 수정: 2026-08-24 04:12:40

1. 개요[편집]

복제자 동역학 Replicator Dynamics
방정식	$\dot x_i = x_i\,[(Ax)_i - x^\top A x]$
상태공간	확률단체 $\Delta_n$ — 면(face)이 모두 불변
도입	Taylor & Jonker (1978), 명명은 Schuster & Sigmund (1983)
정지점	내시 균형 ⊊ 정지점
이산판	곱셈 가중치 갱신(MWU)의 연속시간 극한
좌표변환	$n$전략 복제자 ≅ $n-1$종 로트카-볼테라

잘 버는 전략은 늘고 못 버는 전략은 준다. 합리성도, 최적화도, 심지어 학습도 필요 없다. 그냥 번식률의 차이다.

복제자 동역학(replicator dynamics)은 집단 안에서 각 전략을 쓰는 개체의 비율이, 그 전략의 보수가 집단 평균 보수보다 얼마나 높은지에 비례해 증가한다고 놓은 상미분방정식계다. 전략이 $n$ 개이고 보수행렬이 $A$ 일 때

\dot x_i \;=\; x_i\bigl[(Ax)_i - x^\top A x\bigr], \qquad i = 1,\dots,n

이며, 상태 $x$ 는 확률단체 $\Delta_n = \{x \in \mathbb{R}^n_{\ge0} : \sum_i x_i = 1\}$ 위에 산다. $(Ax)_i$ 는 전략 $i$ 가 현재 집단을 상대로 얻는 기대보수, $x^\top A x$ 는 집단 평균 보수이므로, 괄호 안은 평균 대비 초과 적합도다. 테일러와 존커(1978)가 진화적 안정 전략의 동역학적 뒷받침을 위해 도입했고, 슈스터와 지그문트가 “복제자”라는 이름을 붙였다.

내시 균형이 “합리적 플레이어가 계산해서 도달하는 곳”이라면 복제자 동역학은 “아무도 계산하지 않는데도 도달할 수도 있는 곳”이다. 계산 복잡도가 PPAD-완전인 개념을 아무 지능 없는 개체군이 어떻게 근사하는가 — 이 질문이 진화 게임 이론과 다중기준 방법식 설계 문제 양쪽에서 이 방정식을 살려 놓은 이유다.

2. 단체 위의 흐름[편집]

이 방정식이 예쁜 이유는 상태공간이 제약을 자동으로 지키기 때문이다.

합이 보존된다. $\sum_i x_i = 1$ 이면

\sum_i \dot x_i = x^\top A x - \Bigl(\sum_i x_i\Bigr) x^\top A x = 0

이므로 흐름이 초평면 $\sum x_i = 1$ 에 접한다. 제약을 사후에 정규화로 밀어 넣을 필요가 없다.

면이 불변이다. $x_i = 0$ 이면 $\dot x_i = 0$ 이다. 즉 한번 멸종한 전략은 절대 부활하지 않는다. 이것이 복제자 동역학의 가장 중요한 구조적 성질이자 한계다. 돌연변이가 없는 모형이므로 초기에 지지집합에 없던 전략은 영원히 0이고, 그래서 $\Delta_n$ 의 모든 면과 내부가 각각 불변집합이 된다. 돌연변이 항을 더한 것이 복제자-돌연변이 방정식(replicator-mutator)이며, 언어 진화와 준종(quasispecies) 모형이 그 형태다.

보수의 열 상수 이동에 불변이다. $A_{ij} \to A_{ij} + c_j$ 로 바꿔도 $(Ax)_i$ 와 $x^\top Ax$ 가 같은 양만큼 밀리므로 흐름이 변하지 않는다. 덕분에 보수행렬을 양수로 평행이동해 놓고 계산해도 궤적이 같다 — 이산판을 쓸 때 실제로 필요한 자유도다.

정지점은 $x_i = 0$ 이거나 $(Ax)_i = x^\top Ax$ 인 점들이다. 즉 지지집합 안의 모든 전략이 같은 보수를 내는 상태. 내시 균형의 무차별 조건과 형태가 똑같다는 것을 눈치챘다면 다음 절이 자연스럽다.

3. 폴크 정리 — 내시와 정지점의 관계[편집]

진화 게임 이론에서 폴크 정리(folk theorem)라 불리는 것은 다음 세 줄이다. 반복게임의 폴크 정리와는 완전히 다른 물건이니 혼동하지 말 것.¹

모든 내시 균형은 정지점이다. 균형에서는 지지집합의 모든 전략이 같은(그리고 최대인) 보수를 내므로 괄호가 0.
내부에서 출발한 궤적이 한 점으로 수렴하면 그 점은 내시 균형이다.
리아푸노프 안정한 정지점은 내시 균형이다.

역방향은 전부 거짓이다. 정지점 중에는 내시가 아닌 것이 널려 있다 — 단체의 모든 꼭짓점(순수 전략)은 무조건 정지점인데, 그중 내시인 것은 일부뿐이다. 세 전략 게임이면 각 변의 중점 근처에도 내시 아닌 정지점이 앉는다. “수치적으로 $\dot x = 0$ 인 곳을 찾았다”가 “균형을 찾았다”가 아니라는 뜻이며, 이게 복제자 동역학으로 균형을 계산하려는 사람이 처음 밟는 지뢰다.

안정성 쪽 결과도 짝이 맞는다.

강한 내시 균형(strict Nash, 이탈이 반드시 손해)은 점근 안정이다. 대칭 게임에서 강한 내시는 반드시 순수 전략이므로, 이건 “단체의 꼭짓점 중 강우월한 것은 끌개”라는 말이다.
ESS는 점근 안정이다. 리아푸노프 함수가 쿨백-라이블러 발산 $V(x) = \sum_i x^*_i \ln(x^*_i/x_i)$ 이며, 미분하면 $\dot V = -(x^{*\top}Ax - x^\top Ax)$ 가 되어 ESS의 두 번째 조건이 정확히 $\dot V < 0$ 을 준다. 정보 이론의 거리가 진화 동역학의 리아푸노프 함수로 튀어나오는 이 지점이 정보 기하와의 첫 접점이다.
역은 $n \ge 3$ 에서 거짓이다. 점근 안정인데 ESS가 아닌 정지점을 갖는 게임이 존재한다. 전략이 둘( $n=2$ )일 때만 ESS ⟺ 점근 안정이 성립한다.

4. 세 가지 상 — 우월·공존·순환[편집]

2×2 게임은 보수차 $a - c$ 와 $b - d$ ( $A = \begin{pmatrix} a & b \\ c & d\end{pmatrix}$ )의 부호만으로 상이 결정된다.

게임	부호	내부 정지점	궤적
죄수의 딜레마	$c > a$ , $d > b$	없음	배신 꼭짓점으로 단조 수렴
매파-비둘기	$c > a$ , $b > d$	있고 안정	양쪽에서 내부로 수렴
조정 게임	$a > c$ , $d > b$	있고 불안정	초기값에 따라 두 꼭짓점 중 하나

죄수의 딜레마에서 협조자 비율 $x$ 는 $\dot x = x(1-x)\,[\,(a-c)x + (b-d)(1-x)\,]$ 를 따르는데 괄호가 항상 음수라 로지스틱 곡선을 뒤집은 모양으로 0에 붙는다. “배신이 이긴다”는 결론이 합리적 계산이 아니라 미분방정식에서 나온다는 것이 이 모형의 요지다. 반복·공간구조·평판이 들어가면 이 결론이 뒤집히며, 그게 협력 진화 연구의 본론이다.

매파-비둘기는 매의 비율 $x^* = V/C$ ( $V$ 는 자원 가치, $C$ 는 부상 비용, $C > V$ )에서 안정한 다형 상태로 간다. 어느 쪽도 이기지 않고 비율이 균형을 잡는다 — 순수 전략 균형이 없는 게임에서 혼합 균형이 “개체군의 조성”으로 실현되는 표준 예다.

5. 가위바위보 — 중립 중심과 섭동[편집]

세 전략으로 올라가면 순환이 나온다. 일반화 가위바위보

A = \begin{pmatrix} 0 & -b & a \\ a & 0 & -b \\ -b & a & 0 \end{pmatrix}, \qquad a, b > 0

에서 유일한 내부 정지점은 $x^* = (1/3, 1/3, 1/3)$ 이다. 흐름의 성격은 $V(x) = x_1x_2x_3$ 을 미분하면 한 줄로 갈린다. 대칭화된 보수가 $\tfrac{a-b}{2}(J - I)$ 꼴이므로 $x^\top A x = \tfrac{a-b}{2}(1 - \|x\|^2)$ 이고, $\mathbf 1^\top A x = a - b$ 이므로

\frac{\dot V}{V} \;=\; (a-b)\Bigl(\tfrac{3}{2}\|x\|^2 - \tfrac12\Bigr)

가 된다. $\|x\|^2 \ge 1/3$ 이고 등호는 중심에서만 성립하므로 괄호는 중심 밖에서 항상 양수다. 따라서

$a > b$ (이기는 이득이 지는 손해보다 큼) — $V$ 가 증가하고 궤적이 안쪽으로 감기며 중심이 전역 점근 안정. 이때 중심은 내부 ESS이기도 하다.
$a = b$ (영합) — $V$ 가 보존량이다. 궤적은 중심을 둘러싼 닫힌 곡선이고 중심은 리아푸노프 안정이지만 점근 안정은 아닌 중립 중심이다. 이 게임에는 ESS가 없다.
$a < b$ — $V$ 가 감소해 궤적이 바깥으로 감기고, 세 꼭짓점을 잇는 헤테로클리닉 순환(heteroclinic cycle)으로 다가간다. 어느 전략도 멸종하지 않지만 각 전략이 머무는 시간이 점점 길어져, 시간평균은 중심인데 순간 상태는 세 극단을 오간다.

영합 가위바위보의 중립 중심은 특히 중요하다. 보존량이 있다는 것은 이 계가 소산계가 아니라 사실상 해밀토니안 계라는 뜻이고, 실제로 적절한 좌표에서 심플렉틱 구조가 나온다. 뒤에서 볼 무후회 학습의 “시간평균은 균형으로 가는데 궤적은 영원히 돈다”는 현상의 원형이 정확히 이 그림이다.²

6. 이산시간판과 곱셈 가중치[편집]

시뮬레이션에서 실제로 돌리는 것은 대개 이산판이다. 보수를 양수로 평행이동해 놓고

x_i^{t+1} \;=\; x_i^{t}\,\frac{(Ax^t)_i}{(x^t)^\top A x^t}

로 쓰면 이것이 이산시간 복제자 방정식이다. 형태가 익숙하다면 맞다 — 이것은 손실 대신 보수를, 지수 대신 선형 배수를 쓰는 곱셈 가중치 갱신(MWU)이다. 그리고 헤지 알고리즘의 지수 형태

x_i^{t+1} \;\propto\; x_i^t \exp\bigl(\eta\,(Ax^t)_i\bigr)

는 $\eta \to 0$ 극한에서 정확히 연속시간 복제자 방정식으로 수렴한다. 지수를 1차까지 전개하면 $x_i(1 + \eta(Ax)_i)$ 이고 정규화하면 $x_i[1 + \eta((Ax)_i - x^\top Ax)] + O(\eta^2)$ 이 되기 때문이다. 즉 개체군 생물학의 미분방정식과 온라인 학습의 표준 알고리즘이 같은 물건이다. 무후회 학습이 게임에서 어디로 가는지를 논할 때 이 대응이 다리를 놓는다.

다만 이산화의 대가는 있다. 학습률 $\eta$ 가 크면 연속 흐름에는 없던 주기배가와 카오스 이론이 말하는 그 카오스가 나타난다. 조정 게임에서 MWU를 큰 $\eta$ 로 돌리면 궤적이 두 꼭짓점 사이를 진동하다 결국 분기 이론이 예측하는 경로로 카오스에 빠지는 것이 실제로 보고돼 있다. 연속 모형의 결론을 이산 코드에 그대로 옮기기 전에 반드시 $\eta$ 를 흔들어 봐야 한다.

7. 로트카-볼테라와 같은 계[편집]

호프바우어(1981)의 결과 하나가 이 분야의 지형을 바꿨다. $n$ 전략 복제자 방정식은 $n-1$ 종 로트카-볼테라 방정식과 미분동형이다. 변환은 단순히 마지막 전략으로 나누는 것이다.

y_i = \frac{x_i}{x_n}\ (i = 1,\dots,n-1) \quad\Longrightarrow\quad \dot y_i = y_i\Bigl(r_i + \sum_{j} a'_{ij}\,y_j\Bigr)

여기서 $r_i = A_{in} - A_{nn}$ , $a'_{ij} = A_{ij} - A_{nj}$ 다. 시간을 재매개변수화해야 하지만 궤적의 위상적 구조는 보존된다.

실무적 의미는 두 가지다. 첫째, 포식자-피식자 계에 대해 축적된 온갖 정리를 그대로 가져다 쓸 수 있다 — 영합 가위바위보의 닫힌 궤도가 고전적 로트카-볼테라 진동과 같은 이유가 이것이다. 둘째, 반대로 생태 모형을 게임으로 다시 써서 진화적 안정 전략 언어로 해석할 수 있다. 3전략 복제자 방정식의 위상초상 분류(지먼 Zeeman 1980, 봄체 Bomze 1983·1995)가 존재하는 것도 2차원 로트카-볼테라 분류가 이미 있었기 때문이다.

8. 수치적으로 돌릴 때[편집]

복제자 방정식은 얌전해 보이지만 순진하게 적분하면 어김없이 물린다.

합 제약은 거의 공짜다. 벡터장이 초평면에 접하므로, 초기값이 단체 위에 있으면 룽게-쿠타의 모든 중간 단계값도 초평면 위에 남는다. 즉 룽게-쿠타법은 $\sum x_i = 1$ 을 반올림 오차 수준까지 지킨다. 매 스텝 강제로 정규화하는 코드는 대개 불필요한 짓을 하고 있다.
진짜 문제는 양수성이다. $x_i$ 가 $10^{-9}$ 까지 내려간 상태에서 스텝을 밟으면 음수로 넘어가고, 그 순간 “면은 불변”이라는 구조가 깨져 $x_i$ 가 지수적으로 발산한다. 멸종 근처가 곧 특이점인 셈이다.
처방은 로그 좌표다. $u_i = \ln x_i$ 로 두면 $\dot u_i = (Ax)_i - x^\top Ax$ 인데, 공통항 $-x^\top Ax$ 는 모든 $i$ 에 똑같이 붙으므로 정규화에 흡수된다. 따라서 $\dot u_i = (Ax)_i$ 만 적분하고 매 출력 시점에 소프트맥스로 정규화하면 양수성과 합 제약이 원리적으로 정확히 지켜진다. 이것이 위의 지수 가중 갱신과 같은 식이라는 점이 다시 확인된다 — 소프트맥스 함수 구현의 log-sum-exp 주의사항이 그대로 적용된다.
보존량이 있는 경우엔 적분기를 골라야 한다. 영합 가위바위보처럼 $V = \prod x_i$ 가 보존되는 계에서 전진 오일러를 쓰면 $V$ 가 단조 증가(또는 감소)해 없던 나선이 생긴다. 물리를 알고리즘이 만들어 낸 셈이다. 이런 계에서는 심플렉틱 적분기 계열이나 최소한 고차 RK + 작은 스텝이 필요하고, 결론을 내기 전에 $V$ 의 표류를 반드시 찍어 봐야 한다.
정지점 판별을 $\|\dot x\| < \varepsilon$ 로 하지 마라. 꼭짓점 근처에서는 $x_i$ 가 작다는 이유만으로 $\dot x_i$ 도 작다. 균형인지 아닌지는 $\max_i (Ax)_i - x^\top A x$ , 즉 최대 이탈 이득으로 재야 한다. 이게 곧 $\varepsilon$ -내시의 $\varepsilon$ 이다.

9. 무엇의 경사하강인가[편집]

보수행렬 $A$ 가 대칭이면(양쪽이 같은 이해관계를 갖는 협조 게임) 복제자 동역학은 평균 보수 $\bar x = x^\top A x$ 의 경사 상승이 된다. 단 유클리드 계량이 아니라 단체 위의 샤샤하니 계량 $g_{ij} = \delta_{ij}/x_i$ 에 대해서다. 그 결과가 피셔의 자연선택 기본정리의 미분방정식판이다.

\frac{d}{dt}\bigl(x^\top A x\bigr) \;=\; 2\sum_i x_i\bigl[(Ax)_i - x^\top A x\bigr]^2 \;\ge\; 0

평균 적합도의 증가율이 적합도의 분산과 같다. 대칭이 아니면 이 성질은 깨지고(가위바위보가 반례다) 평균 보수는 오르내린다.

여기서 쓴 계량 $\delta_{ij}/x_i$ 는 단체 위의 피셔 정보 계량 그 자체다. 즉 복제자 동역학은 확률분포 공간을 리만 다양체로 보고 그 위에서 자연 경사를 타는 흐름이고, 학습 쪽에서 자연경사법이라 부르는 것과 뿌리가 같다. 개체군 유전학, 정보기하, 온라인 학습이 각자 다른 이름으로 같은 방정식을 발견한 셈이며, 이 바닥에서 드물지 않은 일이다.³

10. 관련 문서[편집]

반복게임의 폴크 정리는 “충분히 참을성 있는 플레이어들 사이에서는 개인 합리성만 넘으면 거의 모든 보수 조합이 균형으로 지지된다”는 정리다. 이름이 겹치는 이유는 둘 다 “누가 처음 증명했는지 아무도 모를 만큼 예전부터 다들 알고 있었다”는 뜻의 folk이기 때문. 학계에서 folk가 붙은 정리는 대개 출처 표기가 곤란해서 그렇게 된 것이다. ↩
그래서 가위바위보 게임의 AI를 복제자 동역학으로 학습시키면 “수렴했다”는 판정이 영원히 안 난다. 평균은 (1/3,1/3,1/3)인데 현재 전략은 계속 돌기 때문. 학습 곡선이 진동한다고 버그를 찾다가 사실은 계가 보존량을 갖는 것이 원인이었던 사례가 자기대전 학습에서 꾸준히 재발한다. ↩
샤샤하니가 1979년에 이 계량을 도입했을 때 그는 개체군 유전학 문제를 풀고 있었고, 아마리가 피셔 계량으로 정보기하를 세울 때 그는 통계 추론을 하고 있었으며, 두 결과가 같은 것임이 정리된 것은 한참 뒤다. 학제간 연구의 절반은 “이미 옆 학과가 30년 전에 푼 문제”를 다시 푸는 일로 채워진다는 말이 괜히 나온 게 아니다. ↩