진화적 안정 전략

게임 개발 계산물리 통계 마지막 수정: 2026-08-24 04:24:15

1. 개요[편집]

진화적 안정 전략 Evolutionarily Stable Strategy (ESS)
제안	Maynard Smith & Price (1973), Nature
조건 1	$u(x^,x^) \ge u(x,x^*)$ — 내시 조건
조건 2	등호일 때 $u(x^*,x) > u(x,x)$ — 안정 조건
포함 관계	강한 내시 ⊊ ESS ⊊ 중립 안정 ⊊ 내시
동역학	ESS ⟹ 복제자 동역학에서 점근 안정
존재	보장 안 됨 (가위바위보에는 없다)

“이 전략을 쓰는 집단에, 다른 전략을 쓰는 돌연변이가 소수 나타나면 어떻게 되는가?” 밀려난다면 그게 진화적으로 안정한 전략이다.

진화적 안정 전략(ESS)은 집단 전체가 그 전략을 쓰고 있을 때, 충분히 적은 비율의 어떤 돌연변이 전략도 침입해 퍼질 수 없는 전략이다. 메이너드 스미스와 프라이스가 1973년 Nature 논문 The logic of animal conflict에서 도입했다. 동물이 같은 종끼리 싸울 때 왜 죽을 때까지 싸우지 않고 의례적 위협에서 멈추는가 — 개체 선택만으로 그 절제를 설명할 수 있는가 하는 물음이 출발점이었다.

핵심은 내시 균형에 합리성 대신 침입 저항성을 요구한 정련이라는 것이다. 게임을 푸는 지능이 아무 데도 없어도, 번식률 차이만으로 균형이 걸러진다. 이 관점 하나로 게임 이론이 생물학에 이식됐고, 되돌아와서는 다중 에이전트 강화학습과 게임 밸런싱의 언어가 됐다.

2. 두 조건식[편집]

전략 집합 위의 (혼합) 전략 $x, y$ 에 대해 보수를 $u(x,y) = x^\top A y$ 라 하자. $x^*$ 가 ESS라는 것은 모든 $x \ne x^*$ 에 대해 다음이 성립한다는 뜻이다.

\textbf{(1)}\quad u(x^*, x^*) \;\ge\; u(x, x^*)

\textbf{(2)}\quad u(x^*,x^*) = u(x,x^*) \;\Longrightarrow\; u(x^*, x) \;>\; u(x, x)

(1)은 그냥 내시 조건이다. 돌연변이가 저항군 전략을 상대로 더 잘하면 애초에 게임 끝이다. (2)는 (1)이 등호로만 성립할 때 발동하는 결선투표다. 돌연변이가 저항군을 상대로는 똑같이 하더라도, 돌연변이끼리 마주쳤을 때 저항군이 더 잘한다면 여전히 밀어낼 수 있다는 것. 이 두 번째 줄이 ESS를 내시 균형보다 진짜로 좁게 만든다.

3. 침입 장벽[편집]

두 조건식이 왜 저 모양인지는 실제로 침입을 계산해 보면 나온다. 집단의 $\varepsilon$ 이 돌연변이 $x$ , 나머지가 $x^*$ 인 혼합 집단 상태를 $\bar x_\varepsilon = \varepsilon x + (1-\varepsilon)x^*$ 라 하면, 각자의 기대보수는 $u(x^*, \bar x_\varepsilon)$ 과 $u(x, \bar x_\varepsilon)$ 이다. 저항군이 이기려면

u(x^*, \bar x_\varepsilon) - u(x, \bar x_\varepsilon) = (1-\varepsilon)\bigl[u(x^*,x^*) - u(x,x^*)\bigr] + \varepsilon\bigl[u(x^*,x) - u(x,x)\bigr] > 0

이어야 한다. $\varepsilon$ 이 작을 때 첫 항이 지배하므로 (1)이 먼저 요구되고, 첫 항이 0이면 둘째 항이 결정하므로 (2)가 나온다. 정확히 그 구조다.

여기서 침입 장벽(invasion barrier)이 정의된다. 위 부등식이 성립하는 $\varepsilon$ 의 상한 $\bar\varepsilon(x)$ 가 각 침입자마다 정해지는데, 유한 전략 게임에서는 모든 침입자에 대해 공통인 양수 하한 $\bar\varepsilon > 0$ 을 잡을 수 있고, 그 성질이 ESS와 동치다(균등 침입 장벽). 무한 전략공간에서는 이 동치가 깨져서 “각 침입자마다 장벽은 있는데 균등 장벽은 없는” 전략이 생기고, 이 구분이 연속 형질 진화 모형에서 실제 문제가 된다.

실무적으로 중요한 것은 장벽의 크기다. ESS라는 이진 판정은 “충분히 작은 침입은 막는다”만 보장하지, 그 “충분히 작은”이 $10^{-6}$ 인지 $0.3$ 인지는 말하지 않는다. 게임 밸런싱에서 “이론상 안정한 메타인데 실제로는 한 패치 만에 뒤집혔다”는 상황의 절반은 장벽이 애초에 종잇장이었던 경우다.

4. 내시 균형과의 포함 관계[편집]

정련 개념들의 서열은 다음과 같고, 모든 포함이 엄격하다.

\text{강한 내시} \;\subsetneq\; \text{ESS} \;\subsetneq\; \text{중립 안정(NSS)} \;\subsetneq\; \text{내시}

강한 내시 ⟹ ESS. (1)이 순부등식이면 (2)는 발동조차 안 한다. 대칭 게임에서 강한 내시는 반드시 순수 전략이므로, 이건 “강우월한 순수 전략은 ESS”라는 말이다.
ESS ⟹ 내시. (1) 자체가 내시 조건이다.
역은 거짓. 가장 짧은 반례는 보수행렬이 전부 0인 게임 — 모든 전략이 내시지만 (2)를 만족하는 것은 없으므로 ESS는 없다. 좀 더 쓸모 있는 반례가 가위바위보다.
중립 안정 전략(NSS)은 (2)의 부등호를 $\ge$ 로 약화한 것이다. “밀어낼 수는 없지만 밀려나지도 않는” 중립 침입자를 허용한다.

비쇼프-캐닝스 정리도 여기 붙는다. $x^*$ 가 지지집합 $S$ 를 갖는 ESS면, 지지집합이 $S$ 에 포함되는 다른 ESS는 존재하지 않는다. 즉 ESS들의 지지집합은 포함관계로 비교 불가능한 반사슬(antichain)을 이룬다. 따라서 ESS는 유한 개이고 스페르너 정리로 개수가 $\binom{n}{\lfloor n/2\rfloor}$ 이하이며, 완전 지지집합 ESS(내부 ESS)가 있으면 그것이 유일한 ESS다. 균형 개수를 세는 문제에서 실제로 쓰이는 정리다.

5. 매파-비둘기[편집]

교과서 예제이자 원 논문의 예제. 가치 $V$ 인 자원을 두고 다투는데, 매(Hawk)는 끝까지 싸우고 비둘기(Dove)는 위협만 하다 물러선다. 부상 비용 $C$ 일 때 보수행렬은

	매	비둘기
매	$(V-C)/2$	$V$
비둘기	$0$	$V/2$

$C > V$ 이면 순수 전략 ESS가 없다. 매 집단에는 비둘기가 침입하고( $0 > (V-C)/2$ ), 비둘기 집단에는 매가 침입한다( $V > V/2$ ). 유일한 ESS는 매를 확률 $p^* = V/C$ 로 쓰는 혼합 전략이다. 무차별 조건 $p\frac{V-C}{2} + (1-p)V = 0\cdot p + (1-p)\frac{V}{2}$ 를 풀면 바로 나온다.

여기서 자주 인용되는 해석 두 개는 조심해서 다뤄야 한다. “부상 비용이 클수록 싸움이 준다”( $p^* = V/C$ 가 $C$ 에 반비례)는 맞다. 반면 “그래서 종 전체가 손해를 덜 본다”는 틀렸다 — ESS에서의 평균 보수는 $V(C-V)/(2C)$ 로, 전원이 비둘기일 때의 $V/2$ 보다 낮다. 매파-비둘기는 죄수의 딜레마와 마찬가지로 개체 선택이 집단 최적을 주지 않는다는 예제다. 집단 선택으로 이 결론을 뒤집으려던 시도들이 1960년대에 대거 좌초한 것이 애초에 이 모형이 만들어진 배경이기도 하다.

6. 다형 집단과 다형 개체[편집]

$p^* = V/C$ 가 뜻하는 바가 두 가지라는 것이 이 개념의 오래된 불편한 지점이다.

다형 개체(monomorphic 집단): 모든 개체가 동일하게 확률 $V/C$ 로 매를 낸다.
다형 집단(polymorphic 집단): 개체의 $V/C$ 가 순수 매, 나머지가 순수 비둘기다.

행렬 게임에서는 보수가 집단 평균 전략에 대해 쌍선형이므로 두 집단의 평균 보수가 같고, 복제자 동역학의 궤적도 같다. 그래서 2전략 게임에서는 두 해석이 실질적으로 구분되지 않는다.

구분이 살아나는 곳은 셋이다. 첫째, 침입자 집합이 다르다. 다형 집단은 이미 여러 순수 전략을 포함하고 있으므로 그 안의 비율 요동 자체가 섭동이 되지만, 다형 개체 집단에서는 새로운 혼합 전략이 통째로 들어와야 한다. 그래서 개념을 정확히 쓰려면 “진화적으로 안정한 전략”(개체 수준)과 “진화적으로 안정한 상태”(집단 수준)를 나눠야 하고, 문헌은 실제로 나눈다. 둘째, 보수가 집단 상태에 대해 비선형이면(공유 자원, 혼잡, 밀도 의존 같은 “playing the field” 상황) 쌍선형성이 깨져 두 해석의 안정성 판정이 실제로 갈린다. 셋째, 유전이 개입하면 멘델식 분리 때문에 원하는 혼합 비율을 낳는 유전자형 구성 자체가 불가능할 수 있다 — 이형접합자가 최적인 경우 집단은 매 세대 최적에서 벗어난 자손을 계속 만든다. ESS를 “진화의 도달점”으로 읽을 때 이 유전적 제약이 가장 자주 무시되는 가정이다.

7. ESS가 없는 게임 — 가위바위보[편집]

영합 가위바위보의 유일한 내시 균형은 $(1/3,1/3,1/3)$ 이다. 내부 전략이 ESS이려면 단체의 접방향 $z$ ( $\sum z_i = 0$ )에 대해 $z^\top A z < 0$ 이어야 하는데, 가위바위보의 $A$ 는 반대칭이라 **모든 $z$ 에 대해 $z^\top A z = 0$ **이다. (2)가 등호로만 성립하므로 ESS가 아니다. 중립 안정 전략이기는 하다.

이것이 복제자 동역학에서 궤적이 중심을 영원히 도는 현상과 정확히 같은 사실의 두 얼굴이다. ESS가 없다는 것은 “밀려나지 않는 지점이 없다”는 뜻이고, 동역학적으로는 “끌개가 아니라 중심”이라는 뜻이다. 실제 생태계에서도 옆구리 얼룩 도마뱀(Uta stansburiana) 수컷의 세 가지 목 색깔 형태가 가위바위보 구조를 이루며 몇 년 주기로 우세종이 순환하는 사례가 관측됐다.¹

ESS의 존재는 일반적으로 보장되지 않는다. 내시 균형은 항상 있는데(내시 1950) ESS는 없을 수 있다는 이 비대칭이, 진화 게임 이론이 “균형 개념”이 아니라 “동역학”으로 무게중심을 옮긴 이유다. 게다가 유한 게임에 ESS가 있는지 판정하는 문제는 $\Sigma_2^p$ -완전으로 알려져 있어, 내시 균형 계산의 PPAD-완전보다 오히려 더 나쁜 위치에 있다.

8. 복제자 동역학과의 관계[편집]

이 절이 ESS를 “정적 정의”에서 “동적 사실”로 바꿔 준다. 요약하면 세 줄이다.

ESS ⟹ 복제자 동역학의 점근 안정 정지점. 리아푸노프 함수는 쿨백-라이블러 발산 $V(x) = \sum_i x_i^*\ln(x_i^*/x_i)$ 이고, $\dot V = -[u(x^*,x) - u(x,x)]$ 가 되어 조건 (2)가 곧 $\dot V < 0$ 이다.
내부 ESS ⟹ 내부에서 전역 점근 안정. 국소 결과가 아니라 전역이다.
역은 $n \ge 3$ 에서 거짓. 점근 안정인데 ESS가 아닌 정지점을 갖는 3전략 게임이 존재한다. 전략이 둘이면 ESS ⟺ 점근 안정으로 동치다.

그리고 반드시 같이 기억할 것 — ESS의 안정성은 복제자 동역학만의 성질이 아니다. 정규 단조 선택 동역학, 최선반응 동역학, 브라운-폰 노이만-나시 동역학, 스미스 동역학 등 널리 쓰이는 개체군 동역학 대부분에서 ESS는 점근 안정으로 남는다. 특정 모형의 인공물이 아니라는 이 강건성이 ESS를 반세기 살아남게 한 진짜 이유다. 반대로 “복제자 동역학에서 점근 안정”이라는 사실만으로는 이 강건성이 따라오지 않는다.

9. 유한 집단에서는 조건이 달라진다[편집]

여기서부터가 이 문서에서 가장 자주 오해되는 부분이다. 위의 정의는 전부 무한 집단을 전제한다. 개체 수가 $N$ 으로 유한하면 두 가지가 동시에 바뀐다.

자기 자신과는 게임하지 않는다. 2×2 보수를 $\begin{pmatrix} a & b \\ c & d\end{pmatrix}$ ( $a = u(A,A)$ , $b = u(A,B)$ , $c = u(B,A)$ , $d = u(B,B)$ )라 하고, 저항군 $A$ 가 $N-1$ 명인 집단에 침입자 $B$ 가 한 명 나타났다고 하자. 자기 자신을 상대로는 게임하지 않으므로 기대보수는

\pi_B = c, \qquad \pi_A = \frac{a(N-2) + b}{N-1}

이다. 무한 집단에서라면 $\pi_A = a$ , $\pi_B = c$ 였을 것이고 판정은 $a$ 대 $c$ 였다. 그런데 유한하면 $b$ 가 끼어든다. 예컨대 $a = c$ 인 경계 상황에서 무한 집단은 “완전 중립”이라 판정하는데, 유한 집단은 $b > a$ 인지로 방향이 정해진다 — 무한 극한에서는 보이지도 않던 항이 결정권을 갖는다. 그리고 $N = 2$ 까지 줄이면 $\pi_A = b$ , $\pi_B = c$ 가 되어 아예 다른 게임이 된다.

표류가 있다. 유한 집단에서는 불리한 전략도 우연히 고정될 수 있으므로, “침입을 못 막는다”의 기준이 부등식이 아니라 확률이어야 한다. 그래서 노왁 등(2004)은 **ESS $_N$ **을 두 조건으로 정의했다.

침입자 한 명의 기대보수가 저항군보다 낮을 것: $\pi_B < \pi_A$ , 즉 $c(N-1) < a(N-2) + b$ .
침입자의 고정 확률이 중립 기준보다 낮을 것: $\rho_B < 1/N$ .

두 번째 조건이 진짜 새로운 것이다. 순간적으로 불리해도 확률적으로는 퍼질 수 있기 때문이다. 그리고 두 조건은 서로를 함의하지 않는다 — 한쪽만 성립하는 게임이 실제로 있다. 무한 집단의 ESS는 두 조건을 하나로 뭉개 버렸던 셈이다.

10. 모란 과정과 1/3 법칙[편집]

고정 확률을 계산하는 표준 모형이 모란 과정이다. 매 스텝 적합도에 비례해 한 개체를 뽑아 복제하고, 균등하게 한 개체를 뽑아 제거한다(집단 크기 고정). 적합도가 상수비 $r$ 인 돌연변이 하나의 고정 확률은 출생-사망 사슬을 풀어

\rho \;=\; \frac{1 - 1/r}{1 - 1/r^{N}}

로 나온다. 중립( $r = 1$ )이면 $\rho = 1/N$ — “ $N$ 명 중 누구 하나가 결국 조상이 되며 모두 동등하다”는 당연한 값이고, 이것이 ESS $_N$ 의 기준선이다.

보수가 빈도에 의존하면 $r$ 이 상태마다 달라져 계산이 지저분해지는데, 약한 선택(보수가 적합도에 아주 조금만 기여, $f = 1 - w + w\pi$ 에서 $w \to 0$ ) 극한에서는 급수 전개로 깔끔한 결과가 나온다. 가장 유명한 것이 1/3 법칙이다.

$A$ 와 $B$ 가 둘 다 강한 내시인 쌍안정 게임을 생각하자. 무한 집단 복제자 동역학은 내부에 불안정 정지점 하나를 갖고, 거기서의 $B$ 의 빈도를 $y^*$ 라 하자( $B$ 의 빈도가 $y^*$ 를 넘으면 $B$ 가 이긴다). 약한 선택·큰 $N$ 일 때, $B$ 한 명이 $A$ 집단을 고정 대체할 확률이 중립값 $1/N$ 을 넘는 것은 $y^* < 1/3$ 일 때, 그리고 그때뿐이다.

순진한 직관은 “ $B$ 의 유인 영역이 절반보다 크면( $y^* < 1/2$ ) $B$ 가 유리하다”고 말한다. 그런데 답은 $1/2$ 가 아니라 $1/3$ 이다. $B$ 는 절반이 아니라 2/3보다 큰 유인 영역을 가져야 비로소 선택의 도움을 받는다. 침입 초기의 $B$ 가 압도적 다수인 $A$ 를 상대로 손해를 보는 구간이 고정 확률 적분에 무겁게 가중되기 때문이며, 확률적 표류가 결정론적 직관을 어떻게 비트는지 보여 주는 대표 사례다. 협력의 진화 논의에서 ” $1/3$ 문턱”이라는 말이 나오면 대개 이 정리를 가리킨다.²

11. 시뮬레이션에서[편집]

ESS 판정을 부동소수점 등호로 하지 마라. 조건 (2)는 “(1)이 등호일 때”라는 전제 위에 있는데, 보수행렬이 실수면 등호는 거의 발생하지 않는 척하다가 지지집합 경계에서 갑자기 문제가 된다. 실무에서는 선형계획으로 “(1)의 여유가 $\delta$ 이상인가”를 풀고, 여유가 0에 가까운 전략들에 대해서만 (2)를 이차형식으로 확인하는 2단 구조가 안전하다.
내부 ESS 판정은 이차형식 부호 문제다. $x^*$ 가 내부일 때 ESS 조건은 “ $\sum z_i = 0$ 인 모든 $z \ne 0$ 에 대해 $z^\top A z < 0$ “이며, 이는 단체 접공간에 사영한 $A$ 의 대칭부의 음의 정부호성 검사다. $O(n^3)$ 에 끝난다.
유한 집단 시뮬은 반드시 앙상블로 돌린다. 표류가 본질이므로 한 번의 궤적은 정보가 거의 없다. 고정 확률은 최소 수천 회 반복하거나, 2전략 문제라면 아예 출생-사망 사슬의 해석식으로 계산하는 편이 훨씬 정확하고 싸다.
집단 크기와 선택 강도를 같이 스캔한다. $Nw$ 가 사실상 하나의 무차원 수처럼 거동해서, $N$ 만 키우고 $w$ 를 고정하면 강선택 영역으로 조용히 넘어가 결론이 뒤집힌다. 약한 선택 정리를 인용할 거면 $Nw \ll 1$ 인지 확인해야 한다.
게임 밸런싱 관점. 유닛 상성표를 대칭 보수행렬로 놓고 ESS를 계산하면 “굳어질 메타”의 후보가 나온다. ESS가 유일한 내부 혼합이면 픽률이 그 값 근처로 수렴할 것이고, ESS가 없으면(가위바위보 구조) 메타는 영원히 순환한다 — 이게 나쁜 밸런스가 아니라 의도적으로 만드는 밸런스인 경우가 많다는 점이 재밌는 지점이다.

12. 관련 문서[편집]

신야, 라이블리 등이 1996년 Nature에 보고한 사례다. 주황목은 영역을 크게 잡고, 파란목은 작게 잡되 짝을 지키며, 노란목은 암컷 흉내로 몰래 끼어든다. 주황 > 파랑 > 노랑 > 주황의 순환이 6년 주기로 돌았다. 진화생물학 발표에서 가위바위보 슬라이드가 나오면 99% 이 도마뱀이다. ↩
이름이 예뻐서 인용은 많은데 전제가 자주 잘려 나간다. 약한 선택, 큰 $N$ , 모란 과정, 쌍안정 2×2 — 넷 중 하나만 빠져도 상수 1/3은 다른 숫자가 된다. 특히 라이트-피셔 과정으로 바꾸면 문턱이 옮겨간다. “1/3 법칙에 따르면”으로 시작하는 문장은 일단 모형부터 확인하는 게 좋다. ↩