보상 형성

최적설계 소프트웨어 게임 개발 마지막 수정: 2026-08-19 04:18:22

1. 개요[편집]

보상 형성 Reward Shaping
목적	희소·지연 보상을 조밀하게 바꿔 학습을 가속
위험	최적 정책이 바뀜 — 보상 루프 착취
안전한 형태	퍼텐셜 기반 F(s,a,s') = γΦ(s') − Φ(s)
정리	Ng, Harada, Russell (1999) — 정책 불변성
필요조건	퍼텐셜 꼴이 아니면 반례가 되는 P·R이 존재
실무 해석	Φ는 가치함수의 사전 추정 = Q 초기화

보상 형성(reward shaping)은 원래 과제의 보상 $R$ 에 보조 보상 $F$ 를 더해 $R' = R + F$ 로 학습시키되, 에이전트가 배우는 정책은 원래 과제의 정답이기를 바라는 기법이다. 목표에 도달해야만 +1을 주는 과제에서 무작위 정책이 목표를 만날 확률이 사실상 0이면 강화 학습은 시작조차 못 한다. 그러니 “목표에 가까워지면 조금씩 주자”는 발상은 자연스럽다. 문제는 그 순간 우리가 푸는 문제가 조용히 다른 문제로 바뀐다는 것이다.

이 문서는 그 “조용히 바뀜”을 막는 유일한 표준 통로인 퍼텐셜 기반 형성을 다룬다. 왜 신용 신호가 애초에 안 흐르는지, 형성이 신용 할당 도구 상자에서 어디쯤 있는지는 신용 할당에, 보상 함수 자체를 시연에서 역으로 추정하는 반대 방향 문제는 역강화학습에 있다. 여기서는 보상을 손댔을 때 최적 정책이 살아남는 조건만 정면으로 본다.

2. 자전거는 왜 제자리를 돌았나[편집]

교과서적 사고 사례가 하나 있다. 란들뢰브와 알스트룀(1998)의 자전거 주행 과제에서, 목표 방향으로 나아갈 때마다 보너스를 주는 형성 항을 넣었더니 에이전트는 목표로 가지 않고 출발점 근처에서 원을 그리며 돌았다. 원을 한 바퀴 도는 동안 “목표에 가까워지는 구간”이 반드시 포함되고, 그 구간의 보너스를 무한히 반복 수확하는 편이 목표에 한 번 도달하는 것보다 이득이었기 때문이다.¹

일반화하면 이렇다. 형성 보상이 상태 공간의 닫힌 순환(cycle)을 따라 적분했을 때 0이 아니면, 그 순환을 무한히 도는 것만으로 무한한 보상을 얻는 정책이 생긴다. 물리 하는 사람에게는 익숙한 그림이다 — 보상장 $F$ 가 보존장이 아니면 순환 적분이 살아남는다. 그 순환을 도는 정책은 원래 과제 기준으로는 완전한 실패지만, 바뀐 MDP 기준으로는 정직한 최적해다. 에이전트는 아무 잘못이 없다.

여기서 요구사항이 자동으로 도출된다. 형성 항이 어떤 스칼라 퍼텐셜의 차분이어야 한다. 그러면 임의의 경로를 따라 더한 값은 양 끝점의 퍼텐셜 차이로만 결정되고, 닫힌 순환에서는 정확히 0이 된다.

3. 정책 불변성 정리[편집]

응(Ng), 하라다(Harada), 러셀(Russell)의 1999년 결과가 이 직관을 정리로 못 박았다. 상태에만 의존하는 임의의 실함수 $\Phi: \mathcal{S} \to \mathbb{R}$ 를 잡고

F(s, a, s') = \gamma\,\Phi(s') - \Phi(s)

로 두면, $M = (\mathcal{S}, \mathcal{A}, P, R, \gamma)$ 의 최적 정책과 $M' = (\mathcal{S}, \mathcal{A}, P, R+F, \gamma)$ 의 최적 정책이 완전히 일치한다. 이 꼴을 퍼텐셜 기반 보상 형성(potential-based reward shaping, PBRS)이라 부른다.

증명은 짧다. 궤적을 따라 할인 합을 취하면 망원 급수처럼 상쇄된다.

\sum_{t=0}^{\infty} \gamma^t F(s_t, a_t, s_{t+1}) = \sum_{t=0}^{\infty} \bigl(\gamma^{t+1}\Phi(s_{t+1}) - \gamma^{t}\Phi(s_t)\bigr) = -\Phi(s_0)

반환에 붙는 것이 시작 상태에만 의존하는 상수이므로 같은 $s_0$ 에서 출발한 정책들의 순위는 그대로다. 가치함수 수준에서는 더 깔끔하게 적힌다.

Q^*_{M'}(s,a) = Q^*_{M}(s,a) - \Phi(s), \qquad V^*_{M'}(s) = V^*_{M}(s) - \Phi(s)

$Q$ 를 상태별로 평행이동시킬 뿐이고, $\arg\max_a$ 는 $s$ 를 고정한 채 취하므로 이동량 $-\Phi(s)$ 가 통째로 상쇄된다. 벨만 최적 방정식의 구조가 그대로 보존되는 것이다.

3.1. 필요조건 쪽이 더 세다[편집]

충분조건은 위 계산이면 끝이고, 실제로 이 정리를 유명하게 만든 것은 반대 방향이다. $F$ 가 퍼텐셜 기반이 아니라면, 같은 $(\mathcal{S}, \mathcal{A}, \gamma)$ 위에서 $M'$ 의 최적 정책이 $M$ 에서는 최적이 아니게 되는 전이확률 $P$ 와 보상 $R$ 이 반드시 존재한다.

읽는 법을 조심해야 한다. “퍼텐셜이 아닌 형성은 항상 망가진다”가 아니다. “당신이 아는 그 특정 $P, R$ 에서 우연히 괜찮을 수는 있지만, 환경이 조금만 달라져도 깨질 것을 각오해야 한다” 는 뜻이다. 시뮬레이터 파라미터를 바꾸거나 마찰계수를 흔들거나(마르코프 결정 과정 문서의 도메인 무작위화) 맵을 하나 추가하는 순간 반례에 발을 들일 수 있다. 형성 항의 안전성을 환경별로 재검증할 생각이 아니라면 퍼텐셜 꼴로 가는 것 외에 선택지가 없다.

3.2. 놓치면 터지는 단서 조항[편집]

종료 상태의 퍼텐셜은 0이어야 한다. 에피소드형 과제에서 흡수 상태를 $s_\perp$ 라 할 때 $\Phi(s_\perp) \ne 0$ 이면 “언제 끝내느냐”에 인위적 가격이 붙는다. $\Phi$ 가 크게 잡힌 상태에서 에피소드를 끝내면 $-\Phi(s)$ 만큼의 손해(혹은 이득)가 청산되지 않고 남아, 에이전트가 종료를 회피하거나 자살하는 정책을 배운다. 구현에서 가장 자주 나오는 실수다.
$\gamma$ 가 정확히 일치해야 한다. 형성 항의 $\gamma$ 와 에이전트의 $\gamma$ 가 다르면 망원 급수가 상쇄되지 않는다. $F = \Phi(s') - \Phi(s)$ 처럼 $\gamma$ 를 빼먹은 구현은 $\gamma < 1$ 에서 정책 불변성이 깨진다.
불변한 것은 최적 정책이지 학습 동역학이 아니다. 형성은 정확히 이 점 때문에 유용하고, 동시에 이 점 때문에 해롭기도 하다. 엉뚱한 $\Phi$ 는 최적 정책을 바꾸지는 않으면서 탐험을 잘못된 방향으로 오래 붙잡아 두어 학습을 느리게 만들 수 있다. “안전하다”는 것은 “도움이 된다”와 다른 말이다.
근사 오차 아래에서는 보장이 흐려진다. 정리는 정확한 최적 정책에 관한 것이다. 함수 근사와 유한 표본으로 $\varepsilon$ -최적 정책만 얻는 상황에서는, $\Phi$ 의 스케일이 클수록 $\varepsilon$ 이 뒤덮는 정책 집합도 넓어진다.

4. Φ를 무엇으로 놓을 것인가[편집]

정리는 ” $\Phi$ 는 아무거나 써도 안전하다”고 말하지만, 실무의 질문은 “그래서 뭘 쓰면 빨라지느냐”다. 답은 이론에서 곧바로 나온다. $\Phi = V^*_M$ 로 두면

Q^*_{M'}(s,a) = Q^*_M(s,a) - V^*_M(s) = A^*_M(s,a)

즉 형성된 MDP의 최적 행동가치가 곧 이점함수가 된다. 이때 최적 상태가치는 모든 곳에서 0이고, 에이전트는 부트스트랩 없이 한 스텝 앞의 형성 보상만 탐욕적으로 따라가도 최적 행동을 고른다. 시간적 신용 할당 문제가 통째로 증발하는 것이다. 물론 $V^*$ 를 알면 애초에 문제가 풀린 상태이므로, 실무의 $\Phi$ 는 $V^*$ 의 값싼 근사를 쓰는 게임이 된다.

거리 기반 퍼텐셜. $\Phi(s) = -c \cdot d(s, \text{goal})$ . 격자·항법 과제의 국룰이며, $d$ 가 실제 도달 비용의 하한(예: 장애물을 무시한 직선거리)이면 $A^*$ 그래프 탐색의 허용 가능 휴리스틱과 정확히 같은 물건이다. 실제로 퍼텐셜 기반 형성과 휴리스틱 탐색은 형식적으로 같은 자리에 놓인다.²
거친 모형에서 푼 가치함수. 상태를 뭉뚱그린 축소 MDP를 동적 계획법으로 풀고, 그 $V$ 를 원래 상태에 사영해 $\Phi$ 로 쓴다. 계층적 RL과 궁합이 좋다.
계획기의 잔여 비용. 이산 플래너나 모델 예측 제어가 뱉는 cost-to-go를 그대로 $\Phi$ 로 꽂는다. 계획기는 저차원 근사 모형에서 돌리고, 학습기는 진짜 물리에서 돌리는 분업.
학습 중인 가치 추정 자체. $\Phi$ 를 온라인으로 갱신하면 정지 퍼텐셜 가정이 깨지지만, 아래 동적 확장이 그 구멍을 메운다.

여기서 위워라(2003)의 결과를 짚고 가야 한다. 테이블 형태의 Q러닝에서 퍼텐셜 $\Phi$ 로 형성하는 것은 $Q$ 를 $Q_0(s,a) = \Phi(s)$ 로 초기화하는 것과 (적절한 조건에서) 같은 갱신열을 만든다. 형성이 신비로운 마법이 아니라 사전 지식을 초기 추정값으로 넣는 통로임을 명시한 정리다. 이 관점을 잡고 나면 ” $\Phi$ 를 어떻게 고르지?”라는 질문은 “가치함수를 어디서부터 시작시킬까?”라는 훨씬 익숙한 질문으로 바뀐다.

5. 확장 — 행동·시간·여러 개[편집]

기본형은 $\Phi(s)$ 뿐이지만 세 방향으로 늘어난다.

확장	형성 항	얻는 것
상태-행동 퍼텐셜	다음 상태-행동 퍼텐셜의 γ배 빼기 현재 퍼텐셜	특정 행동을 직접 권고
동적(시간 의존)	퍼텐셜에 시각 인자를 추가	학습 중 Φ 갱신 허용
다중 퍼텐셜	여러 Φ의 합	소스별 조언 결합

상태-행동 퍼텐셜(potential-based advice)은 $\Phi(s,a)$ 를 쓰는 확장이다. “이 상태에서는 이 행동을 해 봐라”를 직접 넣을 수 있어 표현력이 늘지만, 정책 불변성을 유지하려면 행동 선택 규칙을 $\arg\max_a [Q(s,a) + \Phi(s,a)]$ 로 함께 고쳐야 한다. 형성만 넣고 선택 규칙을 안 고치면 보장이 날아간다 — 여기서 사고가 자주 난다.

동적 퍼텐셜 형성은 $\Phi$ 가 시각 $t$ 에 따라 변해도 되게 한 것이다. $F = \gamma\Phi(s', t') - \Phi(s, t)$ 꼴을 쓰면 학습이 진행되며 $\Phi$ 를 갱신해도 정책 불변성이 유지된다. “가치 추정이 좋아질수록 형성도 좋아지는” 자기 개선 루프를 안전하게 도는 데 쓰인다.

다중 퍼텐셜은 사실 정리랄 것도 없다. $F_1, F_2$ 가 각각 $\Phi_1, \Phi_2$ 의 퍼텐셜 꼴이면 $F_1 + F_2$ 는 $\Phi_1 + \Phi_2$ 의 퍼텐셜 꼴이다. 선형성 덕분에 서로 다른 전문가·서로 다른 하위 목표에서 온 조언을 그냥 더해도 안전하다. 다만 가중치가 잘못 잡히면 여전히 학습은 망가진다. 불변성은 공짜지만 유용성은 여전히 튜닝의 대상이다.

6. 형성이 아닌 것과, 그래도 남는 위험[편집]

퍼텐셜 기반 형성은 “보상을 마음대로 손대도 된다”는 면허가 아니다. 자주 혼동되는 것들을 갈라 두자.

원래 보상 함수를 고쳐 쓰는 것은 형성이 아니다. “충돌하면 −100”을 새로 넣는 것은 $\Phi$ 의 차분이 아니라 목적 자체의 변경이다. 안전 요구사항을 넣고 싶다면 보상에 섞는 대신 제약 마르코프 결정 과정으로 제약을 명시하는 쪽이 정직하다. 벌점 계수를 손으로 돌리는 것은 벌점법의 고전적 병폐를 그대로 물려받는다.
데이터의 라벨을 바꾸는 것도 형성이 아니다. 사후 경험 재생은 보상 함수를 건드리지 않고 “무엇을 목표로 삼았던 궤적인가”만 다시 붙인다. 희소 보상을 조밀하게 만든다는 효과는 비슷하지만 개입 지점이 완전히 다르다.
탐험 보너스는 대개 퍼텐셜이 아니다. 내재적 동기 계열의 신기성·예측오차 보너스는 방문 횟수에 따라 줄어드는 비정상 항이라 정책 불변성이 없다. 실무에서는 학습 후반에 계수를 0으로 감쇠시키는 것으로 타협한다. 정직하게 말하면 보장을 포기하고 성능을 사는 거래다.
여전히 진짜 보상이 대리 지표라면 소용없다. 형성이 지켜 주는 것은 “당신이 적은 $R$ 의 최적 정책”이지 “당신이 원한 것”이 아니다. 게임 점수를 최대화하라고 시켰더니 코스를 완주하지 않고 보너스 아이템만 반복 수확하는 보상 해킹 사례들은 대부분 형성의 실패가 아니라 $R$ 자체가 의도의 대리 지표였던 실패다. 이 경계선을 흐리면 “퍼텐셜 기반이니 안전합니다”라는 잘못된 보고서가 나온다.³

7. 시뮬레이션 판에서의 실감[편집]

공학 시뮬레이터를 환경으로 두면 형성의 값어치가 유난히 커진다. 롤아웃 한 번이 CFD 해석 한 번이거나 다물체 동역학 수십 초인 상황에서, 무작위 탐험이 목표를 우연히 만나기를 기다리는 것은 계산 자원의 소각이다. 그런데 바로 그 환경에는 대개 이미 쓸 만한 $\Phi$ 후보가 굴러다닌다 — 저차 모형이 뱉는 잔여 비용, 준정상 근사로 얻은 성능 지표, 설계자가 수십 년 써 온 경험식. 대리 모델을 형성 퍼텐셜로 재활용하는 것은 이 판에서 가장 값싼 가속 수단 중 하나다.

주의할 점도 대칭적이다. 대리 모델이 틀린 영역에서 $\Phi$ 는 에이전트를 잘못된 골짜기로 오래 붙잡아 둔다. 최적 정책은 정리 덕에 살아남지만, 예산 안에 거기 도달하지 못하면 실무적으로는 실패다. 형성 항을 넣고 나서 학습 곡선이 나빠졌다면 $\Phi$ 를 의심하는 것이 맞다 — 그리고 그때 $\Phi$ 를 끄는 실험이 검증 및 확인의 대조군 역할을 한다. 형성 항의 유효성은 언제나 끄고 돌린 것과 비교해서만 주장할 수 있다.

8. 관련 문서[편집]

Randløv, J. & Alstrøm, P. (1998). “Learning to Drive a Bicycle using Reinforcement Learning and Shaping”, ICML. Ng, Harada & Russell (1999)이 이 사례를 정리의 동기로 인용하면서 강화학습판 필수 교양이 됐다. 자전거는 넘어지지 않고 아주 안정적으로, 아주 성실하게, 아주 무의미하게 원을 돌았다. 시킨 대로 한 것이다. ↩
$\Phi$ 를 도달 비용의 음수로 놓는 것과 $A^*$ 의 허용 가능 휴리스틱을 고르는 것은 “참값을 과대평가하지 않는 값싼 추정을 만들어라”라는 같은 주문이다. 게임 AI 하던 사람이 강화학습으로 넘어오면 이 부분에서 갑자기 유리해진다. 격자 위에서 맨해튼 거리 쓰던 감각이 그대로 통한다. ↩
그래서 “형성했더니 성능이 올랐다”는 보고는 두 번 물어봐야 한다. 첫째, 형성 항이 퍼텐셜 꼴인가. 둘째, 성능을 잰 지표가 형성된 보상인가 원래 보상인가. 두 번째에서 걸리는 경우가 생각보다 많다. 자기가 만든 보너스를 자기가 채점하면 점수는 언제나 오른다. ↩