역강화학습

최적설계 통계 소프트웨어 마지막 수정: 2026-08-15 04:51:55

1. 개요[편집]

역강화학습 Inverse Reinforcement Learning (IRL)
입력	전문가의 시연 궤적 (상태-행동 열)
출력	그 행동을 최적으로 만드는 보상함수
정식화	Ng & Russell (2000)
근본 난점	불량설정 — 상수 보상이 모든 정책을 설명한다
주요 계열	최대 마진 · 특징 기대값 정합 · 최대 엔트로피 · 적대적 모방
보상 불변군	양의 상수배 · 상수 덧셈 · 퍼텐셜 성형
비교 대상	행동 복제(지도학습, 공변량 이동에 취약)

역강화학습(inverse reinforcement learning, IRL)은 전문가가 어떻게 행동하는지를 관찰해, 그가 최대화하고 있었을 보상함수를 복원하는 문제다. 강화 학습이 “보상이 주어졌을 때 정책을 찾는” 순방향 문제라면, IRL은 “정책(의 표본)이 주어졌을 때 보상을 찾는” 역문제 다.

동기는 실무적이다. 로봇에게 “사람처럼 운전해라”를 시키고 싶은데, 그 요구를 보상함수로 손수 적는 순간 재앙이 시작된다. 속도·연비·차선 유지·승차감·양보를 가중합으로 묶는 계수 다섯 개를 손으로 맞추다 보면, 학습된 정책은 반드시 설계자가 미처 생각 못 한 허점을 찾아낸다. 보상 설계는 어렵고, 시연은 쉽다. 그렇다면 시연에서 보상을 뽑아내자는 것이 이 분야의 출발점이다.

한 가지만 먼저 못 박아 두자. IRL의 목표는 정책이 아니라 보상이다. 정책은 보상만 있으면 다시 만들 수 있고, 보상은 정책보다 간결하고 전이 가능하기 때문이다 — 운전자의 선호는 차종이 바뀌어도 유지되지만 그 선호를 실현하는 조향 정책은 바뀐다. 이 “보상이 더 간결한 기술이다”라는 가정 전체가 IRL의 베팅이다.¹

2. 근본적인 불량설정성[편집]

나쁜 소식부터. 이 문제는 원래 답이 하나가 아니다. 그것도 사소한 정도가 아니다.

보상 $R \equiv 0$ 은 모든 정책을 최적으로 만든다. 아무것도 안 해도 손해가 없으니 아무 행동이나 최적이고, 따라서 관측된 전문가 행동도 당연히 최적이다. 이 자명한 해가 항상 존재한다는 사실이 IRL을 곧바로 불량설정 문제로 만든다.

$R \equiv 0$ 을 배제해도 모호성은 남는다. 최적 정책을 바꾸지 않는 보상 변환이 최소 세 종류 있다.

양의 상수배 — $R \to cR$ , $c>0$ . 순서 관계가 그대로다.
상수 덧셈 — $R \to R + b$ . 할인 무한지평에서 모든 상태의 가치가 $b/(1-\gamma)$ 만큼 균일하게 오르므로 비교 결과가 불변이다.
퍼텐셜 기반 성형(potential-based shaping) — 임의의 상태함수 $\Phi$ 에 대해

R'(s,a,s') = R(s,a,s') + \gamma\,\Phi(s') - \Phi(s)

응·하라다·러셀(1999)의 결과로, 이 변환은 모든 MDP에서 최적 정책을 보존한다. 게다가 성형항이 이 꼴이어야 한다는 역방향도 거의 성립한다 — 전이구조에 무관하게 최적성을 보존하려면 퍼텐셜 꼴이어야 한다. 직관은 간단하다. 성형항의 궤적 누적합이 망원급수로 접혀 $-\Phi(s_0)$ 만 남기 때문에, 어떤 궤적을 고르든 같은 양이 더해진다.

$\Phi$ 는 아무 함수나 되므로 이건 무한 차원의 모호성이다. 결론적으로, 완벽한 시연을 무한히 많이 보고 전이 확률을 전부 알아도 보상은 이 불변군을 넘어서서는 식별되지 않는다. 최근 식별 가능성 연구들이 이 한계를 정리로 못 박았다.²

그래서 IRL 알고리즘은 전부 모호성을 깨는 추가 원리를 하나씩 얹은 것이라고 읽으면 정확하다. 어떤 원리를 고르느냐가 곧 알고리즘의 이름이다.

3. 응-러셀 정식화[편집]

응과 러셀(2000)의 출발점은 이렇다. 유한 MDP에서 전문가 정책 $\pi$ 가 주어졌을 때, $\pi$ 를 최적으로 만드는 보상 벡터 $R$ 의 집합은 선형 부등식 다발로 정확히 쓸 수 있다. $\pi$ 가 상태마다 행동 $a_1$ 을 고른다고 두면 조건은

\big(P_{a_1} - P_{a}\big)\big(I - \gamma P_{a_1}\big)^{-1} R \;\succeq\; 0 \qquad \forall a \neq a_1

읽으면 ” $a_1$ 을 하고 이후 $\pi$ 를 따르는 가치가, 다른 행동 $a$ 로 한 번 벗어났다 돌아오는 가치보다 크거나 같다”이다. 이 집합은 볼록 다면체이고, $R=0$ 은 항상 그 안에 있다.

그래서 원 논문은 그 다면체 안에서 하나를 고르는 기준을 얹는다. 두 가지를 썼다.

마진 최대화 — 차선 행동과의 가치 차이를 최대화한다. “전문가가 고른 행동이 압도적으로 좋아 보이게 하는 보상”을 고르는 것이다.
희소성 벌점 — 보상 벡터에 절댓값 합 형태의 벌점을 걸어 단순한 보상을 선호한다. 오컴의 면도날을 볼록 최적화 제약으로 번역한 것이며, 결과적으로 전체가 선형계획으로 떨어진다.

깔끔하지만 전제가 무겁다. 상태공간이 유한하고 열거 가능해야 하고, 전문가의 정책을 상태 전체에서 알아야 한다. 실제로는 궤적 몇 개만 있다. 이 간극을 메우는 것이 다음 세대다.

4. 특징 기대값 정합[편집]

애빌과 응(2004)의 전환은 문제를 다시 정의한 데 있다. 보상이 특징의 선형결합 $R(s) = \mathbf{w}^\top \boldsymbol{\phi}(s)$ 라고 가정하면, 정책의 가치는

V(\pi) = \mathbb{E}\Big[\sum_t \gamma^t \mathbf{w}^\top\boldsymbol{\phi}(s_t)\Big] = \mathbf{w}^\top \boldsymbol{\mu}(\pi), \qquad \boldsymbol{\mu}(\pi) = \mathbb{E}\Big[\sum_t \gamma^t \boldsymbol{\phi}(s_t)\Big]

로 쪼개진다. $\boldsymbol{\mu}(\pi)$ 를 특징 기대값이라 부른다. 여기서 핵심 관찰이 나온다. $\boldsymbol{\mu}(\pi)$ 가 $\boldsymbol{\mu}(\pi_E)$ 에 충분히 가까우면, $\mathbf{w}$ 가 무엇이든 가치 차이가 작다. 구체적으로 특징 기대값의 유클리드 거리가 $\varepsilon$ 이하이고 가중치의 크기가 1 이하면 가치 차이도 $\varepsilon$ 이하로 유계다.

이 부등식이 목표를 바꿔 놓는다. 보상을 맞힐 필요가 없다. 특징 기대값만 맞히면 된다. 알고리즘은 자연스럽게 두 선수의 게임이 된다.

현재 후보 정책들과 전문가를 가장 크게 갈라놓는 $\mathbf{w}$ 를 찾는다(최대 마진, SVM 꼴의 이차계획).
그 $\mathbf{w}$ 에 대해 순방향 RL을 풀어 새 정책을 얻고 목록에 추가한다.
마진이 충분히 작아질 때까지 반복.

즉 IRL 한 번에 순방향 RL을 여러 번 푼다. 이 이중 루프가 IRL 알고리즘의 계산 비용을 지배하는 구조이며, 이후 거의 모든 방법이 같은 골격을 갖는다. 같은 시기의 최대 마진 계획법(MMP)은 같은 아이디어를 구조적 예측의 최대 마진 틀로 정리하고 하위기울기법으로 푼다.

여기에도 남은 문제가 있다. 특징 기대값을 맞히는 정책은 여러 개고, 심지어 혼합 정책이어야 할 수도 있다. 알고리즘이 내놓는 것은 “정책들의 볼록결합”이라 실제 로봇에 얹기 애매하다. 무엇을 기준으로 하나를 고를 것인가 — 이 질문이 다음 절의 답으로 이어진다.

5. 최대 엔트로피 IRL[편집]

지바트 등(2008)의 답은 이렇다. 특징 기대값 제약을 만족하는 궤적 분포 중에서 엔트로피가 최대인 것을 고른다. 제인스의 최대 엔트로피 원리를 그대로 가져온 것이고, 제약 아래 가장 덜 주장하는 분포를 고른다는 뜻이다. 결과는 지수족이다.

P(\tau \mid \mathbf{w}) = \frac{1}{Z(\mathbf{w})}\exp\!\big(\mathbf{w}^\top \mathbf{f}(\tau)\big), \qquad \mathbf{f}(\tau) = \sum_{t}\gamma^t\boldsymbol{\phi}(s_t), \qquad Z(\mathbf{w}) = \sum_{\tau}\exp\!\big(\mathbf{w}^\top\mathbf{f}(\tau)\big)

보상이 높은 궤적일수록 지수적으로 더 자주 관측된다는 모형이다. 이 한 줄이 앞 절의 두 가지 모호성을 동시에 없앤다. 여러 개의 최적 궤적이 있으면 그들 사이에 확률을 균등 배분하고, 최적이 아닌 시연도 “확률이 낮은 사건”으로 자연스럽게 흡수한다. 결정론적 최적성을 가정하던 이전 방법들이 시연 하나만 삐끗해도 실행 불가능(infeasible)이 되던 것과 대조적이다.

학습은 최대우도추정이고, 로그가능도의 기울기가 지수족의 교과서적 형태로 떨어진다.

\nabla_{\mathbf{w}} \mathcal{L} = \tilde{\mathbf{f}}_E - \mathbb{E}_{\tau \sim P(\cdot\mid\mathbf{w})}\big[\mathbf{f}(\tau)\big]

관측된 특징 평균 − 현재 모형이 예측하는 특징 평균. 이 둘이 같아지면 멈춘다. 형태가 이징 모형 같은 에너지 기반 모형의 학습 규칙과 정확히 같은 것은 우연이 아니다 — 둘 다 지수족의 최대우도이기 때문이다.

계산의 전부는 분할함수 $Z$ 다. 궤적의 수가 지수적으로 많으니 직접 셀 수 없다. 유한 상태공간에서는 궤적 합이 동적 계획법으로 접힌다 — 후방으로 소프트 가치를 채우고(로그-합-지수 백업) 전방으로 상태 방문 빈도를 굴려 기대 특징을 얻는다. 여기서 나오는 소프트 벨만 백업은 최대 엔트로피 강화 학습의 그것과 같은 물건이며, 두 분야가 같은 뿌리를 공유한다는 사실이 이 지점에서 드러난다. 세부는 그쪽 문서에 있으니 여기서는 IRL 쪽 결론만 정리한다. 볼츠만 정책은 “전문가는 거의 최적이며 동률은 무작위로 고른다”는 관측 모형으로 IRL에 들어왔고, 순방향 RL에서는 같은 식이 탐험을 내장한 목적함수로 재해석된 것이다.

연속·고차원 상태공간으로 넘어가면 동적 계획법이 죽으므로 $Z$ 를 표본으로 추정해야 하고, 그러면 학습이 중요도 표본추출로 분할함수를 추정하는 문제로 바뀐다. 보상을 심층망으로 놓는 확장(deep MaxEnt IRL)과, 표본 정책 자체를 함께 최적화하는 유도 비용 학습(GCL)이 이 방향이다.

6. 적대적 모방 — GAIL과 AIRL[편집]

여기서 관점이 한 번 더 뒤집힌다. 위의 이중 루프를 들여다보면, 판별하는 쪽(보상)과 흉내 내는 쪽(정책)이 번갈아 최적화되는 구조다. 이건 생성적 적대 신경망과 형식이 같다.

GAIL(2016)은 이 대응을 명시적으로 만든다. IRL을 점유 측도(occupancy measure) 사이의 거리 최소화로 다시 쓰면, 특정 정규화항을 골랐을 때 목적이 전문가 궤적 분포와 정책 궤적 분포 사이의 젠센-섀넌 발산 을 줄이는 것과 같아진다. 그래서 판별자 $D$ 를 학습시켜 “전문가 것인가 정책 것인가”를 맞히게 하고, 정책은 $-\log D$ 를 보상 삼아 정책경사로 올린다.

이 방식은 성능이 좋지만 보상함수를 돌려주지 않는다. 판별자는 두 분포를 가르는 함수일 뿐, 환경이 바뀌어도 유지되는 선호 표현이 아니다. 균형 상태에서 판별자는 어디서나 1/2 을 뱉으므로 정보가 사라진다. 즉 GAIL은 모방 학습이지 엄밀한 의미의 IRL이 아니다.

AIRL(2018)은 이 점을 겨눈다. 판별자를 구조화해

D(s,a,s') = \frac{\exp\big(f(s,a,s')\big)}{\exp\big(f(s,a,s')\big) + \pi(a\mid s)}, \qquad f(s,a,s') = g(s) + \gamma\,h(s') - h(s)

로 두면, $f$ 안에서 성형항 $\gamma h(s') - h(s)$ 를 명시적으로 분리해 $g(s)$ 만 남길 수 있다. 앞 절에서 본 퍼텐셜 성형 모호성을 파라미터화 단계에서 밀어내는 설계다. 이렇게 얻은 보상은 전이 동역학이 바뀌어도 유효하다고 보고됐다 — 마찰 계수나 로봇 질량이 달라진 환경에서 재학습했을 때 GAIL의 정책은 무너지지만 AIRL의 보상은 살아남는다는 것이 원 논문의 주장이다.

7. 행동 복제와의 거리[편집]

가장 단순한 대안은 행동 복제(behavior cloning) — 상태를 입력, 전문가 행동을 라벨로 두고 지도학습을 돌리는 것이다. 구현이 반나절이고 데이터만 많으면 꽤 잘 되므로 실무의 기본선이다. 문제는 하나뿐인데, 그 하나가 치명적이다.

공변량 이동(covariate shift). 지도학습은 데이터가 독립 동일분포라고 가정하지만, 순차 결정에서는 모형이 자기가 볼 데이터를 자기가 만든다. 한 번 실수해 전문가가 가 본 적 없는 상태로 들어가면 그 상태에서는 아무것도 배운 게 없으므로 더 큰 실수를 하고, 오차가 자기증폭한다. 이론적으로 한 스텝 오차율 $\varepsilon$ 에 대해 지평 $T$ 짜리 누적 후회가 최악의 경우 $O(\varepsilon T^2)$ 로 커진다. 반면 IRL로 보상을 복원해 순방향 RL을 돌리면, 정책이 실제로 방문하는 분포 위에서 최적화하므로 이 증폭이 없다.

절충안이 DAgger(2011)다. 학습된 정책을 굴려 그 정책이 실제로 방문하는 상태들을 모으고, 그 상태들에 대해 전문가에게 정답 라벨을 다시 받아 데이터셋에 합친 뒤 재학습한다. 이 반복이 누적 후회를 $O(\varepsilon T)$ 로 되돌린다. 대신 학습 중에 전문가에게 계속 물어볼 수 있어야 하는데, 사람 운전자를 옆에 앉혀 두고 “지금 이 상황이면 뭘 하겠습니까”를 수천 번 묻는 것은 데이터 수집 설계상 만만치 않다.

항목	행동 복제	DAgger	IRL
학습 대상	정책	정책	보상 (→ 정책)
필요한 것	시연만	시연 + 질의 가능한 전문가	시연 + 환경 접근(순방향 RL)
누적 오차	지평의 제곱	지평에 비례	분포 이동 없음
계산 비용	지도학습 1회	지도학습 여러 회	순방향 RL 여러 회 (비쌈)
환경이 바뀌면	다시 시연	다시 시연	보상 재사용 가능

정리하면 IRL의 값어치는 정확도가 아니라 전이 가능성에서 나온다. 환경이 고정이고 시연이 넘치면 행동 복제가 이긴다. 보상을 다른 로봇·다른 도로·다른 목표에 재사용하고 싶을 때만 순방향 RL을 여러 번 푸는 비용을 낼 이유가 생긴다.

8. 응용과 함정[편집]

자율주행·경로 선택 — 최대 엔트로피 IRL의 첫 대규모 실증이 택시 기사들의 GPS 궤적에서 경로 선호를 복원한 것이었다. 이후 차선 변경, 합류, 보행자 상호작용 같은 “사회적으로 자연스러운” 거동을 보상으로 표현하는 데 널리 쓰인다.
동물행동 분석 — 동물의 이동 궤적에서 무엇을 최적화하고 있었는지 추정한다. 여기서는 정책 성능이 목적이 아니라 복원된 보상 자체가 과학적 결론이므로, 앞서 말한 식별 가능성 한계를 훨씬 심각하게 취급해야 한다. 불변군까지만 식별된다는 사실을 무시하고 계수를 해석하면 그냥 틀린 이야기를 하게 된다.
로봇 조작·비행 — 곡예 비행이나 조작 과제에서 사람 시범으로 비용함수를 얻어 최적 제어에 넘기는 방식. 사실상 모델 예측 제어의 목적함수를 데이터로 설계하는 것이다.

마지막으로 함정 목록.³

특징이 곧 사전분포다. 선형 IRL에서 복원되는 보상은 준 특징의 생성공간을 절대 벗어나지 못한다. 특징이 나쁘면 알고리즘이 아무리 좋아도 답이 없다. 심층 IRL이 이걸 완화하지만 대신 식별 가능성이 더 나빠진다.
전문가가 최적이라는 가정은 대개 거짓이다. 사람은 최적이 아니고, 게다가 관측되지 않는 정보를 쓴다. 후자가 특히 나쁜데, 관측자에게 안 보이는 변수를 쓰는 행동은 관측 가능한 특징만으로는 비합리적으로 보인다. 그러면 IRL은 그 비합리성을 설명하려고 이상한 보상을 만들어 낸다.
평가 기준을 정해라. “복원된 보상이 맞는가”는 불변군 때문에 직접 물을 수 없다. 실무의 표준은 복원된 보상으로 다시 학습한 정책의 참 성능을 재는 것이고, 그러려면 참 보상을 아는 시뮬레이션 벤치마크가 필요하다. 참 보상을 모르는 실제 문제에서 IRL 결과를 정량 검증하는 방법은 여전히 열린 문제에 가깝다.

9. 관련 문서[편집]

러셀이 1998년에 이 문제를 제기하면서 든 예가 꿀벌이었다. 꿀벌의 먹이 채집 행동을 보고 “이 벌은 무엇을 최대화하는가”를 물으면, 답은 벌의 신경 회로가 아니라 진화가 정한 목적함수다. IRL이 심리학·행동생태학·경제학의 선호 추정과 같은 질문을 하고 있다는 점은 이 분야가 스스로 자주 강조하는 대목이다. ↩
그래서 논문에서 “우리가 복원한 보상 계수를 보면 이 운전자는 연비를 안전보다 1.7배 중시한다” 같은 문장을 만나면 일단 의심하는 게 좋다. 계수는 스케일과 퍼텐셜 성형까지만 정해지므로, 비율 비교가 의미를 가지려면 정규화 규약을 명시해야 한다. 명시한 논문은 드물다. ↩
여담으로 IRL의 실패 모드는 보상 설계의 실패 모드와 형태가 같다. 손으로 적은 보상은 설계자가 빠뜨린 항을 정책이 악용하고, IRL로 복원한 보상은 특징 집합이 빠뜨린 축을 정책이 악용한다. 둘 다 “우리가 적은 것이 우리가 원한 것이 아니었다”는 같은 문장으로 끝난다. 요구사항을 정확히 적는 것이 어렵다는 소프트웨어 공학의 오래된 교훈이 여기서도 반복된다. ↩