저장소 계산

1. 개요[편집]

저장소 계산 Reservoir Computing (RC)
학습 대상	선형 판독층 $W_{\text{out}}$ 하나뿐
고정 대상	순환 가중치 $W$, 입력 가중치 $W_{\text{in}}$ — 무작위로 뽑고 그대로 둠
두 뿌리	에코 상태 네트워크(Jaeger, 2001) · 액체 상태 기계(Maass 외, 2002)
필수 조건	에코 상태 성질(ESP) — 초기 상태의 영향이 잊혀질 것
학습	능형회귀 한 번 (닫힌 형태)
대표 성과	카오스 시계열 예측, 어트랙터 복제
후속	차세대 저장소 계산(NG-RC) · 물리적 저장소(광학·스핀트로닉스)

저장소 계산(reservoir computing)은 무작위로 뽑아 고정한 순환 동역학계(저장소)에 입력을 흘려 넣어 고차원 상태로 펼친 다음, 그 상태에서 목표 출력으로 가는 선형 사상만 학습하는 기계학습 패러다임이다. 순환 신경망의 가장 어려운 부분 — 순환 가중치를 학습하는 것 — 을 아예 하지 않기로 결정해 버린 접근이다.

기본형은 두 줄이다. 저장소 상태 $\mathbf{x}\in\mathbb{R}^N$, 입력 $\mathbf{u}$, 출력 $\mathbf{y}$ 에 대해

$$\mathbf{x}(n+1) = \tanh\!\big(W\mathbf{x}(n) + W_{\text{in}}\mathbf{u}(n+1)\big), \qquad \mathbf{y}(n) = W_{\text{out}}\,\mathbf{x}(n)$$

여기서 $W$ 와 $W_{\text{in}}$ 은 무작위로 한 번 뽑고 영원히 건드리지 않는다. 학습되는 것은 $W_{\text{out}}$ 뿐이고, 이건 선형회귀라 닫힌 형태로 한 방에 풀린다. 시간 역전파도, 기울기 소실도, 학습률 스케줄도 없다. 이 무모해 보이는 방식이 카오스 시계열 예측 같은 과제에서 정성껏 학습시킨 RNN과 겨룬다는 것이 이 분야의 존재 이유다.¹

발상의 뿌리는 커널 방법과 같다. 비선형 문제를 고차원으로 올리면 선형으로 풀 수 있다. 저장소는 그 올리는 일을 하되, 단순한 특징 사상이 아니라 기억을 가진 동역학계로 한다. 그래서 $\mathbf{x}(n)$ 은 현재 입력만이 아니라 입력의 과거 전체를 비선형으로 뒤섞은 함수가 되고, 판독층은 그 뒤섞인 재료에서 원하는 조합을 골라내기만 하면 된다.

2. 두 갈래 — 에코 상태 네트워크와 액체 상태 기계[편집]

같은 아이디어가 2001~2002년에 두 공동체에서 거의 동시에, 서로 다른 동기로 나왔다.

• 에코 상태 네트워크(ESN, Jaeger 2001)는 공학 쪽에서 왔다. 이산시간, tanh 발화율 유닛, 목표는 시계열 예측과 시스템 식별. 설계 지침이 스펙트럼 반경·희소도·입력 스케일 같은 몇 개의 숫자로 정리돼 있다는 것이 강점이다.
• 액체 상태 기계(LSM, Maass·Natschläger·Markram 2002)는 계산 신경과학 쪽에서 왔다. 연속시간, 적분-발화 모형 같은 스파이킹 뉴런, 동기는 “피질의 무작위 회로가 안정한 상태 없이도 실시간 계산을 할 수 있는가” 라는 이론적 질문이었다. 그래서 정리(theorem) 두 개가 앞에 나온다 — 저장소가 서로 다른 입력 이력을 서로 다른 상태로 보내는 분리 성질(separation property)과, 판독층 부류가 충분히 풍부하다는 근사 성질(approximation property). 둘이 갖춰지면 이 구조가 시간에 불변인 넓은 부류의 필터를 근사할 수 있다는 결론이다.

이름의 은유가 성격을 드러낸다. “액체”는 돌을 던진 물통의 표면 — 파문이 겹치며 최근 사건의 흔적을 잠시 간직하는 매질이다.² “에코”는 상태가 과거 입력의 메아리라는 뜻이다. 오늘날 실무는 대체로 ESN 계열이고, LSM은 뉴로모픽 하드웨어와 스파이킹 신경망 쪽에서 살아 있다.

3. 에코 상태 성질과 스펙트럼 반경[편집]

저장소가 쓸모 있으려면 초기 상태를 잊어야 한다. 같은 입력열을 넣었을 때 어떤 초기 상태에서 출발했든 충분한 시간 뒤에는 같은 상태로 수렴해야 한다는 조건, 이것이 에코 상태 성질(ESP)이다. 성립하지 않으면 저장소의 상태가 “언제 켰는가”에 계속 의존하므로 판독층이 배울 대상 자체가 정의되지 않는다.

여기서 이 분야에서 가장 자주 잘못 인용되는 명제가 나온다. 정확히 쓰면 이렇다.

• 충분조건: $\sigma_{\max}(W) < 1$ (최대 특이값, 즉 스펙트럼 노름이 1 미만). $\tanh$ 가 1-립시츠이므로 상태 사상이 축약이 되어 ESP가 보장된다. 다만 이 조건은 지나치게 보수적이라, 이걸 지키면 저장소가 대개 너무 얌전해져서 성능이 떨어진다.
• 필요조건: 입력이 0인 경우를 포함하는 설정에서 $\rho(W) < 1$ (스펙트럼 반경). $\rho > 1$ 이면 원점 근방이 불안정해 영입력 상태에서 ESP가 깨진다.

즉 $\rho(W) < 1$ 은 충분조건이 아니다. 그런데 현장의 관행은 ”$\rho$ 를 0.9~1.1 근처로 스케일링한다”이고, 이 관행은 사실 위 두 문장 사이의 틈에서 산다. 입력이 계속 강하게 들어와 $\tanh$ 를 포화 영역으로 밀면 실효 이득이 줄어들어 $\rho > 1$ 이어도 ESP가 성립하는 경우가 많다. 반대로 $\rho < 1$ 이면서도 비정규 행렬 특유의 과도 성장 때문에 실질적으로 발산처럼 굴 수도 있다 — 의사스펙트럼이 다루는 바로 그 현상이다. 정리하면 $\rho$ 는 보장이 아니라 다이얼이고, ESP는 결국 입력 통계까지 함께 봐야 판정된다.³

다이얼로서의 $\rho$ 는 이렇게 읽는다. 작으면 상태가 빨리 잊어 기억이 짧고 안정적이며, 1에 가까울수록 과거를 오래 들고 있지만 잡음에도 민감해진다. 그래서 필요한 기억 길이에 맞춰 정한다 — 빠른 반응이 필요한 과제는 0.5, 긴 문맥이 필요한 과제는 0.95쯤에서 출발하는 식이다.

3.1. 혼돈의 가장자리[편집]

“저장소는 질서와 혼돈의 경계에서 계산 능력이 최대가 된다”는 이야기가 이 분야의 단골 서사다. 근거가 없지는 않다. 임계선 근처에서 저장소는 섭동을 오래 유지하면서도(기억) 서로 다른 입력을 충분히 갈라 놓는데(분리), 이 둘의 곱이 최대가 되는 지점이 실제로 임계선 근처라는 보고가 여러 번 나왔다.

다만 이것을 법칙으로 받아들이면 안 된다. 최적 지점은 과제가 요구하는 기억 길이와 비선형성의 정도에 따라 옮겨 다니고, 잡음이 있으면 임계선에서 멀어지는 쪽이 유리해진다. 게다가 “혼돈의 가장자리”라는 표현 자체가 입력이 있는 구동계에서는 정의가 애매하다 — 자율계의 랴푸노프 지수가 0을 지나는 선과, 입력을 받는 저장소의 성능이 꺾이는 선은 같은 선이 아니다. 실무 지침은 시시하지만 정직하다. $\rho$ 를 격자 탐색해라.

4. 판독층 학습 — 능형회귀 한 번[편집]

전체 학습 절차는 이렇다.

1. 세척(washout) — 초기 $n_0$ 스텝의 상태는 초기 조건의 잔향이므로 통째로 버린다. ESP가 성립하니 언젠가는 잊히지만, 그 전까지의 데이터는 오염돼 있다.
2. 수집 — 남은 상태를 열로 쌓아 $X \in \mathbb{R}^{N\times T}$, 목표를 $Y \in \mathbb{R}^{M\times T}$ 로 모은다. 상태 벡터에 입력 $\mathbf{u}(n)$ 과 상수항 1을 이어 붙이는 것이 관례다.
3. 회귀 — 릿지 해를 닫힌 형태로 푼다.

$$W_{\text{out}} = Y X^{\!\top}\big(X X^{\!\top} + \lambda I\big)^{-1}$$

이게 전부다. 능형회귀이고, 정규방정식이며, 티호노프 정규화의 표준형이다. $N$ 이 수천 규모면 $XX^\top$ 는 고작 $N\times N$ 이라 촐레스키 분해 한 번으로 끝나고, 조건수가 나쁘면 특이값 분해 기반 풀이로 바꾼다. $T$ 가 아주 커도 $XX^\top$ 와 $YX^\top$ 를 스트리밍으로 누적할 수 있으니 메모리도 문제가 되지 않는다.

정규화 계수 $\lambda$ 가 이 방법의 진짜 하이퍼파라미터다. 저장소 상태끼리는 강하게 상관돼 있어 $XX^\top$ 가 거의 특이행렬이고, $\lambda=0$ 으로 두면 판독 가중치가 수천 배로 튀면서 학습 구간만 완벽하게 맞히고 밖에서는 즉시 발산한다. 자기회귀 롤아웃에서는 이 발산이 특히 잔인하다. 교차검증으로 $\lambda$ 를 잡는 것은 선택이 아니라 필수다.

한편 이 구조에는 원리적 상한이 있다. 재거가 정의한 기억 용량(선형 기억 용량)은 저장소 크기 $N$ 을 넘지 못하며, 더 일반적으로 저장소가 처리할 수 있는 정보 처리 용량의 총량이 $N$ 으로 유계라는 결과가 있다. 즉 기억과 비선형성은 같은 예산을 나눠 쓴다. 저장소를 더 비선형으로 만들면 기억이 짧아진다. 공짜 점심은 여기서도 없다.

5. 시간척도 정합 — 누설 적분 뉴런[편집]

기본형 저장소는 한 스텝에 상태를 통째로 갈아 치우기 때문에, 입력이 느리게 변하는 문제에서는 저장소가 쓸데없이 빠르다. 그래서 누설 적분(leaky integrator) 형태를 쓴다.

$$\mathbf{x}(n+1) = (1-a)\,\mathbf{x}(n) + a\,\tanh\!\big(W\mathbf{x}(n) + W_{\text{in}}\mathbf{u}(n+1)\big)$$

누설률 $a \in (0,1]$ 은 저장소의 시간상수를 정하는 손잡이다. $a=1$ 이면 원래 형태로 돌아가고, 작을수록 상태가 천천히 움직이며 저역통과 필터처럼 군다. 연속시간 저장소 ODE를 오일러법으로 이산화하면 정확히 이 꼴이 나오므로, $a$ 는 사실상 $\Delta t/\tau$ 다. 적분-발화 모형의 누설항과 완전히 같은 물건이고, 실제로 이 아이디어의 출처도 그쪽이다.

정합의 원칙은 단순하다. 저장소의 시간상수를 신호의 시간상수에 맞춰라. 표본화 주기를 바꾸는 것과 $a$ 를 바꾸는 것은 상당 부분 같은 일이며, 서로 다른 $a$ 를 가진 유닛을 섞어 넣어 여러 시간척도를 동시에 담는 설계도 흔하다.

6. 카오스 예측과 어트랙터 복제[편집]

저장소 계산이 유명해진 결정적 계기는 카오스계 예측이다. 로렌츠 방정식이나 쿠라모토-시바신스키 방정식의 궤적을 학습시키면, 예측 지평이 랴푸노프 시간의 몇 배에 이르는 결과가 반복해 보고됐다. 카오스계에서 이 정도면 상당한 성적이다.

더 흥미로운 것은 어트랙터 복제다. 학습이 끝난 저장소의 출력을 입력으로 되먹여 자율계로 돌리면 — 즉 폐루프로 놓으면 — 궤적 자체는 얼마 못 가 원본에서 갈라지지만(카오스니까 당연하다), 만들어 내는 끌개의 기하와 통계량이 원본과 닮는다. 랴푸노프 지수 스펙트럼이나 프랙탈 차원 같은 불변량까지 재현했다는 보고가 있다. 궤적 예측과 통계 재현은 다른 목표이며, 후자를 “기후를 배웠다”고 부른다.

주의할 점도 같이 알려져 있다. 폐루프 자율 실행은 학습 분포를 벗어나면 즉시 무너진다. 열린 루프에서 잘 맞던 모형이 되먹임을 걸자마자 발산하는 것은 이 바닥의 통과의례이고, 원인은 순환 신경망 대리모델의 롤아웃 오차 누적과 정확히 같다. 처방도 같다 — 학습 시 상태에 소량의 잡음을 주입해 궤도 근방에서의 강건성을 확보하고, $\lambda$ 를 충분히 크게 잡는다.

이런 성질 덕분에 축소차수모델이나 대리 모델의 시간 전개 부분을 저장소로 대체하는 시도가 CAE 쪽에서도 나온다. 다만 외삽에 약하다는 근본 한계는 그대로이므로, 학습 분포 밖 예측을 신뢰하지 않는 원칙은 여기서도 유효하다.

7. 차세대 저장소 계산 (NG-RC)[편집]

2021년에 나온 관점 전환이 있다. 저장소가 하는 일이 결국 “입력의 시간 지연 좌표와 그 비선형 조합을 만드는 것”이라면, 그 특징을 무작위 동역학계로 우회 생성할 것 없이 직접 만들면 되지 않는가?

차세대 저장소 계산(NG-RC)은 이 발상대로 저장소를 삭제한다. 특징 벡터를 $\mathbf{u}(n), \mathbf{u}(n-1), \dots, \mathbf{u}(n-k)$ 의 지연 좌표와 그들의 2차·3차 다항식 곱으로 명시적으로 구성하고, 그 위에 똑같이 릿지 회귀를 얹는다. 통계학에서 부르는 이름을 붙이면 비선형 벡터 자기회귀(NVAR)다.

항목	표준 RC	NG-RC
특징 생성	무작위 순환망	지연 좌표의 다항식
무작위성	있음 (시드마다 성능이 흔들림)	없음 (결정론적·재현 가능)
하이퍼파라미터	$N$, $\rho$, 희소도, 입력 스케일, $a$, $\lambda$	지연 수 $k$, 차수 $d$, $\lambda$
필요 학습 데이터	많음	크게 적음
취약점	시드 편차, 튜닝 부담	특징 수가 $\binom{k m + d}{d}$ 로 폭발

카오스계 예측 벤치마크에서 NG-RC가 훨씬 적은 데이터와 계산으로 동등 이상의 성적을 낸 사례들이 보고됐다. 대신 입력 차원 $m$ 이나 차수 $d$ 가 커지면 특징 수가 조합적으로 터지므로, 동역학이 다항식에 가깝고 차원이 낮은 계에 특화된 도구로 보는 게 맞다. 지배방정식이 다항식 꼴인 계에서 잘 되는 것은 우연이 아니고, 희소회귀로 지배방정식을 직접 찾는 계열과 사실상 사촌이다.

8. 물리적 저장소[편집]

판독층만 학습하면 된다는 성질에는 강력한 부수 효과가 하나 있다. 저장소가 미분 가능할 필요도, 심지어 디지털일 필요도 없다. 충분히 고차원이고 비선형이며 기억을 가진 물리계라면 무엇이든 저장소로 쓸 수 있고, 측정만 할 수 있으면 학습은 밖에서 릿지 회귀로 한다.

• 광학 — 지연 되먹임 루프에 비선형 소자 하나를 넣고 시간축을 따라 가상 노드를 배치하는 지연선 방식이 대표적이다. 광속으로 도는 저장소라 처리 속도가 극단적으로 빠르다.
• 스핀트로닉스 — 스핀 토크 나노 발진기 하나의 비선형 응답을 시간 다중화해 음성 숫자 인식을 수행한 결과가 2017년 Nature 에 실렸다. 소자 하나가 저장소 전체 역할을 한다.
• 멤리스터·아날로그 회로 · 소프트 로봇의 몸체 — 후자는 “형태 계산”(morphological computation)이라 불리는데, 유연한 몸의 동역학 자체가 제어 계산의 일부를 떠맡는다는 발상이다.

공통된 실무 난점도 있다. 물리적 저장소는 온도·노화에 따라 특성이 표류하므로 판독 가중치를 주기적으로 다시 맞춰야 하고, 상태를 읽어내는 측정 대역폭이 결국 전체 성능의 병목이 된다. 저장소가 아무리 빨라도 상태를 못 읽으면 소용이 없다.

9. 관련 문서[편집]

• 순환 신경망 · 심층 학습 · 상태공간모형
• 능형회귀 · 티호노프 정규화 · 최소자승법
• 특이값 분해 · 촐레스키 분해 · 의사스펙트럼
• 카오스 이론 · 랴푸노프 지수 · 로렌츠 방정식
• 축소차수모델 · 대리 모델 · 동적 모드 분해
• 스파이킹 신경망 · 적분-발화 모형 · 계산 신경과학
• 뉴로모픽 컴퓨팅 · 자기조직화 · 창발

10. Footnotes[편집]

1. “가중치를 안 배우는데 왜 되냐”에 대한 가장 정직한 답은 “판독층이 배울 재료를 저장소가 우연히 충분히 많이 만들어 주기 때문”이다. 무작위 사영이 고차원에서 거리 구조를 잘 보존한다는 결과들과 정신적으로 같은 부류이며, 실제로 저장소를 크게 키우면 시드에 대한 성능 편차가 줄어든다. 다만 이 설명은 “왜 이 크기면 충분한가”를 말해 주지 않고, 그래서 실무는 여전히 $\rho$ 를 격자 탐색한다. ↩

2. 은유가 그냥 은유로 끝나지 않은 사례가 있다. 2003년에 진짜 물통에 물을 담고 모터로 진동을 준 뒤 수면을 카메라로 찍어 그 픽셀값을 상태 벡터로 삼아 음성 분류를 시도한 연구가 있다. 제목이 “Pattern recognition in a bucket”. 성능은 겸손했지만 “저장소는 아무 물리계나 된다”는 주장을 이보다 잘 보여 준 실험은 없다. ↩

3. 재거의 원 보고서부터 이미 충분조건은 최대 특이값, 필요조건은 스펙트럼 반경으로 갈라 적어 두었는데, 이후 인용이 거듭되면서 “ρ<1 이면 ESP”라는 틀린 요약으로 굳었다. 실제로는 잘 되는 저장소의 상당수가 ρ>1 이고, 그게 버그가 아니라 정상이다. 논문의 부등호 방향은 인용될 때마다 조금씩 마모된다. ↩