시냅스 가소성

계산물리 시뮬레이션 통계 마지막 수정: 2026-08-19 04:26:41

1. 개요[편집]

시냅스 가소성 Synaptic plasticity
대표 현상	장기 강화(LTP) · 장기 억압(LTD)
고전 규칙	헤브 규칙 · 오자 규칙 · BCM 이론
시간 규칙	STDP (창 폭 십수~수십 ms)
공통 신호	수상돌기 가시 내 Ca²⁺ 농도
수치적 쟁점	가중치 발산 · 항상성 시간척도 불일치
구현 비용	스파이크 흔적 방식으로 O(스파이크 수)

시냅스 가소성(synaptic plasticity)은 시냅스 전후 뉴런의 활동 이력에 따라 그 시냅스의 전달 효율(가중치)이 지속적으로 변하는 현상이며, 계산 모형에서는 국소적으로 접근 가능한 양들만으로 가중치의 시간 변화율을 지정하는 미분방정식 한 줄로 표현된다. 학습·기억의 세포 수준 기질로 널리 받아들여지고, 인공 신경망의 학습 규칙과 달리 전역 오차 신호를 쓰지 않는다는 점이 정체성이다.

이 문서는 규칙 자체와 그것을 시뮬레이션에 넣을 때의 수치적 문제를 다룬다. 스파이크 기반 망을 실제로 돌리는 인프라 — 시간 구동/사건 구동, 대리 경사, 뉴로모픽 하드웨어 — 는 스파이킹 신경망에, 스파이크 자체의 생성은 활동전위에, 채널 수준 기전은 이온 채널에 있다.

2. 헤브 규칙과 그 즉각적 파산[편집]

출발점은 1949년 헵(Hebb)의 문장이다. “A 세포가 B 세포를 반복적으로 발화시키는 데 관여하면 A에서 B로 가는 효율이 증가한다.” 이것을 가장 소박하게 옮기면 헤브 규칙

\frac{dw}{dt} = \eta\,x\,y

이다. $x$ 는 시냅스 전 활동, $y$ 는 시냅스 후 활동. 국소적이고 단순하고 — 완전히 불안정하다. 선형 뉴런 $y = \mathbf{w}\cdot\mathbf{x}$ 를 넣으면

\frac{d\mathbf{w}}{dt} = \eta\,\langle \mathbf{x}\mathbf{x}^{\!\top}\rangle\,\mathbf{w} = \eta\,C\,\mathbf{w}

가 되어 상관행렬 $C$ 의 최대 고유값 방향으로 지수적으로 발산한다. 감소하는 항이 아예 없으니 당연한 결과다. 시뮬레이션에서는 몇 초 만에 가중치가 상한에 처박히고 모든 뉴런이 최대 발화율로 붙어 버린다. 시냅스 가소성 코드를 처음 짜는 사람이 예외 없이 밟는 지뢰이며, 이후의 모든 이론은 사실상 이 발산을 어떻게 막느냐의 변주다.

가장 우아한 처방이 오자 규칙(Oja, 1982)이다. 망각 항 하나를 붙인다.

\frac{dw_i}{dt} = \eta\,y\,(x_i - y\,w_i)

이러면 $\lVert\mathbf{w}\rVert \to 1$ 로 스스로 정규화되고, 수렴점은 $C$ 의 제1 주성분이다. 즉 오자 규칙을 돌린 뉴런은 입력의 주성분 분석을 온라인으로 수행한다. 국소 규칙에서 전역적으로 의미 있는 목적함수가 튀어나온 첫 사례라, 신경망 이론에서 아직도 자주 인용된다.¹

3. LTP와 LTD — 부호를 결정하는 것은 무엇인가[편집]

실험적 뒷받침은 1973년 블리스와 뢰모가 토끼 해마의 관통로를 고빈도로 자극해 수 시간 지속되는 시냅스 강화(LTP, long-term potentiation)를 보고하면서 시작됐다. 반대 방향 — 저빈도 자극이 지속적 약화(LTD, long-term depression)를 만든다는 것 — 은 1992년 두덱과 베어가 정리했다.

여기서 나오는 그림이 주파수 의존 곡선이다. 자극 빈도를 가로축에 놓으면 대략 1 Hz 근처에서 LTD, 10~50 Hz 이상에서 LTP, 그 사이 어딘가에서 부호가 바뀌는 교차점이 있다. “많이 쓰면 강해진다”가 아니라 “어느 정도 이상 써야 강해지고, 어중간하게 쓰면 오히려 약해진다”가 실제 규칙이다. 헤브의 원문에는 약화가 없었으니, LTD는 순전히 실험이 이론에 강요한 항이다.

4. BCM 이론 — 임계를 움직여라[편집]

교차점의 위치가 고정된 상수라면 문제가 남는다. 뉴런이 전반적으로 활발해지면 모든 입력이 LTP 쪽에 걸려 다시 발산하기 때문이다. 1982년 비엔슈톡·쿠퍼·먼로(BCM)의 해법은 임계 자체를 뉴런의 최근 활동에 따라 움직이는 것이었다.

\frac{dw_i}{dt} = \eta\,x_i\,y\,(y - \theta_m), \qquad \theta_m = \frac{\langle y^2\rangle}{y_0}

$y < \theta_m$ 이면 약화, $y > \theta_m$ 이면 강화다. 결정적인 것은 $\theta_m$ 이 $\langle y \rangle$ 가 아니라 $\langle y^2 \rangle$ 처럼 초선형으로 따라간다는 점이다. 선형이면 임계와 활동이 같은 속도로 움직여 안정화가 되지 않는다. 초선형이면 활동이 커질 때 임계가 더 빨리 올라가 스스로 제동을 걸고, 그 결과 발화율이 유한한 값 근처로 수렴한다. 비선형성의 차수 자체가 안정성 장치인 드문 예다.

BCM의 부수 효과가 더 유명하다. 여러 입력 패턴이 경쟁할 때 이 규칙은 하나의 패턴에만 반응하는 선택성을 만들어 낸다. 시각 피질의 방향 선택성 발달과 단안 차단 실험의 결과 — 차단된 눈의 입력이 약해지고 반대쪽이 강해지는 것 — 를 정량적으로 재현한 것이 이 이론의 대표 성과다. 이웃 뉴런끼리 서로 다른 패턴을 나눠 갖게 만드는 이 경쟁 구조는 자기조직화 지도 계열의 비지도 학습과 같은 계보에 있다.

5. STDP — 부호를 시간이 정한다[편집]

발화율이 아니라 스파이크 시각의 순서가 부호를 정한다는 것이 1997년 마크람 그룹과 1998년 비·푸의 실험에서 나왔다. 시냅스 전 스파이크가 후 스파이크보다 먼저 오면 강화, 나중에 오면 약화이며, 효과의 크기는 시간차 $\Delta t = t_{\rm post} - t_{\rm pre}$ 에 따라 지수적으로 줄어든다.

\Delta w = \begin{cases} +A_+\exp(-\Delta t/\tau_+), & \Delta t > 0\\[2pt] -A_-\exp(\Delta t/\tau_-), & \Delta t < 0 \end{cases}

$\tau_\pm$ 는 대략 십수~수십 ms 규모다. 인과성이 규칙에 직접 박혀 있다는 점이 매력이다 — “먼저 온 것이 원인일 수 있다”는 시간 비대칭이 학습 창의 모양 그 자체다.

다만 이 쌍 기반(pair-based) STDP는 실측과 여러 군데서 어긋난다.

주파수 의존성이 없다. 시간차만 같으면 5 Hz로 짝지어도 40 Hz로 짝지어도 같은 결과를 예측하는데, 실제로는 고빈도에서 LTP 쪽으로 크게 쏠린다.
삼중 조합 효과. 전-후-전 순서와 후-전-후 순서가 대칭이 아니다.
스파이크 짝짓기 규약이 답을 바꾼다. 모든 전-후 쌍을 세는 all-to-all 방식과 가장 가까운 이웃만 세는 nearest-neighbor 방식은 고빈도에서 전혀 다른 결과를 낸다. 이것은 모형의 자유도이지 구현 디테일이 아닌데, 논문에 안 적혀 있는 경우가 많아 재현 실패의 단골 원인이다.

그래서 확장이 이어졌다. 삼중항 STDP(Pfister·Gerstner, 2006)는 흔적을 하나 더 붙여 주파수 의존성을 살리고 적당한 극한에서 BCM을 유도해 낸다. 전압 기반 규칙(Clopath 등, 2010)은 후 스파이크 대신 막전위를 직접 쓴다.

6. 칼슘 가설 — 왜 두 규칙이 같은 것을 말하는가[편집]

BCM과 STDP는 서로 다른 축(발화율 대 시각)에서 출발했는데, 아래층으로 내려가면 같은 변수 하나로 수렴한다. 수상돌기 가시 내부의 Ca $^{2+}$ 농도다.

핵심 소자는 NMDA 수용체다. 이 수용체는 글루탐산이 결합해도 Mg $^{2+}$ 이온이 구멍을 막고 있어 전류가 거의 흐르지 않고, 막이 탈분극돼야 Mg $^{2+}$ 이 밀려나며 열린다. 즉 시냅스 전 신호와 시냅스 후 탈분극이 동시에 있어야만 Ca $^{2+}$ 이 들어온다 — 물리적으로 구현된 AND 게이트, 헤브의 “동시성”이 분자 하나로 실현된 셈이다. 후 스파이크가 수상돌기로 역행 전파해 이 탈분극을 공급하는 것이 STDP 시간 비대칭의 유력한 기원이다.

그다음이 부호를 만든다. 널리 쓰이는 정리는 이렇다.

중간 정도의 Ca $^{2+}$ 상승 — 인산가수분해효소(칼시뉴린 등)가 우세해 LTD.
크고 빠른 Ca $^{2+}$ 상승 — CaMKII가 활성화되고 자기인산화로 상태를 유지해 LTP.
기저 수준 — 변화 없음.

농도 축 위의 두 문턱이 부호를 결정하므로, 자극 프로토콜이 무엇이든(고빈도든 짝지은 스파이크든) 결국 그것이 만드는 Ca $^{2+}$ 시간 궤적으로 번역된다. 그라우프너와 브뤼넬(2012)의 칼슘 기반 모형은 이 관점을 그대로 방정식으로 옮겨 STDP 창, 주파수 의존성, BCM형 곡선을 하나의 모형에서 파라미터만 바꿔 재현했다. “여러 규칙이 있다”가 아니라 “한 규칙을 서로 다른 축에서 잘라 본 단면들이었다”가 현재의 표준 해석이다.²

7. 발산을 막는 장치들[편집]

모형이 아무리 생물학적이어도, 망을 돌리는 순간 문제는 다시 안정성으로 돌아온다. 헤브형 규칙에는 양의 되먹임이 내장돼 있기 때문이다. 가중치가 커지면 후 뉴런이 더 잘 발화하고, 그러면 그 시냅스가 더 강화된다. 실무에서 쓰는 제동 장치는 대략 다섯 가지다.

1. 하드 바운드. $w \in [0, w_{\max}]$ 로 자르는 것. 가장 싸고, 실제로 잘 돌아간다. 대가는 가중치 분포가 0과 $w_{\max}$ 로 몰리는 이봉 분포가 된다는 것 — 강화와 약화가 팽팽한 지점이 불안정하기 때문이다. 시냅스가 사실상 이진 스위치가 되므로 표현력이 준다.

2. 소프트 바운드(곱셈형). 약화량을 $w$ 에 비례시키면( $\Delta w^- \propto w$ ) 큰 가중치일수록 더 크게 깎여 분포가 단봉으로 안정된다. 가중치 의존성을 지수 $\mu$ 로 매개해 두 극단 사이를 연속적으로 오가게 하는 정식화가 표준이며, $\mu$ 를 조금만 0에서 떼도 분포가 이봉에서 단봉으로 넘어간다. 인공 신경망의 가중치 감쇠와 형태가 닮았지만, 여기서는 정규화 목적이 아니라 동역학적 안정화가 목적이다.

3. 명시적 정규화. 매 스텝 $\sum_i w_i$ 또는 $\lVert\mathbf{w}\rVert$ 를 상수로 되돌린다. 뺄셈형 정규화는 강한 경쟁(승자독식)을 만들고 나눗셈형은 부드러운 경쟁을 만든다 — 어느 쪽을 쓰느냐가 결과의 정성적 성격을 바꾼다. 단점은 비국소적이라는 것. 한 시냅스를 갱신하려면 같은 뉴런의 모든 시냅스를 봐야 하므로 생물학적 타당성도, 병렬 구현의 효율도 나빠진다.

4. 항상성 조절. 실험적으로 확인된 장치는 시냅스 스케일링(Turrigiano 등, 1998)이다. 뉴런의 평균 발화율이 목표에서 벗어나면 들어오는 모든 시냅스를 곱셈적으로 함께 키우거나 줄인다. 곱셈적이라는 점이 중요하다 — 상대적 가중치 패턴, 즉 학습된 내용을 보존한 채 전체 이득만 조절하기 때문이다. 흥분성 자체를 바꾸는 내재적 가소성(intrinsic plasticity)도 같은 역할을 한다.

5. 억제성 가소성. 억제 시냅스에 목표 발화율을 가진 가소성 규칙을 걸면 흥분-억제 균형이 스스로 맞춰지고, 흥분성 헤브 학습이 발산하지 않는다. 최근 망 모형에서 가장 널리 쓰이는 조합.

여기에 잘 알려진 시간척도 역설이 있다. 실험에서 측정된 시냅스 스케일링은 수 시간~수 일 규모로 느린데, 모형에서 그 속도로 넣으면 헤브 되먹임이 훨씬 빨라서 스케일링이 도착하기 전에 이미 폭주가 끝나 있다. 안정화를 위해서는 초 규모의 빠른 보상 과정이 하나 더 필요하다는 것이 정리된 결론이고, 시뮬레이션에서 스케일링 시상수를 “생물학적으로 맞게” 크게 잡았다가 망이 터지면 대개 이 문제다.³

8. 구현 — 흔적 두 개면 끝난다[편집]

STDP를 곧이곧대로 짜면 모든 전-후 스파이크 쌍의 시간차를 봐야 해서 비용이 스파이크 수의 제곱이 된다. 실제 구현은 그렇게 하지 않는다. 각 시냅스 전 뉴런에 흔적 $x$ , 후 뉴런에 흔적 $y$ 를 하나씩 두고

\frac{dx}{dt} = -\frac{x}{\tau_+} + \sum_{f}\delta(t - t^f_{\rm pre}), \qquad \frac{dy}{dt} = -\frac{y}{\tau_-} + \sum_{f}\delta(t - t^f_{\rm post})

로 갱신한 뒤, 후 스파이크가 나면 $w \mathrel{+}= A_+ x$ , 전 스파이크가 나면 $w \mathrel{-}= A_- y$ 를 하면 지수 창을 정확히 재현한다. 지수함수의 무기억성 덕분에 과거 전체가 스칼라 하나에 압축되는 것이고, 비용은 스파이크 수에 선형이 된다. 시냅스별로 상태를 들 필요도 없어 메모리도 뉴런 수 규모다. 적격 흔적과 정확히 같은 발상이며, 실제로 여기에 도파민 같은 전역 보상 신호를 세 번째 인자로 곱하면 3인자 규칙이 되어 신용 할당 문제로 이어진다.

구현에서 조심할 곳.

갱신 순서. 같은 스텝에 전·후 스파이크가 동시에 있으면 $\Delta t = 0$ 이라 부호가 정의되지 않는다. 코드에서는 어느 쪽을 먼저 처리하느냐가 결과를 바꾸므로 규약을 명시해야 한다. 고빈도 자극에서 이 편향이 누적된다.
시간 해상도. 스파이크 시각이 격자에 반올림되면 $\Delta t$ 도 반올림되고, $\tau_\pm$ 에 비해 $\Delta t$ 가 무시 못 할 정도로 크면 학습 결과가 $\Delta t$ 에 의존한다. 격자 밖 스파이크 시각 보간을 켜는 이유 중 하나다.
지연을 어디서 세느냐. 축삭 전도 지연이 있으면 “시냅스 전 스파이크 시각”이 발화 시각인지 도착 시각인지에 따라 창 전체가 통째로 이동한다. 둘 다 문헌에 있으니 재현할 때 반드시 확인해야 한다.
동결 검사. 가소성을 끈 상태로 망을 먼저 돌려 발화 통계가 목표 영역에 있는지 확인한 뒤 학습을 켜는 것이 국룰이다. 켜자마자 터지면 원인이 규칙인지 초기 상태인지 구분이 안 된다.

9. 관련 문서[편집]

오자 규칙이 제1 주성분으로 수렴한다는 사실은 “국소적이고 생물학적으로 그럴듯한 규칙이 통계학의 정석 알고리즘을 구현한다”는 서사의 원형이 됐다. 이후 온갖 규칙에 대해 “이건 사실 무엇을 최적화하는가”를 캐묻는 논문이 쏟아졌고, 대부분은 답이 없었다. 답이 있는 사례가 희귀해서 오자 규칙이 아직도 인용되는 것이기도 하다. ↩
그래서 “STDP는 틀렸다”는 주기적으로 나오는 도발적 제목의 논문들은 대개 “쌍 기반 STDP 창을 상수 파라미터로 박아 넣은 구현은 실측을 못 맞춘다”를 말하는 것이지, 시간차가 부호를 바꾼다는 관찰 자체를 부정하는 것이 아니다. 실험 조건(온도, 나이, 세포 종류, 수상돌기 위치)에 따라 창의 모양이 뒤집히기까지 하므로, 문헌의 창 하나를 골라 코드에 상수로 넣는 순간 그 논문의 조건에 묶인다는 것만 인정하면 된다. ↩
이 문제를 처음 만나면 대개 학습률을 낮춘다. 그러면 확실히 안 터지지만, 학습도 안 된다. 안정성과 학습 속도가 같은 노브에 묶여 있다는 것이 헤브형 규칙의 구조적 약점이고, 그래서 별도의 빠른 보상 항을 두는 것이 정공법이다. “학습률을 줄여서 해결했다”는 보고서는 대개 아무것도 해결하지 않았다. ↩