전체 스토리 목록딥러닝 · LLM 핵심

연쇄법칙에서 트랜스포머까지: 수조 개의 파라미터를 학습시키는 5개의 핵심 수식

행렬 곱셈, 내적, 소프트맥스, 교차 엔트로피, 그리고 미분 연쇄법칙이 어떻게 결합되어 현대 인공지능이 스스로 지식을 학습하는지 단계별로 해부합니다.

Attention(Q,K,V)=softmax⁡ ⁣(QKTdk)V,∂L∂Wl=∂L∂aL⋯∂al∂Wl\text{Attention}(Q,K,V) = \operatorname{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right)V, \quad \frac{\partial \mathcal{L}}{\partial W_l} = \frac{\partial \mathcal{L}}{\partial a_L}\cdots\frac{\partial a_l}{\partial W_l}
순전파(Forward Pass)는 행렬 곱셈과 내적을 통해 단어 벡터들 사이의 문맥 유사도(Attention)를 계산하는 선형대수 과정입니다.
손실 평가(Loss Evaluation)는 정보이론의 교차 엔트로피(Cross-Entropy)로 정답 확률분포와의 괴리를 하나의 스칼라 숫자로 압축합니다.
역전파(Backpropagation)는 미적분학의 연쇄법칙(Chain Rule)을 출력층부터 입력층까지 재귀 적용해 각 가중치의 책임(기울기)을 정밀 배분합니다.
⚡ 이 아티클에 등장하는 핵심 공식
#L02벡터의 내적(Dot Product)과 코사인 유사도#L04행렬 곱셈과 선형변환 합성 (GEMM)#C03곱의 미분법과 합성함수 연쇄법칙 (Chain Rule)#C08편미분과 그래디언트 벡터 (∇f 다변수 미분)#P09정보 엔트로피와 교차 엔트로피 (Cross-Entropy)#P10소프트맥스(Softmax)와 확률적 경사하강법 (SGD)

1. 왜 어텐션 수식에서 √d_k 로 나누는가? (분산 안정화)

Var⁡(q⋅k)=dk  ⟹  Var⁡ ⁣(q⋅kdk)=1\operatorname{Var}(q \cdot k) = d_k \implies \operatorname{Var}\!\left(\frac{q \cdot k}{\sqrt{d_k}}\right) = 1

차원 d_k개의 독립 표준정규분포 변수들을 내적하면 기댓값은 0이지만 분산이 d_k배로 커집니다. 차원이 커질수록 내적값이 극단적으로 커져 Softmax 함수가 0 또는 1로 포화(Saturation)되고 미분값(기울기)이 0으로 소실됩니다. 이를 √d_k로 나누어 주면 분산이 다시 1로 정규화되어 학습이 안정됩니다.

2. 소프트맥스 + 교차 엔트로피 미분의 수학적 기적

∂LCE∂zi=σ(z)i−yi\frac{\partial \mathcal{L}_{\mathrm{CE}}}{\partial z_i} = \sigma(\mathbf{z})_i - y_i

지수함수와 로그함수가 얽힌 복잡한 합성함수임에도 불구하고, 교차 엔트로피 손실 L을 로짓 z_i로 편미분하면 모든 비선형 항이 약분되어 단순히 '모델이 예측한 확률 σ(z)_i 빼기 실제 정답 y_i'라는 일차식이 됩니다. 이 선형 오차 신호 덕분에 딥러닝이 기울기 소실 없이 빠르게 수렴합니다.