#P10 · 확률 · 통계 · AI 최적화 (Probability & AI) · Lv.53D 마인드맵에서 보기

소프트맥스(Softmax)와 확률적 경사하강법 (SGD)

코시 · 볼츠만 · 루멜하트 · 힌튼 · 1986년

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}, \quad \theta_{t+1} = \theta_t - \eta \nabla_\theta \mathcal{L}(\theta_t)

\frac{\partial \mathcal{L}_{\mathrm{CE}}}{\partial z_i} = \sigma(\mathbf{z})_i - y_i

신경망의 임의 실수 출력(로짓)을 총합이 1인 확률분포로 변환하는 소프트맥스 함수와, 손실함수의 기울기 반대 방향으로 가중치를 업데이트하는 딥러닝 학습의 정점 수식입니다.

🧮 즉석 공식 계산기 & 그래프 플로터

로짓 점수 z₁ (정답 클래스)

로짓 점수 z₂ (경쟁 클래스)

학습률 η (Learning Rate)

\sigma(z_1) = 81.8\%, \; \frac{\partial \mathcal{L}}{\partial z_1} = -0.182, \; z_1^{(t+1)} = 2.536

정답 소프트맥스 확률 σ(z₁)

81.76%

기울기 ∂L/∂z₁ = σ(z₁)-1

-0.1824

1스텝 업데이트 후 z₁'

2.50 → 2.536

선수 개념 경로 (Prerequisite Path) (22 STEP)

전체 경로 분석기

아래 순서대로 클릭하면 3D 네온 경로를 따라 기초부터 목표 공식까지 정복합니다.

STEP 1#G03원주율 π와 호도법(Radian)·부채꼴 공식

l = r\theta

STEP 2#A02곱셈공식과 인수분해 항등식

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#G01피타고라스 정리 (직각삼각형의 법칙)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 4#P01순열과 조합 (경우의 수)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A03지수법칙과 거듭제곱근

a^m \cdot a^n = a^{m+n}

STEP 6#L01벡터의 연산과 L1·L2 노름(Norm)·정규화

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 7#A01등식의 성질과 일차방정식

ax + b = 0 \implies x = -\frac{b}{a}

STEP 8#G04단위원 삼각함수와 피타고라스 항등식

\cos^2\theta + \sin^2\theta = 1

STEP 9#G022D·3D 좌표공간 유클리드 거리 공식

d(P

STEP 10#G05사인법칙과 제2코사인법칙

c^2 = a^2 + b^2 - 2ab\cos C

STEP 11#A06로그의 정의와 밑변환 공식

\log_a(xy) = \log_a x + \log_a y

STEP 12#A08이항정리와 파스칼의 삼각형

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 13#C02미분계수와 도함수 (순간변화율과 접선)

f'(x) = \frac{df}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}

STEP 14#L02벡터의 내적(Dot Product)과 코사인 유사도

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 15#P04기댓값과 분산 (확률변수의 모멘트)

E[X] = \sum_i x_i p_i

STEP 16#P02조건부확률과 곱셈정리

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 17#C01극한의 정의와 자연상수 e의 탄생

e = \lim_{n \to \infty} \left(1 + \frac{1}{n}\right)^n \approx 2.718281828

STEP 18#L04행렬 곱셈과 선형변환 합성 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 19#C03곱의 미분법과 합성함수 연쇄법칙 (Chain Rule)

\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}

STEP 20#C08편미분과 그래디언트 벡터 (∇f 다변수 미분)

\nabla f = \left(\frac{\partial f}{\partial x_1}

STEP 21#P09정보 엔트로피와 교차 엔트로피 (Cross-Entropy)

H(P

STEP 22#P10소프트맥스(Softmax)와 확률적 경사하강법 (SGD)

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}

기하학적·직관적 원리 해설

소프트맥스와 교차 엔트로피를 합성해 미분하면 복잡한 지수·로그가 기적처럼 약분되어 '예측확률 - 정답(ŷ - y)'이라는 가장 아름다운 오차 신호가 나옵니다.

단계별 수식 유도 과정

Step 1.로짓 벡터 z에 지수함수를 취해 양수로 만든 뒤 총합 ∑e^(z_j/T)로 나누어 총합 1인 확률분포 σ(z)를 만듭니다.
Step 2.교차 엔트로피 L = -∑ y_k ln σ(z)_k를 z_i로 편미분(연쇄법칙)하면 ∂L/∂z_i = σ(z)_i - y_i가 유도됩니다.
Step 3.이 기울기에 학습률 η를 곱해 가중치에서 빼주면 θ_{t+1} = θ_t - η∇L(θ_t)로 손실이 감소합니다.

AI · 프로그래밍 실전 활용처

트랜스포머 어텐션(Attention = Softmax(QKᵀ/√d)V), LLM 온도(Temperature) 샘플링, 그리고 모든 딥러닝 옵티마이저(SGD, AdamW)의 심장부입니다.

#Transformer Attention#Deep Learning Optimizer#LLM Temperature#Backpropagation

const softmax = (zs, T=1) => { const exps = zs.map(z => Math.exp(z/T)); const s = exps.reduce((a,b)=>a+b,0); return exps.map(e => e/s); };

확률 · 통계 · AI 최적화 (Probability & AI) — 함께 탐험할 연관 공식

순열과 조합 (경우의 수)

Lv.1 · Combinatorics

조건부확률과 곱셈정리

Lv.2 · LLM Next-Token

베이즈 정리 (사후확률 추론)

Lv.3 · Spam Filter

기댓값과 분산 (확률변수의 모멘트)

Lv.2 · Reinforcement Learning

이항분포와 베르누이 시행

Lv.2 · A/B Testing

정규분포 (가우시안 분포)와 표준화 Z

Lv.3 · Diffusion Models