#P10 · 概率統計與AI優化 (Probability & AI) · Lv.5在3D思維導圖中查看

Softmax函數與隨機梯度下降 (SGD)

Augustin-Louis Cauchy, Ludwig Boltzmann & Geoffrey Hinton · 1986년

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}, \quad \theta_{t+1} = \theta_t - \eta \nabla_\theta \mathcal{L}(\theta_t)

\frac{\partial \mathcal{L}_{\mathrm{CE}}}{\partial z_i} = \sigma(\mathbf{z})_i - y_i

將神經網路原始輸出(Logits)轉化為概率分布的Softmax函數，以及沿損失梯度反方向更新權重的梯度下降演算法。

🧮 即時公式計算器與圖形繪製器

Logit z₁ (目標類別)

Logit z₂ (競爭類別)

學習率 η

\sigma(z_1) = 81.8\%, \; \frac{\partial \mathcal{L}}{\partial z_1} = -0.182, \; z_1^{(t+1)} = 2.536

정답 소프트맥스 확률 σ(z₁)

81.76%

기울기 ∂L/∂z₁ = σ(z₁)-1

-0.1824

1스텝 업데이트 후 z₁'

2.50 → 2.536

先修概念路徑 (Prerequisite Path) (22 STEP)

完整路徑分析

按順序點擊即可沿3D霓虹路徑從基礎直達目標公式。

STEP 1#G03圓周率 π 與弧度制·扇形公式

l = r\theta

STEP 2#A02乘法公式與因式分解恆等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#G01畢達哥拉斯定理 (畢氏定理)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 4#P01排列與組合 (計數原理)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A03指數法則與根式運算

a^m \cdot a^n = a^{m+n}

STEP 6#L01向量運算與 L1·L2 範數及單位向量歸一化

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 7#A01等式性質與一元一次方程

ax + b = 0 \implies x = -\frac{b}{a}

STEP 8#G04單位圓三角函數與基本恆等式

\cos^2\theta + \sin^2\theta = 1

STEP 9#G02二維與三維空間歐幾里得距離公式

d(P

STEP 10#G05正弦定理與餘弦定理

c^2 = a^2 + b^2 - 2ab\cos C

STEP 11#A06對數運算法則與換底公式

\log_a(xy) = \log_a x + \log_a y

STEP 12#A08二項式定理與帕斯卡三角形

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 13#C02導數定義與瞬時變化率 (切線斜率)

f'(x) = \frac{df}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}

STEP 14#L02向量點積(內積)與餘弦相似度

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 15#P04數學期望與方差 (隨機變量矩)

E[X] = \sum_i x_i p_i

STEP 16#P02條件概率與乘法定理

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 17#C01極限的定義與自然常數 e 的誕生

e = \lim_{n \to \infty} \left(1 + \frac{1}{n}\right)^n \approx 2.718281828

STEP 18#L04矩陣乘法與線性變換複合 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 19#C03乘積法則與複合函數鏈式法則 (Chain Rule)

\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}

STEP 20#C08偏導數與梯度向量 (∇f 多元微積分)

\nabla f = \left(\frac{\partial f}{\partial x_1}

STEP 21#P09香農資訊熵與交叉熵損失 (Cross-Entropy)

H(P

STEP 22#P10Softmax函數與隨機梯度下降 (SGD)

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}

幾何與直觀原理解析

소프트맥스와 교차 엔트로피를 합성해 미분하면 복잡한 지수·로그가 기적처럼 약분되어 '예측확률 - 정답(ŷ - y)'이라는 가장 아름다운 오차 신호가 나옵니다.

分步公式推導過程

Step 1.로짓 벡터 z에 지수함수를 취해 양수로 만든 뒤 총합 ∑e^(z_j/T)로 나누어 총합 1인 확률분포 σ(z)를 만듭니다.
Step 2.교차 엔트로피 L = -∑ y_k ln σ(z)_k를 z_i로 편미분(연쇄법칙)하면 ∂L/∂z_i = σ(z)_i - y_i가 유도됩니다.
Step 3.이 기울기에 학습률 η를 곱해 가중치에서 빼주면 θ_{t+1} = θ_t - η∇L(θ_t)로 손실이 감소합니다.

AI與程式實戰應用

Transformer自注意力機制、LLM溫度採樣以及所有深度學習優化器(SGD, AdamW)的心臟公式。

#Transformer Attention#Deep Learning Optimizer#LLM Temperature#Backpropagation

const softmax = (zs, T=1) => { const exps = zs.map(z => Math.exp(z/T)); const s = exps.reduce((a,b)=>a+b,0); return exps.map(e => e/s); };

概率統計與AI優化 (Probability & AI) — 同領域相關公式

排列與組合 (計數原理)

Lv.1 · Combinatorics

條件概率與乘法定理

Lv.2 · LLM Next-Token

貝氏定理 (後驗概率推斷)

Lv.3 · Spam Filter

數學期望與方差 (隨機變量矩)

Lv.2 · Reinforcement Learning

二項分布與伯努利試驗

Lv.2 · A/B Testing

常態分布 (高斯分布) 與標準分數 Z

Lv.3 · Diffusion Models