#P10 · 概率统计与AI优化 (Probability & AI) · Lv.5在3D思维导图中查看

Softmax函数与随机梯度下降 (SGD)

Augustin-Louis Cauchy, Ludwig Boltzmann & Geoffrey Hinton · 1986년

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}, \quad \theta_{t+1} = \theta_t - \eta \nabla_\theta \mathcal{L}(\theta_t)

\frac{\partial \mathcal{L}_{\mathrm{CE}}}{\partial z_i} = \sigma(\mathbf{z})_i - y_i

将神经网络原始输出(Logits)转化为概率分布的Softmax函数，以及沿损失梯度反方向更新权重的梯度下降算法。

🧮 即时公式计算器与图形绘制器

Logit z₁ (目标类别)

Logit z₂ (竞争类别)

学习率 η

\sigma(z_1) = 81.8\%, \; \frac{\partial \mathcal{L}}{\partial z_1} = -0.182, \; z_1^{(t+1)} = 2.536

정답 소프트맥스 확률 σ(z₁)

81.76%

기울기 ∂L/∂z₁ = σ(z₁)-1

-0.1824

1스텝 업데이트 후 z₁'

2.50 → 2.536

先修概念路径 (Prerequisite Path) (22 STEP)

完整路径分析

按顺序点击即可沿3D霓虹路径从基础直达目标公式。

STEP 1#G03圆周率 π 与弧度制·扇形公式

l = r\theta

STEP 2#A02乘法公式与因式分解恒等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#G01毕达哥拉斯定理 (勾股定理)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 4#P01排列与组合 (计数原理)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A03指数法则与根式运算

a^m \cdot a^n = a^{m+n}

STEP 6#L01向量运算与 L1·L2 范数及单位向量归一化

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 7#A01等式性质与一元一次方程

ax + b = 0 \implies x = -\frac{b}{a}

STEP 8#G04单位圆三角函数与基本恒等式

\cos^2\theta + \sin^2\theta = 1

STEP 9#G02二维与三维空间欧几里得距离公式

d(P

STEP 10#G05正弦定理与余弦定理

c^2 = a^2 + b^2 - 2ab\cos C

STEP 11#A06对数运算法则与换底公式

\log_a(xy) = \log_a x + \log_a y

STEP 12#A08二项式定理与帕斯卡三角形

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 13#C02导数定义与瞬时变化率 (切线斜率)

f'(x) = \frac{df}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}

STEP 14#L02向量点积(内积)与余弦相似度

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 15#P04数学期望与方差 (随机变量矩)

E[X] = \sum_i x_i p_i

STEP 16#P02条件概率与乘法定理

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 17#C01极限的定义与自然常数 e 的诞生

e = \lim_{n \to \infty} \left(1 + \frac{1}{n}\right)^n \approx 2.718281828

STEP 18#L04矩阵乘法与线性变换复合 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 19#C03乘积法则与复合函数链式法则 (Chain Rule)

\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}

STEP 20#C08偏导数与梯度向量 (∇f 多元微积分)

\nabla f = \left(\frac{\partial f}{\partial x_1}

STEP 21#P09香农信息熵与交叉熵损失 (Cross-Entropy)

H(P

STEP 22#P10Softmax函数与随机梯度下降 (SGD)

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}

几何与直观原理解析

소프트맥스와 교차 엔트로피를 합성해 미분하면 복잡한 지수·로그가 기적처럼 약분되어 '예측확률 - 정답(ŷ - y)'이라는 가장 아름다운 오차 신호가 나옵니다.

分步公式推导过程

Step 1.로짓 벡터 z에 지수함수를 취해 양수로 만든 뒤 총합 ∑e^(z_j/T)로 나누어 총합 1인 확률분포 σ(z)를 만듭니다.
Step 2.교차 엔트로피 L = -∑ y_k ln σ(z)_k를 z_i로 편미분(연쇄법칙)하면 ∂L/∂z_i = σ(z)_i - y_i가 유도됩니다.
Step 3.이 기울기에 학습률 η를 곱해 가중치에서 빼주면 θ_{t+1} = θ_t - η∇L(θ_t)로 손실이 감소합니다.

AI与编程实战应用

Transformer自注意力机制、LLM温度采样以及所有深度学习优化器(SGD, AdamW)的心脏公式。

#Transformer Attention#Deep Learning Optimizer#LLM Temperature#Backpropagation

const softmax = (zs, T=1) => { const exps = zs.map(z => Math.exp(z/T)); const s = exps.reduce((a,b)=>a+b,0); return exps.map(e => e/s); };

概率统计与AI优化 (Probability & AI) — 同领域相关公式

排列与组合 (计数原理)

Lv.1 · Combinatorics

条件概率与乘法定理

Lv.2 · LLM Next-Token

贝叶斯定理 (后验概率推断)

Lv.3 · Spam Filter

数学期望与方差 (随机变量矩)

Lv.2 · Reinforcement Learning

二项分布与伯努利试验

Lv.2 · A/B Testing

正态分布 (高斯分布) 与标准分数 Z

Lv.3 · Diffusion Models