#P09 · 概率统计与AI优化 (Probability & AI) · Lv.4在3D思维导图中查看

香农信息熵与交叉熵损失 (Cross-Entropy)

Claude Shannon, Solomon Kullback & Richard Leibler · 1948년

H(P, Q) = -\sum_x P(x) \log Q(x) = H(P) + D_{\mathrm{KL}}(P \parallel Q)

\mathcal{L}_{\mathrm{BCE}} = -\big[y \ln \hat{y} + (1-y)\ln(1-\hat{y})\big]

度量概率分布不确定性的香农熵，以及衡量真实分布P与AI预测分布Q之间差异的交叉熵损失函数。

🧮 即时公式计算器与图形绘制器

真实概率 p

AI预测概率 q

H(P,Q) = 0.4927, \quad D_{\mathrm{KL}}(P\parallel Q) = 0.1676\text{ nats}

교차 엔트로피 손실 H(P,Q)

0.4927

KL 발산 D_KL(P||Q)

0.1676

자체 엔트로피 H(P)

0.3251

先修概念路径 (Prerequisite Path) (9 STEP)

完整路径分析

按顺序点击即可沿3D霓虹路径从基础直达目标公式。

STEP 1#A01等式性质与一元一次方程

ax + b = 0 \implies x = -\frac{b}{a}

STEP 2#A02乘法公式与因式分解恒等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#A03指数法则与根式运算

a^m \cdot a^n = a^{m+n}

STEP 4#P01排列与组合 (计数原理)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A08二项式定理与帕斯卡三角形

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 6#A06对数运算法则与换底公式

\log_a(xy) = \log_a x + \log_a y

STEP 7#P04数学期望与方差 (随机变量矩)

E[X] = \sum_i x_i p_i

STEP 8#P02条件概率与乘法定理

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 9#P09香农信息熵与交叉熵损失 (Cross-Entropy)

H(P

🚀 由此公式衍生的进阶公式 (1)

#P10Softmax函数与随机梯度下降 (SGD)

几何与直观原理解析

드문 사건이 일어날수록 놀람의 정도(정보량 -log P)가 크며, AI가 정답에 낮은 확률 Q를 부여할수록 교차 엔트로피 벌점이 로그 함수로 폭발합니다.

分步公式推导过程

Step 1.독립 사건의 정보량이 덧셈(I(p₁p₂) = I(p₁)+I(p₂))을 만족하려면 정보량은 I(p) = -log(p) 형태여야 합니다.
Step 2.실제 분포 P로 예측 분포 Q의 정보량 기댓값을 구하면 교차 엔트로피 H(P,Q) = -∑ P(x) log Q(x)가 됩니다.
Step 3.H(P,Q) - H(P) = ∑ P(x) log(P(x)/Q(x)) = D_KL(P || Q) ≥ 0 이므로 Q = P일 때 손실이 최소가 됩니다.

AI与编程实战应用

大语言模型(LLM)训练、图像分类器等几乎所有现代分类与生成式AI的标准损失函数(Cross-Entropy Loss)。

#Cross-Entropy Loss#LLM Pretraining#Information Theory#KL Divergence

const bceLoss = (y, yHat) => -(y * Math.log(yHat + 1e-9) + (1 - y) * Math.log(1 - yHat + 1e-9));

概率统计与AI优化 (Probability & AI) — 同领域相关公式

排列与组合 (计数原理)

Lv.1 · Combinatorics

条件概率与乘法定理

Lv.2 · LLM Next-Token

贝叶斯定理 (后验概率推断)

Lv.3 · Spam Filter

数学期望与方差 (随机变量矩)

Lv.2 · Reinforcement Learning

二项分布与伯努利试验

Lv.2 · A/B Testing

正态分布 (高斯分布) 与标准分数 Z

Lv.3 · Diffusion Models