#P09 · 概率統計與AI優化 (Probability & AI) · Lv.4在3D思維導圖中查看

香農資訊熵與交叉熵損失 (Cross-Entropy)

Claude Shannon, Solomon Kullback & Richard Leibler · 1948년

H(P, Q) = -\sum_x P(x) \log Q(x) = H(P) + D_{\mathrm{KL}}(P \parallel Q)

\mathcal{L}_{\mathrm{BCE}} = -\big[y \ln \hat{y} + (1-y)\ln(1-\hat{y})\big]

度量概率分布不確定性的香農熵，以及衡量真實分布P與AI預測分布Q之間差異的交叉熵損失函數。

🧮 即時公式計算器與圖形繪製器

真實概率 p

AI預測概率 q

H(P,Q) = 0.4927, \quad D_{\mathrm{KL}}(P\parallel Q) = 0.1676\text{ nats}

교차 엔트로피 손실 H(P,Q)

0.4927

KL 발산 D_KL(P||Q)

0.1676

자체 엔트로피 H(P)

0.3251

先修概念路徑 (Prerequisite Path) (9 STEP)

完整路徑分析

按順序點擊即可沿3D霓虹路徑從基礎直達目標公式。

STEP 1#A01等式性質與一元一次方程

ax + b = 0 \implies x = -\frac{b}{a}

STEP 2#A02乘法公式與因式分解恆等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#A03指數法則與根式運算

a^m \cdot a^n = a^{m+n}

STEP 4#P01排列與組合 (計數原理)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A08二項式定理與帕斯卡三角形

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 6#A06對數運算法則與換底公式

\log_a(xy) = \log_a x + \log_a y

STEP 7#P04數學期望與方差 (隨機變量矩)

E[X] = \sum_i x_i p_i

STEP 8#P02條件概率與乘法定理

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 9#P09香農資訊熵與交叉熵損失 (Cross-Entropy)

H(P

🚀 由此公式衍生的進階公式 (1)

#P10Softmax函數與隨機梯度下降 (SGD)

幾何與直觀原理解析

드문 사건이 일어날수록 놀람의 정도(정보량 -log P)가 크며, AI가 정답에 낮은 확률 Q를 부여할수록 교차 엔트로피 벌점이 로그 함수로 폭발합니다.

分步公式推導過程

Step 1.독립 사건의 정보량이 덧셈(I(p₁p₂) = I(p₁)+I(p₂))을 만족하려면 정보량은 I(p) = -log(p) 형태여야 합니다.
Step 2.실제 분포 P로 예측 분포 Q의 정보량 기댓값을 구하면 교차 엔트로피 H(P,Q) = -∑ P(x) log Q(x)가 됩니다.
Step 3.H(P,Q) - H(P) = ∑ P(x) log(P(x)/Q(x)) = D_KL(P || Q) ≥ 0 이므로 Q = P일 때 손실이 최소가 됩니다.

AI與程式實戰應用

大語言模型(LLM)訓練、圖像分類器等幾乎所有現代分類與生成式AI的標準損失函數(Cross-Entropy Loss)。

#Cross-Entropy Loss#LLM Pretraining#Information Theory#KL Divergence

const bceLoss = (y, yHat) => -(y * Math.log(yHat + 1e-9) + (1 - y) * Math.log(1 - yHat + 1e-9));

概率統計與AI優化 (Probability & AI) — 同領域相關公式

排列與組合 (計數原理)

Lv.1 · Combinatorics

條件概率與乘法定理

Lv.2 · LLM Next-Token

貝氏定理 (後驗概率推斷)

Lv.3 · Spam Filter

數學期望與方差 (隨機變量矩)

Lv.2 · Reinforcement Learning

二項分布與伯努利試驗

Lv.2 · A/B Testing

常態分布 (高斯分布) 與標準分數 Z

Lv.3 · Diffusion Models