#P09 · 確率・統計・AI最適化 (Probability & AI) · Lv.43Dマインドマップで見る

情報エントロピーと交差エントロピー (Cross-Entropy)

Claude Shannon, Solomon Kullback & Richard Leibler · 1948년

H(P, Q) = -\sum_x P(x) \log Q(x) = H(P) + D_{\mathrm{KL}}(P \parallel Q)

\mathcal{L}_{\mathrm{BCE}} = -\big[y \ln \hat{y} + (1-y)\ln(1-\hat{y})\big]

確率分布の不確実性を測るシャノンエントロピーと、正解分布PとAIの予測分布Qの乖離を測る交差エントロピー損失の公式です。

🧮 即時公式計算機 & グラフプロッター

正解確率 p

AI予測確率 q

H(P,Q) = 0.4927, \quad D_{\mathrm{KL}}(P\parallel Q) = 0.1676\text{ nats}

교차 엔트로피 손실 H(P,Q)

0.4927

KL 발산 D_KL(P||Q)

0.1676

자체 엔트로피 H(P)

0.3251

前提概念ルート (Prerequisite Path) (9 STEP)

ルート解析機

順番にクリックすると基礎から目標公式までの3Dネオン経路を辿れます。

STEP 1#A01等式の性質と一次方程式

ax + b = 0 \implies x = -\frac{b}{a}

STEP 2#A02乗法公式と因数分解の恒等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#A03指数法則と累乗根

a^m \cdot a^n = a^{m+n}

STEP 4#P01順列と組み合わせ (場合の数)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A08二項定理とパスカルの三角形

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 6#A06対数の定義と底の変換公式

\log_a(xy) = \log_a x + \log_a y

STEP 7#P04期待値と分散 (確率変数のモーメント)

E[X] = \sum_i x_i p_i

STEP 8#P02条件付き確率と乗法定理

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 9#P09情報エントロピーと交差エントロピー (Cross-Entropy)

H(P

🚀 この公式から派生する上位公式 (1)

#P10ソフトマックス関数 (Softmax) と確率的勾配降下法 (SGD)

幾何学的・直観的解説

드문 사건이 일어날수록 놀람의 정도(정보량 -log P)가 크며, AI가 정답에 낮은 확률 Q를 부여할수록 교차 엔트로피 벌점이 로그 함수로 폭발합니다.

ステップ別数式導出

Step 1.독립 사건의 정보량이 덧셈(I(p₁p₂) = I(p₁)+I(p₂))을 만족하려면 정보량은 I(p) = -log(p) 형태여야 합니다.
Step 2.실제 분포 P로 예측 분포 Q의 정보량 기댓값을 구하면 교차 엔트로피 H(P,Q) = -∑ P(x) log Q(x)가 됩니다.
Step 3.H(P,Q) - H(P) = ∑ P(x) log(P(x)/Q(x)) = D_KL(P || Q) ≥ 0 이므로 Q = P일 때 손실이 최소가 됩니다.

AI・プログラミング実戦活用

LLM(ChatGPT)の学習や画像分類モデルなど、現代のあらゆる分類・生成AIの標準損失関数(Cross-Entropy Loss)です。

#Cross-Entropy Loss#LLM Pretraining#Information Theory#KL Divergence

const bceLoss = (y, yHat) => -(y * Math.log(yHat + 1e-9) + (1 - y) * Math.log(1 - yHat + 1e-9));

確率・統計・AI最適化 (Probability & AI) — 同分野の関連公式

順列と組み合わせ (場合の数)

Lv.1 · Combinatorics

条件付き確率と乗法定理

Lv.2 · LLM Next-Token

ベイズの定理 (事後確率推論)

Lv.3 · Spam Filter

期待値と分散 (確率変数のモーメント)

Lv.2 · Reinforcement Learning

二項分布とベルヌーイ試行

Lv.2 · A/B Testing

正規分布 (ガウス分布) と標準化 Zスコア

Lv.3 · Diffusion Models