#P09 · 확률 · 통계 · AI 최적화 (Probability & AI) · Lv.43D 마인드맵에서 보기

정보 엔트로피와 교차 엔트로피 (Cross-Entropy)

클로드 섀넌 · 쿨백 · 라이블러 · 1948년

H(P, Q) = -\sum_x P(x) \log Q(x) = H(P) + D_{\mathrm{KL}}(P \parallel Q)

\mathcal{L}_{\mathrm{BCE}} = -\big[y \ln \hat{y} + (1-y)\ln(1-\hat{y})\big]

확률분포가 품고 있는 평균 정보량(불확실성)을 측정하는 섀넌 엔트로피와, 실제 정답 분포 P와 AI 예측 분포 Q 사이의 괴리를 측정하는 교차 엔트로피 수식입니다.

🧮 즉석 공식 계산기 & 그래프 플로터

실제 정답 확률 p

AI 예측 확률 q

H(P,Q) = 0.4927, \quad D_{\mathrm{KL}}(P\parallel Q) = 0.1676\text{ nats}

교차 엔트로피 손실 H(P,Q)

0.4927

KL 발산 D_KL(P||Q)

0.1676

자체 엔트로피 H(P)

0.3251

선수 개념 경로 (Prerequisite Path) (9 STEP)

전체 경로 분석기

아래 순서대로 클릭하면 3D 네온 경로를 따라 기초부터 목표 공식까지 정복합니다.

STEP 1#A01등식의 성질과 일차방정식

ax + b = 0 \implies x = -\frac{b}{a}

STEP 2#A02곱셈공식과 인수분해 항등식

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#A03지수법칙과 거듭제곱근

a^m \cdot a^n = a^{m+n}

STEP 4#P01순열과 조합 (경우의 수)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A08이항정리와 파스칼의 삼각형

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 6#A06로그의 정의와 밑변환 공식

\log_a(xy) = \log_a x + \log_a y

STEP 7#P04기댓값과 분산 (확률변수의 모멘트)

E[X] = \sum_i x_i p_i

STEP 8#P02조건부확률과 곱셈정리

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 9#P09정보 엔트로피와 교차 엔트로피 (Cross-Entropy)

H(P

🚀 이 공식에서 파생되는 상위 공식 (1)

#P10소프트맥스(Softmax)와 확률적 경사하강법 (SGD)

기하학적·직관적 원리 해설

드문 사건이 일어날수록 놀람의 정도(정보량 -log P)가 크며, AI가 정답에 낮은 확률 Q를 부여할수록 교차 엔트로피 벌점이 로그 함수로 폭발합니다.

단계별 수식 유도 과정

Step 1.독립 사건의 정보량이 덧셈(I(p₁p₂) = I(p₁)+I(p₂))을 만족하려면 정보량은 I(p) = -log(p) 형태여야 합니다.
Step 2.실제 분포 P로 예측 분포 Q의 정보량 기댓값을 구하면 교차 엔트로피 H(P,Q) = -∑ P(x) log Q(x)가 됩니다.
Step 3.H(P,Q) - H(P) = ∑ P(x) log(P(x)/Q(x)) = D_KL(P || Q) ≥ 0 이므로 Q = P일 때 손실이 최소가 됩니다.

AI · 프로그래밍 실전 활용처

ChatGPT(LLM) 학습, 이미지 분류 CNN/ViT 등 현대 모든 분류·생성 딥러닝 모델의 표준 손실함수(Cross-Entropy Loss)이자 결정트리(XGBoost) 정보이득의 핵심입니다.

#Cross-Entropy Loss#LLM Pretraining#Information Theory#KL Divergence

const bceLoss = (y, yHat) => -(y * Math.log(yHat + 1e-9) + (1 - y) * Math.log(1 - yHat + 1e-9));

확률 · 통계 · AI 최적화 (Probability & AI) — 함께 탐험할 연관 공식

순열과 조합 (경우의 수)

Lv.1 · Combinatorics

조건부확률과 곱셈정리

Lv.2 · LLM Next-Token

베이즈 정리 (사후확률 추론)

Lv.3 · Spam Filter

기댓값과 분산 (확률변수의 모멘트)

Lv.2 · Reinforcement Learning

이항분포와 베르누이 시행

Lv.2 · A/B Testing

정규분포 (가우시안 분포)와 표준화 Z

Lv.3 · Diffusion Models