#P10 · 確率・統計・AI最適化 (Probability & AI) · Lv.53Dマインドマップで見る

ソフトマックス関数 (Softmax) と確率的勾配降下法 (SGD)

Augustin-Louis Cauchy, Ludwig Boltzmann & Geoffrey Hinton · 1986년

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}, \quad \theta_{t+1} = \theta_t - \eta \nabla_\theta \mathcal{L}(\theta_t)

\frac{\partial \mathcal{L}_{\mathrm{CE}}}{\partial z_i} = \sigma(\mathbf{z})_i - y_i

ニューラルネットの出力ロジットを確率分布に変換するSoftmax関数と、損失の勾配の逆方向へ重みを更新する深層学習の頂点となる公式です。

🧮 即時公式計算機 & グラフプロッター

ロジット z₁ (正解クラス)

ロジット z₂ (競合クラス)

学習率 η

\sigma(z_1) = 81.8\%, \; \frac{\partial \mathcal{L}}{\partial z_1} = -0.182, \; z_1^{(t+1)} = 2.536

정답 소프트맥스 확률 σ(z₁)

81.76%

기울기 ∂L/∂z₁ = σ(z₁)-1

-0.1824

1스텝 업데이트 후 z₁'

2.50 → 2.536

前提概念ルート (Prerequisite Path) (22 STEP)

ルート解析機

順番にクリックすると基礎から目標公式までの3Dネオン経路を辿れます。

STEP 1#G03円周率 π と弧度法(ラジアン)・扇形の公式

l = r\theta

STEP 2#A02乗法公式と因数分解の恒等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 3#G01ピタゴラスの定理 (三平方の定理)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 4#P01順列と組み合わせ (場合の数)

{}_nP_r = \frac{n!}{(n-r)!}

STEP 5#A03指数法則と累乗根

a^m \cdot a^n = a^{m+n}

STEP 6#L01ベクトルの演算と L1・L2 ノルム・正規化

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 7#A01等式の性質と一次方程式

ax + b = 0 \implies x = -\frac{b}{a}

STEP 8#G04単位円上の三角関数と基本恒等式

\cos^2\theta + \sin^2\theta = 1

STEP 9#G022D・3D座標空間のユークリッド距離公式

d(P

STEP 10#G05正弦定理と余弦定理

c^2 = a^2 + b^2 - 2ab\cos C

STEP 11#A06対数の定義と底の変換公式

\log_a(xy) = \log_a x + \log_a y

STEP 12#A08二項定理とパスカルの三角形

(a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k

STEP 13#C02微分係数と導関数 (瞬間変化率と接線)

f'(x) = \frac{df}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}

STEP 14#L02ベクトルの内積(ドット積)とコサイン類似度

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 15#P04期待値と分散 (確率変数のモーメント)

E[X] = \sum_i x_i p_i

STEP 16#P02条件付き確率と乗法定理

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

STEP 17#C01極限の定義とネイピア数 e の誕生

e = \lim_{n \to \infty} \left(1 + \frac{1}{n}\right)^n \approx 2.718281828

STEP 18#L04行列の積と線形変換の合成 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 19#C03積の微分法と合成関数の連鎖律 (Chain Rule)

\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}

STEP 20#C08偏微分と勾配ベクトル (∇f 多変数微分)

\nabla f = \left(\frac{\partial f}{\partial x_1}

STEP 21#P09情報エントロピーと交差エントロピー (Cross-Entropy)

H(P

STEP 22#P10ソフトマックス関数 (Softmax) と確率的勾配降下法 (SGD)

\sigma(\mathbf{z})_i = \frac{e^{z_i / T}}{\sum_{j=1}^K e^{z_j / T}}

幾何学的・直観的解説

소프트맥스와 교차 엔트로피를 합성해 미분하면 복잡한 지수·로그가 기적처럼 약분되어 '예측확률 - 정답(ŷ - y)'이라는 가장 아름다운 오차 신호가 나옵니다.

ステップ別数式導出

Step 1.로짓 벡터 z에 지수함수를 취해 양수로 만든 뒤 총합 ∑e^(z_j/T)로 나누어 총합 1인 확률분포 σ(z)를 만듭니다.
Step 2.교차 엔트로피 L = -∑ y_k ln σ(z)_k를 z_i로 편미분(연쇄법칙)하면 ∂L/∂z_i = σ(z)_i - y_i가 유도됩니다.
Step 3.이 기울기에 학습률 η를 곱해 가중치에서 빼주면 θ_{t+1} = θ_t - η∇L(θ_t)로 손실이 감소합니다.

AI・プログラミング実戦活用

TransformerのSelf-Attention、LLMのTemperatureサンプリング、そして全ての深層学習オプティマイザ(SGD, AdamW)の心臓部です。

#Transformer Attention#Deep Learning Optimizer#LLM Temperature#Backpropagation

const softmax = (zs, T=1) => { const exps = zs.map(z => Math.exp(z/T)); const s = exps.reduce((a,b)=>a+b,0); return exps.map(e => e/s); };

確率・統計・AI最適化 (Probability & AI) — 同分野の関連公式

順列と組み合わせ (場合の数)

Lv.1 · Combinatorics

条件付き確率と乗法定理

Lv.2 · LLM Next-Token

ベイズの定理 (事後確率推論)

Lv.3 · Spam Filter

期待値と分散 (確率変数のモーメント)

Lv.2 · Reinforcement Learning

二項分布とベルヌーイ試行

Lv.2 · A/B Testing

正規分布 (ガウス分布) と標準化 Zスコア

Lv.3 · Diffusion Models