#L09 · 線形代数学 (Linear Algebra) · Lv.53Dマインドマップで見る

特異値分解(SVD)と主成分分析(PCA)

Beltrami, Jordan, Eckart & Young · 1936년

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

A^T A \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i,\quad \text{Energy}(k) = \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{j=1}^r \sigma_j^2}

どんなm×n行列も「回転(Vᵀ)→軸スケーリング(Σ)→回転(U)」の3段階へ分解する、データサイエンス・次元削減(PCA)・LLM微調整(LoRA)の究極の定理です。

🧮 即時公式計算機 & グラフプロッター

第1特異値 σ₁

第2特異値 σ₂

第3特異値 σ₃

\text{Rank-1 Energy} = \frac{10^2}{10^2+4^2+1^2} = 85.5\%

Rank-1 에너지 보존율

85.47%

Rank-2 누적 보존율

99.15%

프로베니우스 노름 ||A||_F

10.817

前提概念ルート (Prerequisite Path) (19 STEP)

ルート解析機

順番にクリックすると基礎から目標公式までの3Dネオン経路を辿れます。

STEP 1#G01ピタゴラスの定理 (三平方の定理)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 2#G03円周率 π と弧度法(ラジアン)・扇形の公式

l = r\theta

STEP 3#A02乗法公式と因数分解の恒等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 4#A03指数法則と累乗根

a^m \cdot a^n = a^{m+n}

STEP 5#L01ベクトルの演算と L1・L2 ノルム・正規化

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 6#A01等式の性質と一次方程式

ax + b = 0 \implies x = -\frac{b}{a}

STEP 7#G022D・3D座標空間のユークリッド距離公式

d(P

STEP 8#L033次元ベクトルの外積(クロス積)と法線ベクトル

\mathbf{a} \times \mathbf{b} = (a_y b_z - a_z b_y

STEP 9#G05正弦定理と余弦定理

c^2 = a^2 + b^2 - 2ab\cos C

STEP 10#G04単位円上の三角関数と基本恒等式

\cos^2\theta + \sin^2\theta = 1

STEP 11#A04二次方程式の解の公式と判別式

x = \frac{-b \pm \sqrt{b^2 - 4ac}}{2a}

STEP 12#A05解と係数の関係 (ヴィエトの 공식)

\alpha + \beta = -\frac{b}{a}

STEP 13#L02ベクトルの内積(ドット積)とコサイン類似度

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 14#L04行列の積と線形変換の合成 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 15#G06三角関数の加法定理と倍角の公式

\cos(\alpha\pm\beta) = \cos\alpha\cos\beta \mp \sin\alpha\sin\beta

STEP 16#L05行列式(Determinant)と逆行列の公式

\det(A) = ad - bc

STEP 17#L072D・3D回転行列と直交行列 (SO(3))

R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}

STEP 18#L08固有値(Eigenvalue)と固有ベクトル方程式

A\mathbf{v} = \lambda\mathbf{v} \iff \det(A - \lambda I) = 0

STEP 19#L09特異値分解(SVD)と主成分分析(PCA)

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

幾何学的・直観的解説

수백만 화소의 사진이나 거대한 AI 가중치 행렬에서 가장 큰 특이값 σ₁, σ₂ 몇 개만 남기고 작은 특이값들을 버려도(Low-Rank Approximation), 원본 정보의 95% 이상이 그대로 보존되면서 용량은 1/10로 줄어듭니다!

ステップ別数式導出

Step 1.1단계: 임의의 m×n 행렬 A에 대해 대칭행렬 A^T A 의 고윳값 λ_i ≥ 0 와 직교 고유벡터 v_i 를 구합니다.
Step 2.2단계: 특이값을 σ_i = √λ_i 로 정의하고, u_i = (1/σ_i) A v_i 로 좌특이벡터를 구성합니다.
Step 3.3단계: 이를 행렬로 묶으면 AV = UΣ 가 되고, V가 직교행렬(V⁻¹=V^T)이므로 A = UΣV^T 가 완성됩니다.

AI・プログラミング実戦活用

LLMの低ランク微調整(LoRA)、PCA高次元データ圧縮、推薦システム、画像ノイズ除去

#LLM LoRA Fine-Tuning#PCA Dimensionality#Recommender System

const explainedRatio = (s1:number, s2:number, s3:number) => (s1*s1) / (s1*s1 + s2*s2 + s3*s3);

線形代数学 (Linear Algebra) — 同分野の関連公式

ベクトルの演算と L1・L2 ノルム・正規化

Lv.1 · L1/L2 Regularization

#L01

ベクトルの内積(ドット積)とコサイン類似度

Lv.2 · LLM Self-Attention Q·K

#L02

3次元ベクトルの外積(クロス積)と法線ベクトル

Lv.2 · 3D Surface Normal

#L03

行列の積と線形変換の合成 (GEMM)

Lv.2 · GPU Tensor Cores GEMM

#L04

行列式(Determinant)と逆行列の公式

Lv.3 · 3D Mouse Raycasting

#L05

ガウスの消去法と連立一次方程式 (Ax = b)

Lv.2 · Linear Solver Ax=b