#L09 · 線性代數 (Linear Algebra) · Lv.5在3D思維導圖中查看

奇異值分解(SVD)與主成分分析(PCA)

Beltrami, Jordan, Eckart & Young · 1936년

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

A^T A \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i,\quad \text{Energy}(k) = \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{j=1}^r \sigma_j^2}

將任意m×n矩陣分解為正交旋轉Vᵀ、奇異值縮放Σ與正交旋轉U，是高維數據降維(PCA)、推薦系統與大模型低秩微調(LoRA)的終極武器。

🧮 即時公式計算器與圖形繪製器

第一奇異值 σ₁

第二奇異值 σ₂

第三奇異值 σ₃

\text{Rank-1 Energy} = \frac{10^2}{10^2+4^2+1^2} = 85.5\%

Rank-1 에너지 보존율

85.47%

Rank-2 누적 보존율

99.15%

프로베니우스 노름 ||A||_F

10.817

先修概念路徑 (Prerequisite Path) (19 STEP)

完整路徑分析

按順序點擊即可沿3D霓虹路徑從基礎直達目標公式。

STEP 1#G01畢達哥拉斯定理 (畢氏定理)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 2#G03圓周率 π 與弧度制·扇形公式

l = r\theta

STEP 3#A02乘法公式與因式分解恆等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 4#A03指數法則與根式運算

a^m \cdot a^n = a^{m+n}

STEP 5#L01向量運算與 L1·L2 範數及單位向量歸一化

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 6#A01等式性質與一元一次方程

ax + b = 0 \implies x = -\frac{b}{a}

STEP 7#G02二維與三維空間歐幾里得距離公式

d(P

STEP 8#L03三維向量叉積(外積)與表面法向量

\mathbf{a} \times \mathbf{b} = (a_y b_z - a_z b_y

STEP 9#G05正弦定理與餘弦定理

c^2 = a^2 + b^2 - 2ab\cos C

STEP 10#G04單位圓三角函數與基本恆等式

\cos^2\theta + \sin^2\theta = 1

STEP 11#A04一元二次方程求根公式與判別式

x = \frac{-b \pm \sqrt{b^2 - 4ac}}{2a}

STEP 12#A05韋達定理 (根與係數的關係)

\alpha + \beta = -\frac{b}{a}

STEP 13#L02向量點積(內積)與餘弦相似度

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 14#L04矩陣乘法與線性變換複合 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 15#G06三角函數和差角公式與二倍角公式

\cos(\alpha\pm\beta) = \cos\alpha\cos\beta \mp \sin\alpha\sin\beta

STEP 16#L05行列式(Determinant)與逆矩陣公式

\det(A) = ad - bc

STEP 17#L072D·3D旋轉矩陣與正交矩陣群 SO(3)

R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}

STEP 18#L08特徵值(Eigenvalue)與特徵向量方程

A\mathbf{v} = \lambda\mathbf{v} \iff \det(A - \lambda I) = 0

STEP 19#L09奇異值分解(SVD)與主成分分析(PCA)

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

幾何與直觀原理解析

수백만 화소의 사진이나 거대한 AI 가중치 행렬에서 가장 큰 특이값 σ₁, σ₂ 몇 개만 남기고 작은 특이값들을 버려도(Low-Rank Approximation), 원본 정보의 95% 이상이 그대로 보존되면서 용량은 1/10로 줄어듭니다!

分步公式推導過程

Step 1.1단계: 임의의 m×n 행렬 A에 대해 대칭행렬 A^T A 의 고윳값 λ_i ≥ 0 와 직교 고유벡터 v_i 를 구합니다.
Step 2.2단계: 특이값을 σ_i = √λ_i 로 정의하고, u_i = (1/σ_i) A v_i 로 좌특이벡터를 구성합니다.
Step 3.3단계: 이를 행렬로 묶으면 AV = UΣ 가 되고, V가 직교행렬(V⁻¹=V^T)이므로 A = UΣV^T 가 완성됩니다.

AI與程式實戰應用

大語言模型低秩微調(LoRA)、PCA高維特徵降維、推薦系統矩陣分解與影像壓縮

#LLM LoRA Fine-Tuning#PCA Dimensionality#Recommender System

const explainedRatio = (s1:number, s2:number, s3:number) => (s1*s1) / (s1*s1 + s2*s2 + s3*s3);

線性代數 (Linear Algebra) — 同領域相關公式

向量運算與 L1·L2 範數及單位向量歸一化

Lv.1 · L1/L2 Regularization

#L01

向量點積(內積)與餘弦相似度

Lv.2 · LLM Self-Attention Q·K

#L02

三維向量叉積(外積)與表面法向量

Lv.2 · 3D Surface Normal

#L03

矩陣乘法與線性變換複合 (GEMM)

Lv.2 · GPU Tensor Cores GEMM

#L04

行列式(Determinant)與逆矩陣公式

Lv.3 · 3D Mouse Raycasting

#L05

高斯消去法與線性方程組求解 (Ax = b)

Lv.2 · Linear Solver Ax=b

#L06