#L09 · 线性代数 (Linear Algebra) · Lv.5在3D思维导图中查看

奇异值分解(SVD)与主成分分析(PCA)

Beltrami, Jordan, Eckart & Young · 1936년

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

A^T A \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i,\quad \text{Energy}(k) = \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{j=1}^r \sigma_j^2}

将任意m×n矩阵分解为正交旋转Vᵀ、奇异值缩放Σ与正交旋转U，是高维数据降维(PCA)、推荐系统与大模型低秩微调(LoRA)的终极武器。

🧮 即时公式计算器与图形绘制器

第一奇异值 σ₁

第二奇异值 σ₂

第三奇异值 σ₃

\text{Rank-1 Energy} = \frac{10^2}{10^2+4^2+1^2} = 85.5\%

Rank-1 에너지 보존율

85.47%

Rank-2 누적 보존율

99.15%

프로베니우스 노름 ||A||_F

10.817

先修概念路径 (Prerequisite Path) (19 STEP)

完整路径分析

按顺序点击即可沿3D霓虹路径从基础直达目标公式。

STEP 1#G01毕达哥拉斯定理 (勾股定理)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 2#G03圆周率 π 与弧度制·扇形公式

l = r\theta

STEP 3#A02乘法公式与因式分解恒等式

(a+b)^2 = a^2 + 2ab + b^2

STEP 4#A03指数法则与根式运算

a^m \cdot a^n = a^{m+n}

STEP 5#L01向量运算与 L1·L2 范数及单位向量归一化

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 6#A01等式性质与一元一次方程

ax + b = 0 \implies x = -\frac{b}{a}

STEP 7#G02二维与三维空间欧几里得距离公式

d(P

STEP 8#L03三维向量叉积(外积)与表面法向量

\mathbf{a} \times \mathbf{b} = (a_y b_z - a_z b_y

STEP 9#G05正弦定理与余弦定理

c^2 = a^2 + b^2 - 2ab\cos C

STEP 10#G04单位圆三角函数与基本恒等式

\cos^2\theta + \sin^2\theta = 1

STEP 11#A04一元二次方程求根公式与判别式

x = \frac{-b \pm \sqrt{b^2 - 4ac}}{2a}

STEP 12#A05韦达定理 (根与系数的关系)

\alpha + \beta = -\frac{b}{a}

STEP 13#L02向量点积(内积)与余弦相似度

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 14#L04矩阵乘法与线性变换复合 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 15#G06三角函数和差角公式与二倍角公式

\cos(\alpha\pm\beta) = \cos\alpha\cos\beta \mp \sin\alpha\sin\beta

STEP 16#L05行列式(Determinant)与逆矩阵公式

\det(A) = ad - bc

STEP 17#L072D·3D旋转矩阵与正交矩阵群 SO(3)

R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}

STEP 18#L08特征值(Eigenvalue)与特征向量方程

A\mathbf{v} = \lambda\mathbf{v} \iff \det(A - \lambda I) = 0

STEP 19#L09奇异值分解(SVD)与主成分分析(PCA)

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

几何与直观原理解析

수백만 화소의 사진이나 거대한 AI 가중치 행렬에서 가장 큰 특이값 σ₁, σ₂ 몇 개만 남기고 작은 특이값들을 버려도(Low-Rank Approximation), 원본 정보의 95% 이상이 그대로 보존되면서 용량은 1/10로 줄어듭니다!

分步公式推导过程

Step 1.1단계: 임의의 m×n 행렬 A에 대해 대칭행렬 A^T A 의 고윳값 λ_i ≥ 0 와 직교 고유벡터 v_i 를 구합니다.
Step 2.2단계: 특이값을 σ_i = √λ_i 로 정의하고, u_i = (1/σ_i) A v_i 로 좌특이벡터를 구성합니다.
Step 3.3단계: 이를 행렬로 묶으면 AV = UΣ 가 되고, V가 직교행렬(V⁻¹=V^T)이므로 A = UΣV^T 가 완성됩니다.

AI与编程实战应用

大语言模型低秩微调(LoRA)、PCA高维特征降维、推荐系统矩阵分解与图像压缩

#LLM LoRA Fine-Tuning#PCA Dimensionality#Recommender System

const explainedRatio = (s1:number, s2:number, s3:number) => (s1*s1) / (s1*s1 + s2*s2 + s3*s3);

线性代数 (Linear Algebra) — 同领域相关公式

向量运算与 L1·L2 范数及单位向量归一化

Lv.1 · L1/L2 Regularization

#L01

向量点积(内积)与余弦相似度

Lv.2 · LLM Self-Attention Q·K

#L02

三维向量叉积(外积)与表面法向量

Lv.2 · 3D Surface Normal

#L03

矩阵乘法与线性变换复合 (GEMM)

Lv.2 · GPU Tensor Cores GEMM

#L04

行列式(Determinant)与逆矩阵公式

Lv.3 · 3D Mouse Raycasting

#L05

高斯消元法与线性方程组求解 (Ax = b)

Lv.2 · Linear Solver Ax=b

#L06