#L09 · 선형대수학 (Linear Algebra) · Lv.53D 마인드맵에서 보기

특이값 분해(SVD)와 주성분 분석(PCA)

벨트라미 · 조르당 · 에카르트 & 영 · 1936년

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

A^T A \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i,\quad \text{Energy}(k) = \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{j=1}^r \sigma_j^2}

정사각행렬이 아닌 어떤 m×n 데이터 행렬이라도 '회전(V^T) → 축별 스케일링(Σ) → 회전(U)'의 3단계로 완벽히 분해하는 현대 데이터 과학·차원 축소(PCA)·LLM 미세조정(LoRA)의 궁극적 정리입니다.

🧮 즉석 공식 계산기 & 그래프 플로터

제1 특이값 σ₁ (주성분)

제2 특이값 σ₂

제3 특이값 σ₃ (노이즈)

\text{Rank-1 Energy} = \frac{10^2}{10^2+4^2+1^2} = 85.5\%

Rank-1 에너지 보존율

85.47%

Rank-2 누적 보존율

99.15%

프로베니우스 노름 ||A||_F

10.817

선수 개념 경로 (Prerequisite Path) (19 STEP)

전체 경로 분석기

아래 순서대로 클릭하면 3D 네온 경로를 따라 기초부터 목표 공식까지 정복합니다.

STEP 1#G01피타고라스 정리 (직각삼각형의 법칙)

a^2 + b^2 = c^2 \implies c = \sqrt{a^2 + b^2}

STEP 2#G03원주율 π와 호도법(Radian)·부채꼴 공식

l = r\theta

STEP 3#A02곱셈공식과 인수분해 항등식

(a+b)^2 = a^2 + 2ab + b^2

STEP 4#A03지수법칙과 거듭제곱근

a^m \cdot a^n = a^{m+n}

STEP 5#L01벡터의 연산과 L1·L2 노름(Norm)·정규화

\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^{n} v_i^2}

STEP 6#A01등식의 성질과 일차방정식

ax + b = 0 \implies x = -\frac{b}{a}

STEP 7#G022D·3D 좌표공간 유클리드 거리 공식

d(P

STEP 8#L033차원 벡터의 외적(Cross Product)과 법선벡터

\mathbf{a} \times \mathbf{b} = (a_y b_z - a_z b_y

STEP 9#G05사인법칙과 제2코사인법칙

c^2 = a^2 + b^2 - 2ab\cos C

STEP 10#G04단위원 삼각함수와 피타고라스 항등식

\cos^2\theta + \sin^2\theta = 1

STEP 11#A04이차방정식 근의 공식과 판별식

x = \frac{-b \pm \sqrt{b^2 - 4ac}}{2a}

STEP 12#A05근과 계수의 관계 (비에트 정리)

\alpha + \beta = -\frac{b}{a}

STEP 13#L02벡터의 내적(Dot Product)과 코사인 유사도

\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta

STEP 14#L04행렬 곱셈과 선형변환 합성 (GEMM)

(AB)_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}

STEP 15#G06삼각함수 덧셈정리와 배각공식

\cos(\alpha\pm\beta) = \cos\alpha\cos\beta \mp \sin\alpha\sin\beta

STEP 16#L05행렬식(Determinant)과 역행렬 공식

\det(A) = ad - bc

STEP 17#L072D·3D 회전행렬과 직교행렬 (R^T R = I)

R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}

STEP 18#L08고윳값(Eigenvalue)과 고유벡터 방정식

A\mathbf{v} = \lambda\mathbf{v} \iff \det(A - \lambda I) = 0

STEP 19#L09특이값 분해(SVD)와 주성분 분석(PCA)

A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

기하학적·직관적 원리 해설

수백만 화소의 사진이나 거대한 AI 가중치 행렬에서 가장 큰 특이값 σ₁, σ₂ 몇 개만 남기고 작은 특이값들을 버려도(Low-Rank Approximation), 원본 정보의 95% 이상이 그대로 보존되면서 용량은 1/10로 줄어듭니다!

단계별 수식 유도 과정

Step 1.1단계: 임의의 m×n 행렬 A에 대해 대칭행렬 A^T A 의 고윳값 λ_i ≥ 0 와 직교 고유벡터 v_i 를 구합니다.
Step 2.2단계: 특이값을 σ_i = √λ_i 로 정의하고, u_i = (1/σ_i) A v_i 로 좌특이벡터를 구성합니다.
Step 3.3단계: 이를 행렬로 묶으면 AV = UΣ 가 되고, V가 직교행렬(V⁻¹=V^T)이므로 A = UΣV^T 가 완성됩니다.

AI · 프로그래밍 실전 활용처

LLM 저랭크 미세조정(LoRA: ΔW = BA), 고차원 데이터 주성분 차원축소(PCA), 넷플릭스 추천시스템 및 이미지 압축

#LLM LoRA Fine-Tuning#PCA Dimensionality#Recommender System

const explainedRatio = (s1:number, s2:number, s3:number) => (s1*s1) / (s1*s1 + s2*s2 + s3*s3);

선형대수학 (Linear Algebra) — 함께 탐험할 연관 공식

벡터의 연산과 L1·L2 노름(Norm)·정규화

Lv.1 · L1/L2 Regularization

#L01

벡터의 내적(Dot Product)과 코사인 유사도

Lv.2 · LLM Self-Attention Q·K

#L02

3차원 벡터의 외적(Cross Product)과 법선벡터

Lv.2 · 3D Surface Normal

#L03

행렬 곱셈과 선형변환 합성 (GEMM)

Lv.2 · GPU Tensor Cores GEMM

#L04

행렬식(Determinant)과 역행렬 공식

Lv.3 · 3D Mouse Raycasting

#L05

가우스 소거법과 연립선형방정식 (Ax = b)

Lv.2 · Linear Solver Ax=b

#L06