AI·深度學習與3D遊戲引擎數學實戰指南
透過一行總結與程式碼片段,直觀了解數學公式如何驅動大語言模型、3D圖形渲染、量化金融與密碼學。
- Dot Product (#L02): Measures Query-Key semantic alignment across tokens
- Matrix Multiplication (#L04): Parallelizes multi-head projection on GPU Tensor Cores
- Softmax (#P10): Converts raw logits into temperature-controlled token probabilities
- Cross-Entropy (#P09) & Chain Rule (#C03): Evaluates loss and backpropagates gradients
Large Language Models (LLM & Transformer)
Computes contextual token similarity via scaled dot products, normalizes weights with Softmax, and backpropagates Cross-Entropy Loss via the Chain Rule.
向量點積(內積)與餘弦相似度
ChatGPT自注意力機制(Q·K^T點積)、RAG向量資料庫餘弦檢索與3D圖形蘭伯特漫反射光照(N·L)
const cosSim = (a:number[], b:number[]) => dot(a,b) / (norm(a) * norm(b));矩陣乘法與線性變換複合 (GEMM)
佔據NVIDIA GPU張量核心90%算力的AI深度學習(Y=XW)與3D圖形引擎MVP座標變換流水線
const matMul2 = (A:number[][], B:number[][]) => [[A[0][0]*B[0][0]+A[0][1]*B[1][0], A[0][0]*B[0][1]+A[0][1]*B[1][1]]];條件概率與乘法定理
GPT等大語言模型(LLM)根據前文詞序列計算下一個詞的條件概率 P(w_t | w_<t) 的核心生成公式。
const pAgivenB = (pAB, pB) => pB > 0 ? pAB / pB : 0;香農資訊熵與交叉熵損失 (Cross-Entropy)
大語言模型(LLM)訓練、圖像分類器等幾乎所有現代分類與生成式AI的標準損失函數(Cross-Entropy Loss)。
const bceLoss = (y, yHat) => -(y * Math.log(yHat + 1e-9) + (1 - y) * Math.log(1 - yHat + 1e-9));Softmax函數與隨機梯度下降 (SGD)
Transformer自注意力機制、LLM溫度採樣以及所有深度學習優化器(SGD, AdamW)的心臟公式。
const softmax = (zs, T=1) => { const exps = zs.map(z => Math.exp(z/T)); const s = exps.reduce((a,b)=>a+b,0); return exps.map(e => e/s); };全部50個數學公式程式碼實現與AI應用矩陣
機器學習單層感知機(y = wx + b)權重偏置建模與UI動畫線性插值(Lerp)
const solveLinear = (a: number, b: number) => -b / a;機器學習多項式核函數(SVM)特徵映射與計算機代數系統(CAS)符號化簡
const sqSum = (a: number, b: number) => a*a + 2*a*b + b*b;IEEE 754浮點數指數編碼與3D圖形渲染伽瑪校正(c^(1/2.2))
const gammaCorrect = (c: number, g = 2.2) => Math.pow(c, 1 / g);3D光線追蹤(Ray-Sphere)射線與球體相交檢測及物理引擎拋物線彈道碰撞計算
const D = b*b - 4*a*c; const x1 = (-b + Math.sqrt(D)) / (2*a);控制工程系統極點穩定性判別與矩陣特徵值跡/行列式快速校驗
const sumRoots = -b / a; const prodRoots = c / a;二分搜尋O(log₂ N)時間複雜度分析與深度學習對數似然(Log-Likelihood)防下溢計算
const logBase = (a: number, x: number) => Math.log(x) / Math.log(a);強化學習(RL)折扣累積獎勵(∑ γ^t)收斂上界計算與金融複利現值定價
const geoSum = (a: number, r: number, n: number) => a * (1 - Math.pow(r, n)) / (1 - r);3D貝茲曲線的伯恩斯坦基多項式構建與集成學習(Ensemble)多數投票機率分析
const nCr = (n: number, k: number): number => k === 0 ? 1 : (n * nCr(n - 1, k - 1)) / k;音訊與無線通信FFT複數頻譜分析、量子計算量子位元振幅與碎形圖形渲染
const mag = Math.hypot(re, im); const phase = Math.atan2(im, re);HTTPS/金融安全RSA公鑰加密演算法、區塊鏈數位簽章與雜湊表(Hash Table)尋址
const modPow = (a: bigint, e: bigint, m: bigint): bigint => /* binary exp */遊戲引擎碰撞距離計算(Math.hypot)與AI高維特徵空間L2歐氏距離度量的原型
const hypotenuse = (a: number, b: number) => Math.hypot(a, b);機器學習KNN分類、K-Means聚類距離度量與3D遊戲A*尋路演算法啟發式函數
const dist3D = (dx: number, dy: number, dz: number) => Math.hypot(dx, dy, dz);Three.js/WebGL圖形庫標準弧度介面與機器人輪式里程計(l=rθ)位移解算
const degToRad = (deg: number) => (deg * Math.PI) / 180;大語言模型Transformer旋轉位置編碼(RoPE)與3D遊戲圓周運動/波浪著色器
const posOnCircle = (r: number, rad: number) => ({ x: r * Math.cos(rad), y: r * Math.sin(rad) });機器人機械臂與3D角色骨骼逆運動學(IK)關節角求解及GPS三角測量
const cosC = (a*a + b*b - c*c) / (2 * a * b);推導2D/3D旋轉矩陣複合運算 R(α)R(β)=R(α+β) 與5G無線通信正交調幅(QAM)解調
const sinAdd = (a: number, b: number) => Math.sin(a)*Math.cos(b) + Math.cos(a)*Math.sin(b);人造衛星克卜勒橢圓軌道模擬與機器學習多維高斯協方差橢圓(馬氏距離等高線)
const eccentricity = (a: number, b: number) => Math.sqrt(1 - (b*b)/(a*a));3D地球儀360°全景紋理映射、Three.js相機環繞控制(OrbitControls)與量子力學球諧函數
const toXYZ = (r:number, th:number, ph:number) => [r*Math.sin(ph)*Math.cos(th), r*Math.cos(ph), r*Math.sin(ph)*Math.sin(th)];3D建模與遊戲引擎多邊形流形網格(Manifold Mesh)拓撲校驗及晶片平面圖佈線
const eulerChar = (V: number, E: number, F: number) => V - E + F;SVG向量圖形、CSS動畫cubic-bezier緩動函數、字型渲染與自動駕駛平滑軌跡規劃
const quadBezier = (p0:number, p1:number, p2:number, t:number) => (1-t)*(1-t)*p0 + 2*(1-t)*t*p1 + t*t*p2;深度學習激活函數(Sigmoid/Softmax/GELU)指數核與量化金融連續複利(e^rt)定價
const approxE = (n: number) => Math.pow(1 + 1 / n, n);遊戲物理引擎速度/加速度數值微分與深度學習損失函數切線斜率計算
const diff = (f: (x:number)=>number, x: number, h = 1e-5) => (f(x + h) - f(x - h)) / (2 * h);深度學習神經網路誤差反向傳播(Backpropagation)與PyTorch自動微分(Autograd)計算圖核心
const dL_dw = dL_dy * dy_du * du_dw; // Backpropagation Chain Rule物理引擎速度到位置數值積分(RK4)、3D渲染方程光照積分與機率累積分佈函數(CDF)
const simpson = (f:(x:number)=>number, a:number, b:number) => ((b-a)/6)*(f(a)+4*f((a+b)/2)+f(b));工程物理模擬有限元分析(FEM弱形式推導)與傅立葉/拉普拉斯變換微分性質證明
const intXeX = (x: number) => (x - 1) * Math.exp(x) + 1; // ∫_0^x t*e^t dtCPU/GPU超越函數底層快速近似與XGBoost梯度提升樹二階泰勒展開優化
const sinTaylor = (x: number) => x - (x**3)/6 + (x**5)/120 - (x**7)/5040;大語言模型旋轉位置編碼(RoPE: e^(imθ))、FFT複指數基函數與量子計算相位閘
const eulerCis = (theta: number) => ({ re: Math.cos(theta), im: Math.sin(theta) });百億參數大模型梯度下降(-∇L)訓練與電腦視覺影像邊緣檢測(Sobel算子)
const grad2D = (a:number, b:number, x:number, y:number) => ({ gx: 2*a*x, gy: 2*b*y });AI語音辨識(Whisper梅爾頻譜圖)、MP3/JPEG有損壓縮、5G/Wi-Fi正交頻分複用與MRI醫學成像
const dftBin = (sig: number[], k: number) => sig.reduce((s, x, n) => s + x * Math.cos(2*Math.PI*k*n/sig.length), 0);生成式AI擴散模型(Diffusion ODE求解器)、React-Spring彈簧UI動畫與機器人阻抗控制
const zeta = c / (2 * Math.sqrt(m * k)); const w0 = Math.sqrt(k / m);深度學習L1/L2權重衰減正則化、LayerNorm層歸一化與3D遊戲角色斜向移動速度歸一化
const norm2 = Math.hypot(vx, vy, vz); const unit = [vx/norm2, vy/norm2, vz/norm2];ChatGPT自注意力機制(Q·K^T點積)、RAG向量資料庫餘弦檢索與3D圖形蘭伯特漫反射光照(N·L)
const cosSim = (a:number[], b:number[]) => dot(a,b) / (norm(a) * norm(b));3D網格三角形表面法線計算、背面剔除(Back-face Culling)與物理引擎剛體扭矩(τ=r×F)
const cross = (a:number[], b:number[]) => [a[1]*b[2]-a[2]*b[1], a[2]*b[0]-a[0]*b[2], a[0]*b[1]-a[1]*b[0]];佔據NVIDIA GPU張量核心90%算力的AI深度學習(Y=XW)與3D圖形引擎MVP座標變換流水線
const matMul2 = (A:number[][], B:number[][]) => [[A[0][0]*B[0][0]+A[0][1]*B[1][0], A[0][0]*B[0][1]+A[0][1]*B[1][1]]];3D遊戲滑鼠點擊射線拾取逆投影(MVP⁻¹)與生成式AI流模型(Normalizing Flows)雅可比行列式
const det2 = (a:number, b:number, c:number, d:number) => a * d - b * c;SPICE電路模擬器、結構力學有限元求解器與最小二乘正規方程(A^T A x = A^T b)求解
const det = a1*b2 - b1*a2; const x = (c1*b2 - b1*c2)/det; const y = (a1*c2 - c1*a2)/det;Three.js/Unreal/Unity 3D物體與相機旋轉變換及自動駕駛光達點雲配準(ICP)
const rot2D = (x:number, y:number, r:number) => ({ x: x*Math.cos(r) - y*Math.sin(r), y: x*Math.sin(r) + y*Math.cos(r) });Google搜尋PageRank網頁排名演算法、量子力學薛丁格定態方程(Hψ=Eψ)與橋樑共振模態分析
const tr = a + d; const det = a*d - b*c; const l1 = (tr + Math.sqrt(tr*tr - 4*det))/2;大語言模型低秩微調(LoRA)、PCA高維特徵降維、推薦系統矩陣分解與影像壓縮
const explainedRatio = (s1:number, s2:number, s3:number) => (s1*s1) / (s1*s1 + s2*s2 + s3*s3);Three.js/Unity/Unreal骨骼動畫平滑插值(SLERP)與無人機/太空船防萬向節死鎖姿態控制
const quatFromAxisZ = (rad: number) => ({ w: Math.cos(rad/2), x: 0, y: 0, z: Math.sin(rad/2) });用於演算法搜索空間複雜度分析、超參數網格搜索組合數計算以及特徵子集選擇。
const nCr = (n, r) => Array.from({length: r}, (_, i) => (n - i) / (i + 1)).reduce((a, b) => a * b, 1);GPT等大語言模型(LLM)根據前文詞序列計算下一個詞的條件概率 P(w_t | w_<t) 的核心生成公式。
const pAgivenB = (pAB, pB) => pB > 0 ? pAB / pB : 0;直接驅動垃圾郵件過濾(樸素貝氏)、醫療AI診斷校準、自動駕駛卡爾曼/粒子濾波及貝氏超參數優化。
const bayes = (prior, sens, fpr) => (sens * prior) / (sens * prior + fpr * (1 - prior));強化學習(RL)期望累計獎勵最大化、深度學習批歸一化(BatchNorm/LayerNorm)及權重初始化的核心公式。
const mean = xs.reduce((a,b)=>a+b,0)/xs.length; const variance = xs.reduce((s,x)=>s+(x-mean)**2,0)/xs.length;用於廣告點擊率(CTR) A/B測試、神經網路Dropout掩碼概率建模以及遊戲抽卡概率模擬。
const binomPMF = (n, k, p) => nCr(n, k) * Math.pow(p, k) * Math.pow(1 - p, n - k);圖像生成擴散模型(Diffusion)高斯噪聲調度、變分自編碼器(VAE)潛空間以及3D高斯潑濺(3DGS)的核心公式。
const normalPDF = (x, mu, sig) => Math.exp(-0.5 * ((x - mu) / sig) ** 2) / (sig * Math.sqrt(2 * Math.PI));解釋小批量隨機梯度下降(Mini-Batch SGD)的 1/√n 方差縮減規律以及蒙特卡洛光線追蹤誤差界。
const stdError = (sigma, n) => sigma / Math.sqrt(n); const ci95 = (mean, se) => [mean - 1.96*se, mean + 1.96*se];機器學習監督學習線性回歸預測器、量化金融投資組合Beta係數以及特徵相關性分析的基石。
const slope = covXY / varX; const intercept = meanY - slope * meanX; const r = covXY / Math.sqrt(varX * varY);大語言模型(LLM)訓練、圖像分類器等幾乎所有現代分類與生成式AI的標準損失函數(Cross-Entropy Loss)。
const bceLoss = (y, yHat) => -(y * Math.log(yHat + 1e-9) + (1 - y) * Math.log(1 - yHat + 1e-9));Transformer自注意力機制、LLM溫度採樣以及所有深度學習優化器(SGD, AdamW)的心臟公式。
const softmax = (zs, T=1) => { const exps = zs.map(z => Math.exp(z/T)); const s = exps.reduce((a,b)=>a+b,0); return exps.map(e => e/s); };