🤖 图解机器学习
照着《图解机器学习》([日] 杉山将 著,许永伟 译,人民邮电出版社 · 图灵程序设计丛书)做的自学笔记 —— 本仓库里第一本讲算法本身的书。计算机基础讲机器怎么跑程序,AI训练师手册2讲模型怎么装、怎么调、怎么落地;这一本夹在中间:**那些算法为什么长这个样子。**它的答案几乎全部落在两个动作上——「把误差写成平方」和「给参数加约束」——后面二十章都是这两个动作的变体。全书六部分 20 章 63 篇:绪论(第 1~2 章,学什么、用什么学);有监督回归(第 3~6 章,全书的骨架:最小二乘怎么解、约束怎么加、稀疏怎么来、离群点怎么抗);有监督分类(第 7~11 章,最小二乘搬到分类,一路走到最大间隔、集成、概率、序列);无监督学习(第 12~14 章,不讲 y,只讲数据自己的形状——异常、降维、聚类);新兴算法(第 15~19 章,数据流着来、标签不够、维度要压但要看 y、分布变了、任务多了各怎么办);总结与展望(第 20 章)。本课是 原理课,Demo 全部手写算法、numpy 真跑:最小二乘用 lstsq 或 solve,岭回归自己加 λI,ℓ1 自己写坐标下降和软阈值,核模型自己算核矩阵,神经网络自己写前向和反向,SVM 自己写 SMO,PCA 自己做 SVD。教材附的 MATLAB 代码一行没抄——书里的公式全部重新用 numpy 实现了一遍,输出数字也是当场跑出来的。凡是能算出数的都真算(残差正交性、帽子矩阵的迹、条件数、非零个数、精确率召回率、交叉验证的标准差),测不出来的就明说原因与规格,不硬编数字。大白话、不跳步骤、必带生活比喻、常见误区、可折叠自测题。
内容来自我的 Obsidian 自学笔记 · 全书 20 章 63 篇已全部写完 · 全书完结 🎉
第1章 什么是机器学习
学习的种类
同一批数据五种问法:回归 MSE 0.0…
机器学习任务的例子
三类条纹最近邻满分,异常检测 AUC 0…
机器学习的方法
线性 0.55、5 次 0.10、12…
第2章 学习模型
第3章 最小二乘学习法
最小二乘学习法
残差与每列基的内积都是 8e-15:最小…
最小二乘解的性质
加基训练误差必降 0.4742→0.03…
大规模数据的学习算法
单样本 8 遍 0.0438→0.014…
第4章 带有约束条件的最小二乘法
部分空间约束的最小二乘学习法
子空间约束:k=1 得 0.3010、k…
ℓ2 约束的最小二乘学习法
岭回归 λ 从 1e-6 到 1e3:测…
模型选择
训练误差一路降到 0.0310,5 折…
第5章 稀疏学习
ℓ1 约束的最小二乘学习法
ℓ1 在 λ 等于 4 时只剩 9 个非…
ℓ1 约束的最小二乘学习的求解方法
坐标下降与近端梯度参数差 5.3e-10…
通过稀疏学习进行特征选择
λ 等于 8 时选出 5 个全中,但测试…
ℓp 约束的最小二乘学习法
p 等于 0.5 得 (0.800, 0…
ℓ1+ℓ2 约束的最小二乘学习法
相关两列被 ℓ1 分成 0.649 与…
第6章 鲁棒学习
ℓ1 损失最小化学习
ℓ2 斜率 4.168、ℓ1 斜率 2.…
Huber 损失最小化学习
δ 从 0.1 到 10:斜率 2.18…
图基损失最小化学习
c 等于 1 时 6 个点权重归零、斜率…
ℓ1 约束的 Huber 损失最小化学习
80 维 60 样本:最小二乘 3.67…
第7章 基于最小二乘法的分类
最小二乘分类
两团重叠点 95.6%;12 个错标点把…
0/1 损失和间隔
720 个方向里 196 个零错误(27…
多类别的情形
三类 one-hot 一对多 90.0%…
第8章 支持向量机分类
间隔最大化分类
48 个可分点:
支持向量机分类器的求解方法
160 点 SMO 71 轮:对偶 19…
稀疏性
160 点里 23 个乘子非零(14.4…
使用核映射的非线性模型
多项式核与六维显式映射偏差 7.1e-1…
使用 Hinge 损失最小化学习来解释
同解验证夹角 0.064 与 0.042…
使用 Ramp 损失的鲁棒学习
10 个脏点把边界拖歪 16.93 度…
第9章 集成分类
剪枝分类
15 叶全树训练 5.00% 测试 24…
Bagging 学习法
深树 75.50% 到 81.50%,树…
Boosting 学习法
200 个树桩:训练误差 25.83%…
第10章 概率分类法
第11章 序列数据的分类
序列数据的模型化
粘性 0.9117;抹平转移 80.20…
条件随机场模型的学习
14 个权重;似然 -1386.29 到…
利用条件随机场模型对标签序列进行预测
逐位置/边际/Viterbi:准确率 8…
第12章 异常检测
局部异常因子
正常点 LOF 中位 1.099、90…
支持向量机异常检测
360 个正常点训练,61 个乘子非零…
基于密度比的异常检测
借分类器算密度比:正常点中位 0.865…
第13章 无监督降维
线性降维的原理
重建误差等于被丢方向的方差:0.0728…
主成分分析
S 曲线解释比 75.91%/19.82…
局部保持投影
LPP 目标 min a'XLX'a、约…
核函数主成分分析
同心圆一维:线性 PCA 最优阈值 0.…
拉普拉斯特征映射
归一化拉普拉斯谱 0、0.00029、0…
第14章 聚类
K 均值聚类
三团 600 点:随机初始化十种子 AR…
核 K 均值聚类
同心圆:K 均值 ARI 0.0047…
谱聚类
两个月牙:K 均值 ARI 0.3741…
调整参数的自动选取
三团上 gap 最高 0.7261、BI…
第15章 在线学习
第16章 半监督学习
灵活应用输入数据的流形构造
30 维 200 点、每类 5 个标签…
拉普拉斯正则化最小二乘学习的求解方法
10 个标签时 Xl 转置乘 Xl 秩只…
拉普拉斯正则化的解释
f 转置乘 L 乘 f 与逐边加权差平方…
第17章 监督降维
第18章 迁移学习
第19章 多任务学习
使用最小二乘回归的多任务学习
8 任务各 12 样本、20 维:单任务…
使用最小二乘概率分类器的多任务学习
8 任务各 9 个点:单任务 0.785…
多次维输出函数的学习
20 样本、8 维输入、20 维输出:独…