🧠 AI训练师手册
照着《AI训练师手册——算法与模型训练从入门到精通》(谷建阳 编著,北京大学出版社)做的自学笔记 —— 本仓库 AI 方向已有三门:Agent+RPA实战讲怎么让 AI 把活干完;DeepSeek Harness架构讲模型外面那层壳怎么搭;图解HTTP讲一个请求怎么走完全程。这一本讲「训」——数据怎么标、模型怎么调、指标怎么读、最后怎么部署上线。它不讲 Transformer 的公式推导,讲的是坐在训练师工位上每天真正要做的判断:这份数据够不够、这个指标说明什么、这版模型能不能发。全书 10 章 117 篇,一条主线十个问题:第 1 章 10 篇认识AI新职业(这个职业到底在做什么);第 2 章 8 篇能力培养(要会哪些硬功夫);第 3 章 13 篇编程语言(代码怎么写起来);第 4 章 9 篇机器学习算法(三条路怎么选);第 5 章 11 篇深度学习算法(和机器学习差在哪);第 6 章 15 篇自然语言处理(文字怎么变成模型能算的数);第 7 章 8 篇数据标注(这一环为什么最费钱);第 8 章 14 篇神经网络训练(六种网络结构各管什么);第 9 章 15 篇模型评估和优化(模型好不好用什么指标说话);第 10 章 14 篇管理和部署(怎么安全地放到线上给人用)。本课是 原理课+实操课,分三层写:第一层「能算的」全部真算(参数量、FLOPs、显存与时间账、准确率/精度/召回/F1/AUC、混淆矩阵、LoRA 占比、量化后的体积);第二层「能用 numpy 手写就手写」全部真跑(线性回归与梯度下降、两层神经网络、感知机、卷积与池化、RNN 与 LSTM、K-means、朴素贝叶斯、TF-IDF、SVD 词向量、一维 GAN、扩散去噪、ROC 曲线、交叉验证、网格搜索、集成投票,以及真起一个本地推理 HTTP 服务做压测);第三层「必须在图形界面里点的」(文心一言、Stable Diffusion WebUI、VGG Image Annotator、Google Colab)写成【📋 实操清单】加【🐍 沙箱等价物】——清单说清点哪儿、填什么、看到什么算成功。技术事实按 2026 年当下核实过,与成书时的差异(产品更名、界面改版、VGA 停更等)用【⚠️ 2026 现状】单列。大白话、不跳步骤、必带生活比喻、常见误区、可折叠自测题。
内容来自我的 Obsidian 自学笔记 · 全书 10 章 117 篇已全部写完 · 全书完结 🎉
第一章 认识AI新职业
认识人工智能:用AI开启全新时代
七段相加 816 毫秒;判尾 300 毫…
层级分类:解析人工智能的能力
规则/词袋/大模型都是 0.833、0.…
技术革新:人工智能如何改变世界
训练 FLOPs 涨 14.6 个数量级…
十大行业变革:人工智能引领的未来趋势
十行业平均 10.6% 降到 4.6%…
AI训练师的出现:赋予人工智能【人性之魂】
三条标签打错(38%)准确率 1.000…
AI训练师的起源:技术发展的必然产物
ImageNet 一遍 1944 小时…
AI训练师的基础能力:专业素养与实践技能
六维加权 38.2/42.2/48.6…
AI训练师的人才缺口:挑战与机遇并存
需求年增 30 万、培养 12 万,缺口…
AI训练师的职业规划:持续发展与未来展望
三条路径 Jaccard 0.14/0.…
AI训练师的发展前景:新兴职业的无限可能
线性 R² 0.9712、指数 0.99…
第二章 能力培养
计算机操作知识:AI训练师基础中的基础
PATH 27 条找一条要翻 27 次…
数学基础知识:AI训练师的核心能力
矩阵解 0.205 毫秒出结果;梯度下降…
编程技能:实现人工智能的关键所在
17 个参数、四类概率 0.0001/0…
特征能力工程:挖掘数据深层价值的艺术
五个特征单独用 0.600~0.900…
数据处理知识:数据为王的时代必备
1 万页去重砍掉 86%,只剩 3 个模…
人工智能基础知识:深入理解AI的脉络
TP 6/FP 0/FN 0/TN 6…
AI训练师工作职责:赋予人工智能生命与智慧
六个子任务 13.5 人日;只有 6/6…
AI训练师从业领域:实现更智能化的解决方案
同一条标注流水线:500 条和 2.5…
第三章 编程语言
下载与安装Python
3.13.14/64 位/90 个包/安…
配置Python环境变量
不设 PYTHONPATH 返回码 1…
使用Python基础语法:输出英文字符
sep 打出 Hello
使用Python中文编码:输出中文字符
「训练师」UTF-8 9 字节/GBK…
设置Python变量赋值:定义不同数据
256 的两次 id 相同、257 不同…
使用Python运算符:进行加减乘除计算
-7 // 2 是 -4 不是 -3;0…
使用Python条件语句:对比数的大小
'0' 与 [0] 都算真;四档命中 2…
使用Python循环语句:输出一系列数字
嵌套循环实算 5050 次,按 100×…
实例1:使用Python计算业绩提成奖金
多卖 1 元跳档多 300.08、累进多…
实例2:使用Python由小到大排列数字
n=2000 冒泡 318.4 毫秒、s…
实例3:使用Python输出斐波那契数列
n=24 递归 12.278 毫秒 vs…
实例4:使用Python输出九九乘法口诀表
矩形 81 个式子、三角 45 个,多出…
实例5:使用Python制作猜数字游戏
随机平均 7.58/最坏 17,二分 5…
第四章 机器学习算法
机器学习与人工智能:共筑智能未来
人定阈值测试集 0.867,学到的 5.…
3个基本类型:了解机器学习算法的技术原理
纯贪心收益 0.197 低于纯随机 0.…
6个基本流程:看懂机器学习算法的工作方式
12 万条清洗占 82.0%、训练只占…
图像识别和分类:人脸识别、图像检索、物体识别
576 维像素经卷积池化压到 5 维;单…
自然语言处理:机器翻译、文本分类、语音识别
36 条语料 419 个 bigram…
推荐系统:电商平台商品推荐、社交媒体内容推荐
48 格只有 24 个有分;留一法 3/…
工业制造:质量控制、异常检测
3σ 检出 21 误报 0;漂移 1.5…
自动驾驶:视觉感知、路况识别
斜率五帧从 0.558 跳到 0.615…
环境保护:气象预测、大气污染监测
AR(1) MAE 9.51 最小,但重…
第五章 深度学习算法
概念解读:认识深度学习算法
线性模型测试集 0.378,加一层 8…
深入对比:机器学习与深度学习的区别
手工特征 20 条样本就 1.000;端…
工作原理:深度学习算法的底层逻辑
损失 1.3118 降到 0.0838…
实例1:使用AI生成绘画作品
24 步加噪 ᾱ 0.9999 掉到 0…
实例2:使用AI翻译方言
29 条词表做最长匹配,四句命中 3/3…
实例3:使用AI推荐美食
水煮鱼余弦 0.953 第一;糯米藕余弦…
实例4:使用AI充当旅游助手
9 个景点排进 6 个,22.0 小时…
实例5:使用AI识别中文表格
17 个 OCR 框聚成 7 行,剔单框…
实例6:使用AI识别车牌
切出 5 段各 5 列、相关 1.000…
实例7:使用AI总结网页内容
485 字符 HTML 留 5 行正文…
实例8:使用AI进行语音聊天
3 秒切成 298 帧,门限 0.106…
第六章 自然语言处理
概念解读:什么是自然语言处理?
11 个字切成 7 个词、平均词长 1.…
底层原理:语言学与计算机科学的交汇
字符层 33000 个数、词层 5600…
自然语言处理的两种途径:传统与深度
朴素贝叶斯测试 0.700 升到 0.8…
自然语言处理的两大核心任务:理解与生成
真句每字 -3.581、乱码句 -4.2…
语料预处理的6个关键步骤
20 行洗到 11 行,切出 12 句…
情感分析:理解文本中的情感倾向
裸词典 8/12=0.667,加否定翻转…
聊天机器人:模拟人类对话的智能助手
16 条知识库 8 个问句,阈值 0.3…
语音识别:将声音转化为文字的科技奇迹
干净时 16/16,噪声 3% 掉到 0…
机器翻译:无界沟通
逐词直译 BLEU-1 0.731,加三…
自动摘要:快速理解与提炼文本内容的利器
词频与 TextRank 都选第 5、6…
认识模型:Embedding模型训练概述
18 句共现 86 个非零,丢第 1 维…
优化参数:对Stable Diffusion进行配置
512×1 估 3.4 GB、512×4…
数据标注:对图像进行预处理操作
三张图统一到 512×512 并归一化到…
创建模型:生成嵌入式Embedding模型
20 维特征检索:红竖条 0.9994…
训练模型:用Embedding打包提示词
8 维哈希:P1/P2 0.973、P1…
第七章 数据标注
定义与重要性分析:看懂数据标注的内涵
标签错误率 0% 到 40%,测试准确率…
数据标注类型:各类标注的区分与应用场景
掩码约 122 笔涂抹、体积是框的 19…
高效标注方法:提升标注效率和准确率的技巧
召回精确都 90% 加速 2.03 倍…
实例1:重建3D人脸模型
5 个关键点重建误差 0.0139,10…
实例2:检索人体姿态
归一化后叉腰到原型 0.2603、到立正…
实例3:检索视频内容
60 帧只抓 3 个关键帧,比对省 95…
实例4:检索绘画作品
换一组特征前三名只重合 1/3:用色组全…
实例5:标注图像信息
COCO 风格 JSON 869 字符…
第八章 神经网络训练
概念:什么是神经网络?
异或单层输出全 0.500、损失 0.6…
原理:神经网络的组成结构
784-128-10 共 101770…
技巧:神经网络的训练方法
第 100 步 SGD 0.000142…
感知机:用于解决模式识别问题
可分数据 2 轮收敛,轻微重叠错 2 个…
卷积神经网络:捕捉图像的空间结构
卷积 448 个参数对全连接 44251…
循环神经网络:用于处理序列数据
缩放 0.5/0.9/1.1 回传 20…
生成对抗网络:相互博弈以提升模型性能
GAN 1200 轮真假概率都收到 0.…
递归神经网络:对序列数据进行有效处理
同 32 个参数:树 1.6301/串行…
长短期记忆网络:处理自然语言序列等任务
加法问题基线 0.3576,RNN 一百…
认识模型:LoRA模型训练概述
768×768 秩 8 只占 2.08%…
准备工作:安装训练器与整理数据集
43 张图 6 种分辨率 17.5 百万…
数据标注:图像预处理和打标优化
8 张图 18 个标签、3 个覆盖 10…
参数调整:设置训练模型和数据集
总步数 1400(28×10×10÷2)…
测试模型:评估模型应用效果
ΔW 只有 W 的 0.68%,scal…
第九章 模型评估和优化
准确率:直观展示模型的整体性能
1000 样本正类 5%:全判负类准确率…
精度:控制模型评估的误报率
阈值 0.1 到 3.0:精确率 0.1…
F1分数:更全面地评估分类器的性能
精确 0.99、召回 0.10 时算术平…
误差:更好地处理异常值带来的影响
加 1 个异常点:MSE 涨 743.3…
ROC曲线:显示不同分类阈值下模型的性能
800 负 200 正扫全阈值,AUC…
Holdout检验:用训练集训练模型并测试性能
切分 50/50 标准差 0.0186…
交叉验证:实现更稳定、可靠的模型性能
5 折 0.8167/0.7333/0.…
验证曲线与学习曲线:了解模型是否过拟合或欠拟合
树深度 1 训练 0.7600 测试 0…
自助法:通过重抽样技术来进行模型训练和评估
2000 次重抽样标准误 0.3987…
模型调参:找到最优超参数组合,提高模型性能
91 个组合最高 0.8792;预算 9…
数据预处理:有效改善模型训练数据的质量和分布
第二维标准差 103.14:不标准化损失…
特征选择:降低维度、提高模型性能的有效方法
2 真特征 0.9833 加 20 噪声…
集成学习:有效提高模型的鲁棒性和泛化能力
单棵深度 6 测试 0.6950;15…
融合模型:提升训练好的模型性能
1 比 1 融合范数 1.41 倍、和两…
测试模型:应用模型生成AI画作
亮度偏移两端 12/12 全崩(0.03…
第十章 管理和部署
流程1:模型的开发与管理
三版校验和全不同,但 v2 与 v1 余…
流程2:数据集的管理和维护
100 条测试里 20 条与训练集重复(…
流程3:模型部署和性能优化
int8 量化 256 KB 降到 64…
流程4:持续监控和迭代改进
输入漂移 PSI 0.037 涨到 0.…
本地部署:稳定性高、安全性好
本地真起 HTTP 服务:启动 19.2…
服务器端部署:扩展性强、灵活性高
客户端 8 线程 QPS 0.98 倍…
无服务器部署:管理简便、成本较低
冷启动 0.917 s 对进程内一次推理…
容器化部署:隔离性好、可移植性强
5 层镜像 705 MB,改代码只重传…
第一步:创建ChatGPT应用
四份应用配置跑 6 条规则共报 5 条错…
第二步:设置AI对话提示词
同一提示词模板:资料 1 段到 8 段…
第三步:设置训练模型及参数
温度 0.2 熵 0.391 最高频词占…
第四步:构建并填充知识库
12 段资料 5 个问题:top1 与…
第五步:文本分段与清洗
682 字硬切 300:3 段、67%…
第六步:添加数据集并发布ChatGPT应用
端到端:检索对 4/5、答案出自正确段落…