🧠 AI训练师手册 · 目录

🧠 AI训练师手册

照着《AI训练师手册——算法与模型训练从入门到精通》(谷建阳 编著,北京大学出版社)做的自学笔记 —— 本仓库 AI 方向已有三门:Agent+RPA实战讲怎么让 AI 把活干完;DeepSeek Harness架构讲模型外面那层壳怎么搭;图解HTTP讲一个请求怎么走完全程。这一本讲「训」——数据怎么标、模型怎么调、指标怎么读、最后怎么部署上线。它不讲 Transformer 的公式推导,讲的是坐在训练师工位上每天真正要做的判断:这份数据够不够、这个指标说明什么、这版模型能不能发。全书 10 章 117 篇,一条主线十个问题:第 1 章 10 篇认识AI新职业(这个职业到底在做什么);第 2 章 8 篇能力培养(要会哪些硬功夫);第 3 章 13 篇编程语言(代码怎么写起来);第 4 章 9 篇机器学习算法(三条路怎么选);第 5 章 11 篇深度学习算法(和机器学习差在哪);第 6 章 15 篇自然语言处理(文字怎么变成模型能算的数);第 7 章 8 篇数据标注(这一环为什么最费钱);第 8 章 14 篇神经网络训练(六种网络结构各管什么);第 9 章 15 篇模型评估和优化(模型好不好用什么指标说话);第 10 章 14 篇管理和部署(怎么安全地放到线上给人用)。本课是 原理课+实操课,分三层写:第一层「能算的」全部真算(参数量、FLOPs、显存与时间账、准确率/精度/召回/F1/AUC、混淆矩阵、LoRA 占比、量化后的体积);第二层「能用 numpy 手写就手写」全部真跑(线性回归与梯度下降、两层神经网络、感知机、卷积与池化、RNN 与 LSTM、K-means、朴素贝叶斯、TF-IDF、SVD 词向量、一维 GAN、扩散去噪、ROC 曲线、交叉验证、网格搜索、集成投票,以及真起一个本地推理 HTTP 服务做压测);第三层「必须在图形界面里点的」(文心一言、Stable Diffusion WebUI、VGG Image Annotator、Google Colab)写成【📋 实操清单】加【🐍 沙箱等价物】——清单说清点哪儿、填什么、看到什么算成功。技术事实按 2026 年当下核实过,与成书时的差异(产品更名、界面改版、VGA 停更等)用【⚠️ 2026 现状】单列。大白话、不跳步骤、必带生活比喻、常见误区、可折叠自测题。

内容来自我的 Obsidian 自学笔记 · 全书 10 章 117 篇已全部写完 · 全书完结 🎉

第一章 认识AI新职业

第二章 能力培养

第三章 编程语言

第四章 机器学习算法

第五章 深度学习算法

第六章 自然语言处理

6.1.1

概念解读:什么是自然语言处理?

11 个字切成 7 个词、平均词长 1.…

⭐⭐阅读全文 →
6.1.2

底层原理:语言学与计算机科学的交汇

字符层 33000 个数、词层 5600…

⭐⭐阅读全文 →
6.1.3

自然语言处理的两种途径:传统与深度

朴素贝叶斯测试 0.700 升到 0.8…

⭐⭐⭐阅读全文 →
6.1.4

自然语言处理的两大核心任务:理解与生成

真句每字 -3.581、乱码句 -4.2…

⭐⭐⭐阅读全文 →
6.1.5

语料预处理的6个关键步骤

20 行洗到 11 行,切出 12 句…

⭐⭐阅读全文 →
6.2.1

情感分析:理解文本中的情感倾向

裸词典 8/12=0.667,加否定翻转…

⭐⭐阅读全文 →
6.2.2

聊天机器人:模拟人类对话的智能助手

16 条知识库 8 个问句,阈值 0.3…

⭐⭐阅读全文 →
6.2.3

语音识别:将声音转化为文字的科技奇迹

干净时 16/16,噪声 3% 掉到 0…

⭐⭐⭐阅读全文 →
6.2.4

机器翻译:无界沟通

逐词直译 BLEU-1 0.731,加三…

⭐⭐阅读全文 →
6.2.5

自动摘要:快速理解与提炼文本内容的利器

词频与 TextRank 都选第 5、6…

⭐⭐阅读全文 →
6.3.1

认识模型:Embedding模型训练概述

18 句共现 86 个非零,丢第 1 维…

⭐⭐⭐阅读全文 →
6.3.2

优化参数:对Stable Diffusion进行配置

512×1 估 3.4 GB、512×4…

⭐⭐阅读全文 →
6.3.3

数据标注:对图像进行预处理操作

三张图统一到 512×512 并归一化到…

⭐⭐阅读全文 →
6.3.4

创建模型:生成嵌入式Embedding模型

20 维特征检索:红竖条 0.9994…

⭐⭐⭐阅读全文 →
6.3.5

训练模型:用Embedding打包提示词

8 维哈希:P1/P2 0.973、P1…

⭐⭐⭐阅读全文 →

第七章 数据标注

第八章 神经网络训练

8.1.1

概念:什么是神经网络?

异或单层输出全 0.500、损失 0.6…

⭐⭐阅读全文 →
8.1.2

原理:神经网络的组成结构

784-128-10 共 101770…

⭐⭐阅读全文 →
8.1.3

技巧:神经网络的训练方法

第 100 步 SGD 0.000142…

⭐⭐⭐阅读全文 →
8.2.1

感知机:用于解决模式识别问题

可分数据 2 轮收敛,轻微重叠错 2 个…

⭐⭐阅读全文 →
8.2.2

卷积神经网络:捕捉图像的空间结构

卷积 448 个参数对全连接 44251…

⭐⭐⭐阅读全文 →
8.2.3

循环神经网络:用于处理序列数据

缩放 0.5/0.9/1.1 回传 20…

⭐⭐⭐阅读全文 →
8.2.4

生成对抗网络:相互博弈以提升模型性能

GAN 1200 轮真假概率都收到 0.…

⭐⭐⭐阅读全文 →
8.2.5

递归神经网络:对序列数据进行有效处理

同 32 个参数:树 1.6301/串行…

⭐⭐阅读全文 →
8.2.6

长短期记忆网络:处理自然语言序列等任务

加法问题基线 0.3576,RNN 一百…

⭐⭐⭐阅读全文 →
8.3.1

认识模型:LoRA模型训练概述

768×768 秩 8 只占 2.08%…

⭐⭐阅读全文 →
8.3.2

准备工作:安装训练器与整理数据集

43 张图 6 种分辨率 17.5 百万…

⭐⭐阅读全文 →
8.3.3

数据标注:图像预处理和打标优化

8 张图 18 个标签、3 个覆盖 10…

⭐⭐阅读全文 →
8.3.4

参数调整:设置训练模型和数据集

总步数 1400(28×10×10÷2)…

⭐⭐⭐阅读全文 →
8.3.5

测试模型:评估模型应用效果

ΔW 只有 W 的 0.68%,scal…

⭐⭐阅读全文 →

第九章 模型评估和优化

9.1.1

准确率:直观展示模型的整体性能

1000 样本正类 5%:全判负类准确率…

⭐⭐阅读全文 →
9.1.2

精度:控制模型评估的误报率

阈值 0.1 到 3.0:精确率 0.1…

⭐⭐阅读全文 →
9.1.3

F1分数:更全面地评估分类器的性能

精确 0.99、召回 0.10 时算术平…

⭐⭐⭐阅读全文 →
9.1.4

误差:更好地处理异常值带来的影响

加 1 个异常点:MSE 涨 743.3…

⭐⭐阅读全文 →
9.1.5

ROC曲线:显示不同分类阈值下模型的性能

800 负 200 正扫全阈值,AUC…

⭐⭐⭐阅读全文 →
9.2.1

Holdout检验:用训练集训练模型并测试性能

切分 50/50 标准差 0.0186…

⭐⭐阅读全文 →
9.2.2

交叉验证:实现更稳定、可靠的模型性能

5 折 0.8167/0.7333/0.…

⭐⭐阅读全文 →
9.2.3

验证曲线与学习曲线:了解模型是否过拟合或欠拟合

树深度 1 训练 0.7600 测试 0…

⭐⭐⭐阅读全文 →
9.2.4

自助法:通过重抽样技术来进行模型训练和评估

2000 次重抽样标准误 0.3987…

⭐⭐阅读全文 →
9.2.5

模型调参:找到最优超参数组合,提高模型性能

91 个组合最高 0.8792;预算 9…

⭐⭐阅读全文 →
9.2.6

数据预处理:有效改善模型训练数据的质量和分布

第二维标准差 103.14:不标准化损失…

⭐⭐⭐阅读全文 →
9.2.7

特征选择:降低维度、提高模型性能的有效方法

2 真特征 0.9833 加 20 噪声…

⭐⭐阅读全文 →
9.2.8

集成学习:有效提高模型的鲁棒性和泛化能力

单棵深度 6 测试 0.6950;15…

⭐⭐⭐阅读全文 →
9.3.1

融合模型:提升训练好的模型性能

1 比 1 融合范数 1.41 倍、和两…

⭐⭐⭐阅读全文 →
9.3.2

测试模型:应用模型生成AI画作

亮度偏移两端 12/12 全崩(0.03…

⭐⭐阅读全文 →

第十章 管理和部署

10.1.1

流程1:模型的开发与管理

三版校验和全不同,但 v2 与 v1 余…

⭐⭐阅读全文 →
10.1.2

流程2:数据集的管理和维护

100 条测试里 20 条与训练集重复(…

⭐⭐阅读全文 →
10.1.3

流程3:模型部署和性能优化

int8 量化 256 KB 降到 64…

⭐⭐⭐阅读全文 →
10.1.4

流程4:持续监控和迭代改进

输入漂移 PSI 0.037 涨到 0.…

⭐⭐⭐阅读全文 →
10.2.1

本地部署:稳定性高、安全性好

本地真起 HTTP 服务:启动 19.2…

⭐⭐阅读全文 →
10.2.2

服务器端部署:扩展性强、灵活性高

客户端 8 线程 QPS 0.98 倍…

⭐⭐⭐阅读全文 →
10.2.3

无服务器部署:管理简便、成本较低

冷启动 0.917 s 对进程内一次推理…

⭐⭐阅读全文 →
10.2.4

容器化部署:隔离性好、可移植性强

5 层镜像 705 MB,改代码只重传…

⭐⭐阅读全文 →
10.3.1

第一步:创建ChatGPT应用

四份应用配置跑 6 条规则共报 5 条错…

⭐⭐阅读全文 →
10.3.2

第二步:设置AI对话提示词

同一提示词模板:资料 1 段到 8 段…

⭐⭐阅读全文 →
10.3.3

第三步:设置训练模型及参数

温度 0.2 熵 0.391 最高频词占…

⭐⭐⭐阅读全文 →
10.3.4

第四步:构建并填充知识库

12 段资料 5 个问题:top1 与…

⭐⭐⭐阅读全文 →
10.3.5

第五步:文本分段与清洗

682 字硬切 300:3 段、67%…

⭐⭐阅读全文 →
10.3.6

第六步:添加数据集并发布ChatGPT应用

端到端:检索对 4/5、答案出自正确段落…

⭐⭐阅读全文 →