🦙 Llama大模型实践指南
照着《Llama 大模型实践指南》（张俊祺、曲东奇、张正、占冰强 等编著，电子工业出版社·博文视点）做的自学笔记 —— 前四十课讲 AI，要么讲一个神经元怎么加权求和（41 课 图解深度学习），要么讲网络怎么反向传播（43 课 深度学习入门教室），要么讲模型、工具、上下文怎么串成 Agent（22 课 Harness 技术架构原理）；这一本讲的是另一头：手里已经有一个别人训好的模型，怎么把它变成自己能用的东西。七章就是一条流水线：内部长什么样（第 1 章）→ 把它跑起来（第 2 章）→ 用自己的数据改它（第 3 章）→ 让它记住前几轮说过的话（第 4 章）→ 塞进某个行业（第 5 章）→ 接上文档库做 RAG（第 6 章）→ 一种语言一个模型太贵，怎么让一个模型会几十种语言（第 7 章）。四个判断是骨架：要不要微调、多轮对话的信息往哪儿存、知识该进权重还是进检索、这门语言的 token 效率够不够。逐节一篇，「本章小结」并进章末，合计 32 篇。沙箱没有 GPU 也没有权重：能算的用 numpy 真算（注意力、位置编码、分词、困惑度），要显卡与权重的贴教材原码并逐处标注。
内容来自我的 Obsidian 自学笔记 · 全书 7 章 32 篇已全部写完 · 全书完结 🎉
第1章 大模型的基础理论
大模型的发展历史
从 n-gram 到 GPT 的四级台阶
大模型的核心框架
注意力、位置编码与多头
数据收集和数据处理
语料从哪来、怎么洗
大模型的预训练及微调
预训练、指令微调、RLHF 三段
大模型的评测
困惑度与基准题库的局限
第2章 部署 Llama 2 大模型
第3章 微调 Llama 2 大模型
微调的数据集准备和标注
数据格式与标注口径
Llama 2 大模型加载
把 7B 权重装进内存
微调策略设计及模型重新训练
全参微调与 LoRA 的账
模型评估、测试和模型优化
评测看什么、优化动哪
模型保存、模型部署和推理加速
量化、合并、推理加速
第4章 解决 Llama 2 大模型多轮对话难题
定制多轮对话数据集和构造方法
七条原则与三个场景
实操构造多轮对话微调训练数据集
真造一份多轮数据集
通过多轮对话存储解决信息流失问题
历史拼接、压缩、状态追踪
提高大模型多轮对话应对能力
六种提升应对能力的手段
模型评估与持续改进
多轮评测与持续改进
适合 Llama 2 大模型多轮对话的 prompt 构建
多轮 prompt 怎么拼
第5章 基于 Llama 2 定制行业大模型
业务数据分析指导行业大模型定制
先看业务再定策略
行业数据的获取与预处理
行业数据从哪来、怎么洗
Llama 2 大模型导入初始化
基座加载与初始化
微调获得行业特定大模型
领域预训练与微调的选择
模型测试、评估和优化
上线前的测试与优化
第6章 Llama 2 + LangChain 文档问答模型构建
LangChain 介绍
LangChain 解决什么
LangChain 的主要概念与示例
八个概念串成一条链
LangChain 环境配置
环境与模块清单
Llama 2+LangChain 文档问答模型评估
文档问答的完整链路