波仔
🦙 第5章 基于 Llama 2 定制行业大模型
📄 一句话概括

做行业模型最容易犯的错，是先决定做模型，再去找理由。顺序反了，做出来的东西没人用。 这一节把顺序正过来：先拿三十天的业务数据算三笔账——频次、时长、可规则化比例， 再决定哪一类值得上模型、哪一类用规则就够了。

📝 本章和前面几章的关系

前四章讲的是「怎么做一个模型」，这一章讲「该不该做、做哪一块」。 38 课 AI 训练师手册 讲的是需求分析与任务定义， 这一节讲的是用算术把「该做哪一块」定下来——定不下来的项目，做到一半一定会争。

一、三笔账：频次、时长、可规则化

第一笔是频次：这类问题一个月出现多少次。它决定「做出来有没有人用」。 第二笔是单次耗时：解决一条平均花多少分钟。频次乘耗时，才是这类问题一共吃掉多少人力。 第三笔最容易被跳过：可规则化比例。这类问题里，有多少条的标准处理流程是固定的？

三笔账里，只有第三笔是问出来的，不是算出来的。 要去问一线的人，而不是问经理——经理会说「都要智能化」，一线会说「这几种我闭着眼都能处理」。 演示里的数：三十天 240 条，合计 132.7 小时。 频次最高的是报价咨询（96 条），单次最久的是合同条款（120 分钟）。 两个极值不是同一类，这就是为什么要算两笔。

二、决策矩阵：四象限四个动作

把「可省工时」和「可规则化」画成两轴，四象限四个动作： 高频高规则化：用规则加模板。 报价咨询 85% 可规则化、月省 16.3 小时——一张价目表加一段模板就解决， 上一套 7B 模型反而更贵更慢。 高频低规则化：这一格才值得微调。可惜演示里一个都没落进来——这很正常，多数业务的量撑不起微调。

低频低规则化：先做检索增强，把资料整理好让人自己查。成本最低，见效最快。 低频高规则化：直接写死规则，连模型都不用。材料询价 90% 可规则化但月省只有 3.6 小时，排期都排不上。 演示里六类没有一类落进「值得微调」那一格。 这不是数据造得不好，这恰恰是多数企业的真实情况——先把检索和规则做到头，再谈微调。

三、验收口径要跟着动作走

用规则的那类，量命中率和人工改字数；要微调的那类，量关键点覆盖度； 不许出错的那类，只能量转录准确率。 指标定错方向，后面全白做。给报价咨询定「回答得像不像人」，它明明只要把价格填对就行。 有一条硬原则：合同、报价这类「一个字都不能错」的内容，不做生成，只做提取和检索。模型再准， 也不能让它写合同金额。

验收口径要在开工前写进文档，和预算写在一起。写不进文档的口径，上线时一定会被改。

四、动手 Demo：三十天工单，算出该先做哪一类

六类工单、240 条、四项字段：条数、平均分钟、可规则化比例。 全部是造的，但比例参照真实亮化工程的客服分布。 算三张表：月度工时、可省工时、四象限判定。最后给每类配一个验收指标。

# (类别, 三十天条数, 平均分钟, 可规则化比例)
CATS = [(u'报价咨询', 96, 12, 0.85),
        (u'图纸变更', 58, 45, 0.20),
        (u'现场验收', 40, 60, 0.10),
        (u'材料询价', 30,  8, 0.90),
        (u'投诉处理', 12, 90, 0.05),
        (u'合同条款',  4, 120, 0.15)]

for nm, n, mins, r in CATS:
    work = n * mins / 60.0        # 月工时
    gain = work * r               # 可省工时
    print(nm, work, gain)

实跑输出：

--------------------------------------------------------------------
三十天工单，算出该先做哪一类
--------------------------------------------------------------------


  ① 原始数据：六类工单
  --------------------------------------------------------------------
| 类别 | 条数 | 占比 | 分钟 | 月工时 |
|---|---:|---:|---:|---:|
| 报价咨询 | 96 | 40.0% | 12 | 19.2 |
| 图纸变更 | 58 | 24.2% | 45 | 43.5 |
| 现场验收 | 40 | 16.7% | 60 | 40.0 |
| 材料询价 | 30 | 12.5% | 8 | 4.0 |
| 投诉处理 | 12 | 5.0% | 90 | 18.0 |
| 合同条款 | 4 | 1.7% | 120 | 8.0 |

  三十天共 240 条。月工时 = 条数 × 平均分钟 ÷ 60，这是「这类问题一共吃掉多少人力」。
  ! 注意「合同条款」：平均一百二十分钟，一条顶十条报价咨询，但一个月只有 4 条。
  光看时长会把它排到最前面，光看条数会把它排到最后——两个都要看。

  ② 可规则化比例：这一条最关键
  --------------------------------------------------------------------
| 类别 | 能写成固定规则的比例 | 判断 |
|---:|:---:|:---:|
| 报价咨询 | 85% | 高 |
| 图纸变更 | 20% | 低 |
| 现场验收 | 10% | 低 |
| 材料询价 | 90% | 高 |
| 投诉处理 | 5% | 低 |
| 合同条款 | 15% | 低 |

  这一列是问业务骨干问出来的，不是算出来的：这类问题里，有多少条的标准处理流程是固定的？
  ! 「可规则化高」不等于「该做微调」。
  报价咨询 85% 可规则化，用一张价目表加模板就能解决，上一套 7B 模型反而更贵更慢。

  ③ 可省工时：把两列乘起来
  --------------------------------------------------------------------
| 类别 | 月工时 | 可省工时 |
|---|---:|---:|
| 报价咨询 | 19.2 | 16.3 |
| 图纸变更 | 43.5 | 8.7 |
| 现场验收 | 40.0 | 4.0 |
| 材料询价 | 4.0 | 3.6 |
| 投诉处理 | 18.0 | 0.9 |
| 合同条款 | 8.0 | 1.2 |

  六类合计月工时 132.7 小时，理论上可省 34.7 小时，占总量的 26%。
  ! 「理论上可省」是个上限。
  真上线要打折——用户不信任、系统出错、边界情况要人工兜，打到五折是常见的。
  给老板报数时要说清这是上限。

  ④ 决策矩阵：四象限四个动作
  --------------------------------------------------------------------
| 类别 | 可省工时 | 可规则化 | 建议动作 |
|---|---:|:---:|---|
| 报价咨询 | 16.3 | 85% | 规则 + 模板 |
| 图纸变更 | 8.7 | 20% | 检索增强，先别微调 |
| 现场验收 | 4.0 | 10% | 检索增强，先别微调 |
| 材料询价 | 3.6 | 90% | 规则，别上模型 |
| 投诉处理 | 0.9 | 5% | 检索增强，先别微调 |
| 合同条款 | 1.2 | 15% | 检索增强，先别微调 |

  四个动作的判据很简单：高频高规则化用规则，高频低规则化才值得微调，低频低规则化的先做检索增强。
  ! 这张表的价值不在于结论对不对，在于它把「做不做模型」变成了一个可以讨论的算术题。
  没有这张表，讨论会变成「我觉得大模型很厉害」。

  ⑤ 性能评估的口径也要一起定
  --------------------------------------------------------------------
| 类别 | 验收指标 | 目标 |
|---|---|:---:|
| 报价咨询 | 模板命中率、改字数 | >= 90% |
| 图纸变更 | 关键点覆盖、工期估对 | >= 70% |
| 投诉处理 | 人工接管率 | <= 30% |
| 合同条款 | 必须 100% 转录，不许生成 | = 100% |

  指标要跟着动作走：用规则的那类量命中率，要微调的那类量覆盖度，不许出错的那类只能量转录准确率。
  ! 最后一行是个原则：合同、报价这类「一个字都不能错」的内容，不做生成，只做提取和检索。
  生成模型再准，也不能拿它写合同金额。

①先看两列极值：报价咨询 96 条但每条只要 12 分钟，合同条款只有 4 条但每条 120 分钟。 光看条数会把合同排到最后，光看时长会把它排到最前——两笔账都要算。 ②可规则化比例是这一节的核心。 它不是算出来的，是问出来的：「这类问题里，有多少条的标准处理是固定的？」 这一列最关键，因为它决定「用规则还是用模型」。 可规则化 85% 的类别，写规则比训模型便宜一个数量级，而且可控。 ③把两列乘起来才是「可省工时」。六类合计 132.7 小时，理论上能省 34.7 小时，占 26%。 注意「理论上」三个字。 真上线要打折——用户不信任、系统出错、边界情况要人工兜， 打到五折是常见的，给老板报数时必须说清这是上限。 ④四象限里，六类没有一类落进「值得微调」。 这是这一节最该带走的结论：多数业务的量撑不起微调，先把检索和规则做到头。 ⑤验收口径跟着动作走。用规则的那类量命中率，不许出错的那类只能量转录准确率。 最后那条原则要记住：合同、报价不做生成。 生成模型再准，也不能拿它写金额。这类场景该做的是「把原文档切好、让人一眼找到」， 不是「让模型复述一遍」。

30 秒实验

  1. 把「图纸变更」的可规则化比例从 20% 改成 60%，重跑第④步。它会落进哪一格？动作变成什么？
  2. 给「投诉处理」加一条：单次 90 分钟里有一半是情绪安抚，无法规则化。 你会在决策矩阵里怎么标注这一类？
  3. 把总条数从 240 改成 900（业务量涨三倍），看可省工时涨到多少。 这时候哪一类会第一次落进「值得微调」？

常见误区

  1. 先立项再找场景。立项报告里写「提升效率 30%」，谁也不知道这 30% 从哪来。 先算三笔账，再写立项报告，顺序反了，项目做到一半一定会争。
  2. 只算条数不算时长。条数最多的是最简单的活，把它自动化了，人力一点没省。
  3. 把「可规则化」当成「简单」。 可规则化高的事情往往最该自动化，因为它不需要判断，只是重复——这正是规则和脚本最擅长的。
自测三问（点开对答案） 1. 为什么可规则化比例必须问一线，不能由项目经理估？ —— 因为项目经理看到的是「这个问题很难」，一线看到的是「这类我处理过两百次，流程固定」。 估出来的比例会系统性偏低，于是把所有事都推向「需要大模型」。 2. 「高频高规则化」为什么不该上模型？ —— 因为规则更便宜、更快、更可控。 模型的价值在「处理没见过的情况」， 而这一类恰恰没有没见过的情况——**用模型是拿最贵的手段解决最不需要判断的问题。** 3. 为什么给老板报「可省工时」要说清是上限？ —— 因为它是「全部自动化且零故障」的理想值。真实落地要打折：用户不信任、系统出错、边界要人工兜。 把上限当承诺，第一个月就会被追问为什么没省那么多。

账算完了，知道该做哪一块。下一节解决材料问题：行业数据从哪来、怎么洗。

相关笔记