🧠 第一章 认识AI新职业
📄 一句话概括

十个行业一起算同一笔账:错误率平均从 10.6% 降到 4.6%,合计每百万次少错 596000 次。 但「降了 84%」和「少了 42000 次」是两句话,经常被混着说,差一个数量级。

📝 本节和前面几节的关系

上一节算的是算力成本,这一节算收益。收益怎么算,是训练师要能说清的事。

一、两个说法,一个数

「准确率从 95% 提到 99%」和「错误率从 5% 降到 1%」,说的是同一件事, 但听感完全不同——前者像提升 4 个点,后者像少了八成。 所以报数必须先定口径:是说百分点(95 到 99 是 4 个点), 还是说相对降幅(5% 到 1% 是降 80%),还是说绝对次数(每百万次少错 40000 次)。 这三句话都不假,但换一句就能让人误解。训练师写报告时最常犯的错就在这里。

二、十个行业一起算

Demo 给十个行业各配一对「改造前/改造后」的错误率(量级示意),然后算每百万次少错多少次、 相对降幅多少。 结果:制造质检从 5.0% 到 0.8%,相对降幅 84%,每百万次少错 42000; 客服分流从 25.0% 到 12.0%,只降 52%,但每百万次少错 130000。 农业估产降 50%、少错 90000;零售推荐降 33%、少错 50000。 十个行业平均错误率 10.6% 降到 4.6%,合计每百万次少错 596000 次。 结论是:相对降幅大不代表绝对收益大。 客服分流看着最「不惊艳」,偏偏少错的次数最多——因为它原本错得最多。

三、收益要落到钱上

错误率本身不产生价值,要乘上「一次错误值多少钱」。 质检漏检一次可能赔一台车,推荐错一次只损失一次点击,两者差着好几个数量级。 所以完整的算式是:少错的次数 × 单次错误成本 = 收益,再除以改造投入,才是「值不值得做」。 【⚠️ 2026 现状】本节的错误率都是量级示意,不是任何厂商的实测。 真实的行业报告里,同一个指标能差三倍,因为「谁算错、 错到什么程度算错」这个口径往往比模型本身影响更大。

四、动手 Demo:十个行业,两种说法差多少

给十个行业各配一对改造前后的错误率,算每百万次少错多少次、相对降幅多少,再把十个行业一起汇总。

cut = (before - after) * 1e6          # 每百万次少错多少次
rel = (before - after) / before       # 相对降幅

# 汇总
sum(cut for _, b, a in rows_in for cut in [(b - a) * 1e6])

实跑输出:

--------------------------------------------------------------------
十个行业,同一笔账:每百万次少错多少
--------------------------------------------------------------------
  行业       改造前   改造后   每百万次少错   相对降幅
  ---------------------------------------------------
  制造质检     5.0%     0.8%          42000        84%
  医疗影像    12.0%     4.5%          75000        62%
  金融风控     3.0%     1.2%          18000        60%
  物流分拣     2.0%     0.4%          16000        80%
  零售推荐    15.0%    10.0%          50000        33%
  农业估产    18.0%     9.0%          90000        50%
  能源巡检     9.0%     2.0%          70000        78%
  交通调度     7.0%     3.0%          40000        57%
  教育批改    10.0%     3.5%          65000        65%
  客服分流    25.0%    12.0%         130000        52%

  十个行业平均错误率       10.6% → 4.6%
  合计每百万次少错         596000 次

  注意「相对降幅」和「绝对次数」不是一回事:制造质检降 84%,少错 42000 次;
  客服分流只降 52%,却少了 130000 次——因为它原本错得最多。
  谈价值的时候必须说清是「降了几个百分点」还是「少了多少次」——
  这两个说法经常被混着用,差一个数量级。

  【⚠️ 2026 现状】上表是量级示意,不是任何一家厂商的实测数字。
  真实的行业改造报告里,同一指标能差出三倍,因为口径(谁算错、错到什么程度算错)
  往往比模型本身影响更大。

十行里最扎眼的是两行:制造质检降 84%、少错 42000;客服分流降 52%、少错 130000。 降幅排序和次数排序完全相反。 合计那一行是 596000 次/百万次。 这个数怎么来的:把十行的「改造前减改造后」加起来再乘一百万,不是把十行的百分比平均。 平均错误率那一行是 10.6% 到 4.6%, 是把十个数直接平均——这只有在本例这种「每个行业权重相同」的假设下才成立。真实业务里要按流量加权。 这一节所有错误率都是为了算账编的量级,我在正文和输出里都标了。换成真数据不影响方法,只影响结论。

30 秒实验

  1. 给「单次错误成本」填一个你熟悉的行业的数,算每年的收益。
  2. 把十个行业按流量加权(比如客服占五成),重算平均错误率。
  3. 想一想:为什么厂商宣传里更爱说「相对降幅」?

常见误区

  1. 「降了 84% 就一定比降 52% 值钱」——要看原本错多少、一次错值多少钱。
  2. 「准确率 99% 就够用了」——不同行业的容错差着几个数量级。
  3. 「十个行业的平均错误率有意义」——不按流量加权,平均值会骗人。
自测三问(点开对答案) 1. 「降 84%」和「少错 42000 次」有什么区别? —— 一个是相对降幅,一个是绝对次数,同一件事的两种说法。 2. 为什么客服分流的绝对收益最大? —— 因为它原本错误率最高(25%),降一半也是十万量级。 3. 算收益还差哪一步? —— 乘「单次错误成本」,再除以改造投入。

收益算完,回到人:这一行里那个「训练师」,到底在里面做什么。

相关笔记