十个行业一起算同一笔账:错误率平均从 10.6% 降到 4.6%,合计每百万次少错 596000 次。 但「降了 84%」和「少了 42000 次」是两句话,经常被混着说,差一个数量级。
上一节算的是算力成本,这一节算收益。收益怎么算,是训练师要能说清的事。
一、两个说法,一个数
「准确率从 95% 提到 99%」和「错误率从 5% 降到 1%」,说的是同一件事, 但听感完全不同——前者像提升 4 个点,后者像少了八成。 所以报数必须先定口径:是说百分点(95 到 99 是 4 个点), 还是说相对降幅(5% 到 1% 是降 80%),还是说绝对次数(每百万次少错 40000 次)。 这三句话都不假,但换一句就能让人误解。训练师写报告时最常犯的错就在这里。
二、十个行业一起算
Demo 给十个行业各配一对「改造前/改造后」的错误率(量级示意),然后算每百万次少错多少次、 相对降幅多少。 结果:制造质检从 5.0% 到 0.8%,相对降幅 84%,每百万次少错 42000; 客服分流从 25.0% 到 12.0%,只降 52%,但每百万次少错 130000。 农业估产降 50%、少错 90000;零售推荐降 33%、少错 50000。 十个行业平均错误率 10.6% 降到 4.6%,合计每百万次少错 596000 次。 结论是:相对降幅大不代表绝对收益大。 客服分流看着最「不惊艳」,偏偏少错的次数最多——因为它原本错得最多。
三、收益要落到钱上
错误率本身不产生价值,要乘上「一次错误值多少钱」。 质检漏检一次可能赔一台车,推荐错一次只损失一次点击,两者差着好几个数量级。 所以完整的算式是:少错的次数 × 单次错误成本 = 收益,再除以改造投入,才是「值不值得做」。 【⚠️ 2026 现状】本节的错误率都是量级示意,不是任何厂商的实测。 真实的行业报告里,同一个指标能差三倍,因为「谁算错、 错到什么程度算错」这个口径往往比模型本身影响更大。
四、动手 Demo:十个行业,两种说法差多少
给十个行业各配一对改造前后的错误率,算每百万次少错多少次、相对降幅多少,再把十个行业一起汇总。
cut = (before - after) * 1e6 # 每百万次少错多少次
rel = (before - after) / before # 相对降幅
# 汇总
sum(cut for _, b, a in rows_in for cut in [(b - a) * 1e6])
实跑输出:
--------------------------------------------------------------------
十个行业,同一笔账:每百万次少错多少
--------------------------------------------------------------------
行业 改造前 改造后 每百万次少错 相对降幅
---------------------------------------------------
制造质检 5.0% 0.8% 42000 84%
医疗影像 12.0% 4.5% 75000 62%
金融风控 3.0% 1.2% 18000 60%
物流分拣 2.0% 0.4% 16000 80%
零售推荐 15.0% 10.0% 50000 33%
农业估产 18.0% 9.0% 90000 50%
能源巡检 9.0% 2.0% 70000 78%
交通调度 7.0% 3.0% 40000 57%
教育批改 10.0% 3.5% 65000 65%
客服分流 25.0% 12.0% 130000 52%
十个行业平均错误率 10.6% → 4.6%
合计每百万次少错 596000 次
注意「相对降幅」和「绝对次数」不是一回事:制造质检降 84%,少错 42000 次;
客服分流只降 52%,却少了 130000 次——因为它原本错得最多。
谈价值的时候必须说清是「降了几个百分点」还是「少了多少次」——
这两个说法经常被混着用,差一个数量级。
【⚠️ 2026 现状】上表是量级示意,不是任何一家厂商的实测数字。
真实的行业改造报告里,同一指标能差出三倍,因为口径(谁算错、错到什么程度算错)
往往比模型本身影响更大。
十行里最扎眼的是两行:制造质检降 84%、少错 42000;客服分流降 52%、少错 130000。 降幅排序和次数排序完全相反。 合计那一行是 596000 次/百万次。 这个数怎么来的:把十行的「改造前减改造后」加起来再乘一百万,不是把十行的百分比平均。 平均错误率那一行是 10.6% 到 4.6%, 是把十个数直接平均——这只有在本例这种「每个行业权重相同」的假设下才成立。真实业务里要按流量加权。 这一节所有错误率都是为了算账编的量级,我在正文和输出里都标了。换成真数据不影响方法,只影响结论。
30 秒实验
- 给「单次错误成本」填一个你熟悉的行业的数,算每年的收益。
- 把十个行业按流量加权(比如客服占五成),重算平均错误率。
- 想一想:为什么厂商宣传里更爱说「相对降幅」?
常见误区
- 「降了 84% 就一定比降 52% 值钱」——要看原本错多少、一次错值多少钱。
- 「准确率 99% 就够用了」——不同行业的容错差着几个数量级。
- 「十个行业的平均错误率有意义」——不按流量加权,平均值会骗人。
自测三问(点开对答案)
1. 「降 84%」和「少错 42000 次」有什么区别? —— 一个是相对降幅,一个是绝对次数,同一件事的两种说法。 2. 为什么客服分流的绝对收益最大? —— 因为它原本错误率最高(25%),降一半也是十万量级。 3. 算收益还差哪一步? —— 乘「单次错误成本」,再除以改造投入。收益算完,回到人:这一行里那个「训练师」,到底在里面做什么。
- ☐ (本节完,下一节 1.1.5 AI训练师的出现:赋予人工智能【人性之魂】)