🧠 第二章 能力培养
📄 一句话概括

六个领域摆在一张表里,变的是三件事:数据形态、模型类型、交付形式。 按经验系数估「每类最少样本」:简单分类 500 条、分割 1 万条、 排序 2.5 万条——差 50 倍。

📝 本节和前面几节的关系

上一节讲一个任务怎么拆,这一节讲同一套方法怎么落到不同行业。

一、变的三件事

数据形态:用户行为序列、产线图像、CT 切片、对话文本、多路视频加点云、多光谱航拍。 形态不同,清洗和标注的方式就完全不同。 模型类型:排序、图像分类、图像分割、意图分类加检索、检测加跟踪、回归。 类型不同,评价指标也不同——分类看准确率,分割看 IoU,排序看 NDCG。 交付形式:接口在线、边缘盒子、院内系统、车端实时、离线批处理。 这一条最容易被低估,但它会反过来限制模型能有多大。 车端要实时,模型就不能太大;边缘盒子要省电,算力就得压;院内系统要过审,可解释性就变成硬要求。 交付形式不是最后一步,是第一约束。

二、每类最少要多少样本

Demo 用一组经验系数估:简单图像分类 500 条起,图像分割乘 20,检测跟踪乘 30,排序乘 50,回归乘 5。 结果:工业质检 500 条、智能客服 1500 条、农业估产 2500 条、医疗影像 1 万条、自动驾驶 1.5 万条、 电商推荐 2.5 万条。最多和最少差 50 倍。 这些数只能当「开工前先问一句」的量级:这点数据够不够撑这个任务。 它们不是论文结论,换任务、换口径都会变。 真正需要记的不是具体数字,是相对量级:分类最省,分割和检测贵一到两个数量级, 排序和推荐要的是「行为数据」而不是「标注数据」,成本结构又不一样。

三、换领域时最容易犯的错

把上一个领域的经验直接搬过来。做图像分类的人去做分割,会以为「标 500 张够了」——实际差二十倍。 第二个错是忽略交付约束。离线批处理能跑一天的模型,放到车端要求 30 毫秒出结果,架构得整个换掉。 第三个错是低估领域知识的门槛。 医疗影像的「这个结节算不算恶性」,不是训练师能定的,得有医生参与定标注规范。 所以跨领域时,训练师的第一件事是找到「谁能定标准」,而不是先看数据。

四、动手 Demo:六个领域,三列对照加样本量估算

六个典型领域,先按「数据形态/模型类型/交付形式」列表, 再按经验系数估每个领域「每类最少要多少样本」,看量级差多少。

hard = {u'图像分类': 1.0, u'图像分割': 20.0, u'排序模型': 50.0,
        u'意图分类+检索': 3.0, u'检测+跟踪': 30.0, u'回归': 5.0}
base = 500.0 * hard[model]        # 简单分类 500 条起

实跑输出:

--------------------------------------------------------------------
六个领域,同一张对照表
--------------------------------------------------------------------
  领域       数据形态         模型类型         交付形式
  ------------------------------------------------------
  电商推荐   用户行为序列     排序模型         接口在线
  工业质检   产线图像         图像分类         边缘盒子
  医疗影像   CT/MRI 切片     图像分割         院内系统
  智能客服   对话文本         意图分类+检索   接口在线
  自动驾驶   多路视频+点云   检测+跟踪       车端实时
  农业估产   多光谱航拍       回归             离线批处理

  领域             模型类型   每类最少样本(量级)     合计
  --------------------------------------------------------
  电商推荐         排序模型   25000                  2.5 万
  工业质检         图像分类   500                    500 条
  医疗影像         图像分割   10000                  1.0 万
  智能客服   意图分类+检索   1500                   1.5 千
  自动驾驶       检测+跟踪   15000                  1.5 万
  农业估产             回归   2500                   2.5 千

  左上到右下,变的是三件事:数据形态、模型类型、交付形式。
  训练师换领域时,最容易低估的是「交付形式」——车端要实时、
  边缘盒子要省电、院内系统要过审,这三条会反过来限制模型能有多大。

  「每类最少样本」那一列是量级估算,用的是「简单分类 500 条起、
  分割/检测乘 20 到 30 倍」这种经验系数,不是任何论文的结论。
  它的用途是让你在开工前先问一句:这点数据够不够撑这个任务。

第一张表六行,重点是最后一列:交付形式。 车端实时和离线批处理,对模型体积与延迟的要求差好几个数量级。 第二张表里最多的是电商推荐 2.5 万、最少的是工业质检 500,差 50 倍。 这个差距就是「换个领域,数据预算要重算」的量化版本。 系数(20、30、50)是我给的经验值,不是论文数。 它们的作用是让你在开工前有个量级感,不至于拿 500 张图去做分割。 注意「意图分类+检索」用的是 3 倍而不是 20 倍——因为文本标注比图像标注便宜,而且可以复用已有语料。 成本结构不同,系数就不同。

30 秒实验

  1. 给「智能客服」这个领域补一条:它的「交付形式」约束是什么?
  2. 算一算:如果分割要 1 万条、每条 30 分钟,人工要多少小时。
  3. 想一想:为什么「交付形式」会反过来限制模型大小?

常见误区

  1. 「一套方法能通吃所有领域」——数据形态和交付约束都不一样。
  2. 「500 条就能做分割」——差二十倍。
  3. 「交付是最后一步」——它是第一约束,先定它再选模型。
自测三问(点开对答案) 1. 六个领域之间变的是哪三件事? —— 数据形态、模型类型、交付形式。 2. 为什么说交付形式是第一约束? —— 车端、边缘、院内系统的实时性、功耗、合规要求会限制模型大小与结构。 3. 样本量最多和最少差多少倍? —— 本例差 50 倍(2.5 万 对 500)。

第二章讲完能力,第三章动手:从装 Python 开始写代码。

相关笔记