一、三种融合，差别在「什么时候合」

早期融合：把各模态特征拼成一个长向量，再喂给一个分类器。 简单，但要求三路数据在训练时就对齐到同一条样本。 晚期融合：每路各自出一个概率，最后加权或投票。 松耦合，各路可以分开训、分开升级，一路坏了不影响别的。 中期融合：在中间层做交叉注意力，让一路去看另一路的表示。 效果通常最好，代价是模型复杂、要一起训。 政务场景里通常是晚期融合更实用——因为各个系统本来就不是一家做的， 能凑出「每路一个概率」已经很不容易，别指望特征级对齐。

二、收益从哪来：错的样本不重叠

Demo 造了三路特征（8 维文本、12 维图像、6 维音频），故意给不同强度的噪声，然后比较：

三、弱模态会拖后腿：这是实测出来的

看最后三行：缺文本掉 7.0 点、缺图像掉 5.7 点，而缺音频反而涨了 1.0 点。 这个「涨」是这一节最值钱的发现。音频那一路噪声最大，单独只有 55.7%， 它参与投票时，经常把另外两路的正确判断投反。 所以「多模态融合」不是「模态越多越好」， 而是「每一路都要按可信度加权」。真实系统里靠门控机制（gating）或缺失感知训练来做， 不是简单投票。 判断某一路该不该进融合，办法很土但有效： 把这一路单独拿掉跑一遍，看总体指标是涨还是掉。涨了就说明它在拖后腿—— 这一条应该写进上线检查清单。

四、落地时容易踩的四件事

① 时间对齐。 视频和音频按帧对齐不难， 但文本（工单描述）和图像（现场照片）之间没有天然的时间轴，只能靠业务主键拼。 拼错了模型会学到一堆噪声。 ② 缺失是常态，不是异常。 摄像头坏、麦克风没开、材料没扫描， 真实系统里三路齐全反而是少数。所以要专门做「少一路也能跑」的降级路径。 ③ 隐私要按最严的那一路定。 融合之后， 音频里的一句话可能把整条记录变成敏感数据——哪怕文本那一路已经脱敏了。 ④ 别用融合掩盖单模态的问题。 如果某一路只有 55% 的准确率，先想清楚它为什么这么差， 再决定要不要它。融合是放大器，不是修复器。

五、动手 Demo：三模态融合：单模态最高 74%，融合到 88%

造 300 个样本、3 个类别，三路特征分别是 8／12／6 维，各加不同强度的噪声（2.4／2.8／3.4）。 先算每路单独用最近类心的准确率，再算早期融合（拼接标准化）和晚期融合（软投票）的准确率， 最后逐路拿掉看指标怎么变。

dims = {u"文本": 8, u"图像": 12, u"音频": 6}
sig = {u"文本": 2.4, u"图像": 2.8, u"音频": 3.4}
for k, d in dims.items():
    c = rg.normal(0, 1, (cls, d))
    centers[k] = c
    feat[k] = c[y] + rg.normal(0, sig[k], (n, d))

def vote(keys):                      # 晚期融合：概率相加
    P = np.zeros((n, cls))
    for k in keys:
        d = ((feat[k][:, None, :] - centers[k][None]) ** 2).sum(2)
        e = np.exp(-d / (2.0 * sig[k] ** 2))
        P += e / e.sum(axis=1, keepdims=True)
    return np.mean(np.argmax(P, axis=1) == y)

实跑输出：

--------------------------------------------------------------------
三模态融合：单模态最高 74%，融合到 88%
--------------------------------------------------------------------
  配置                输入   准确率
  --------------------------------
  只用文本            8 维    71.3%
  只用图像           12 维    74.0%
  只用音频            6 维    55.7%
  早期融合（拼接）   26 维    87.7%
  晚期融合（投票）    3 路    83.7%
  缺文本              2 路    76.7%
  缺图像              2 路    78.0%
  缺音频              2 路    84.7%

  单模态里最好的是**图像 74%**，最差是音频 56%。
  **这不是模态强弱，是我给它们设的噪声不同**（2.4／2.8／3.4）。
  融合之后到 **87.7%（早期）和 83.7%（晚期）**，比最好的单模态高 13.7 和 9.7 个点。
  **收益来源不是「多了信息」，而是「错的样本不重叠」**——三路各自错的那些样本，
  投票之后被另外两路纠正了。
  早期 87.7% 比晚期 83.7% 高 4.0 个点，**差距不大**；但工程上差很多：
  早期要求三路特征对齐到同一条样本，**晚期只要每路各出一个概率，可以分开训、分别升级。**
  重点看最后三行：**缺文本掉 7.0 点、缺图像掉 5.7 点，而缺音频反而涨了 1.0 点。**
  **最后这个「涨」是这一类实验最值钱的发现。**音频那一路噪声最大，单独只有 56%，
  **它参与融合时是在把另外两路往下拖。**
  所以「多模态融合」不是「模态越多越好」，而是「每一路都要按可信度加权」。
  真实系统里这一条靠门控机制或缺失感知训练来实现，**而不是简单投票。**
  真实系统里「摄像头坏了」「麦克风没开」是常态，所以还要做模态缺失的降级方案，
  不能假设三路永远齐。

单模态那三行：图像 74.0%、文本 71.3%、音频 55.7%。 这不是「图像比音频更重要」——是我给它们设的噪声不同（2.8、2.4、3.4）。 早期融合 87.7%、晚期融合 83.7%，分别比最好的单模态高 13.7 和 9.7 个点。 融合的收益是实打实的。 早期比晚期高 4.0 点，但工程上复杂得多。 政务场景里 4 个点往往不值得那套同步改造——晚期融合能让三套系统各自迭代，这个好处更实在。 最后三行最反直觉：缺音频反而涨 1.0 点。因为音频噪声最大，它在投票时经常把对的说成错的。 这一点在真实系统里非常常见： 为了「看起来功能全」而硬塞一个弱模态，结果整体指标下降。 所以上线前一定要做「拿掉某一路」的对照实验。

30 秒实验

1. 把音频的噪声从 3.4 加到 5.0，看融合准确率怎么变。 会掉到接近两路融合——弱到一个程度就纯粹是噪声源。
2. 把音频的噪声降到 1.5（比另外两路都强），再看缺失实验。 这时缺音频会明显掉点——强弱关系反过来了。
3. 把晚期融合从「概率相加」改成「投票计数」，看准确率。 会掉几个点：概率相加保留了置信度，投票把这个信息丢了。

常见误区

1. 「模态越多越好」。Demo 里缺音频反而涨 1.0 点，弱模态会拖后腿。
2. 「融合能修复单模态的问题」。融合是放大器，某一路只有 55% 准确率，先查它为什么差。
3. 「晚期融合不如早期准，所以别用」。 差 4 个点，但换来了各路独立迭代——政务系统里这笔账通常划算。

多模态解决「看得全」，脱敏解决「看得安全」。 下一节就是后者：同一个名字在两行里必须换成同一个假名。

• ☐ （本节完，下一节 9.1.3 数据动态脱敏）

相关笔记

• 数据隐私防护
• 给图像数据打标
• 数据动态脱敏
• 🧠 AI训练师手册2 · 索引