一、只有比例变了

把假设写清楚，和上一节对照着看：

w(x, y) = p_te(x, y) / p_tr(x, y)
        = [ p_te(x 给定 y) * p_te(y) ] / [ p_tr(x 给定 y) * p_tr(y) ]
        = p_te(y) / p_tr(y)          （因为条件分布相同，前一项约掉）

x 从式子里消失了。 这是一个巨大的简化：不用估密度比，只要数一数两边的类别比例就行。 本节数据里，正类权重 0.5 除以 0.2 等于 2.500，负类权重 0.5 除以 0.8 等于 0.625。

二、加权之后，训练准确率反而降了

把这两个权重丢进加权最小二乘，结果有点反直觉：

三、变的其实只是一条边界

权重全为正类 2.5、负类 0.625，等价于把正类样本复制四份、负类复制一份。 样本复制不会改变两类各自的形状，只会把决策边界往多数类那边推。 实测：

四、先验相同时，它什么也不做

一个方法值不值得信，要看它在不需要它的时候会不会帮倒忙。 把训练先验也设成五成，重跑：

| 做法 | 测试准确率 | 边界 | |---:|---:| | 不加权 | 0.8925 | -0.0821 | | 加权 | 0.8925 | -0.0821 | 两行一个数字都不差。 因为这时正负两类的权重都是 2.5 和 0.625 的同一个倍数关系被归一化掉了，等价于全 1。 这是好性质：没有移位时它自动退化成原模型，不会引入额外风险。 顺便注意，这个 0.8925 和上一段加权后的 0.8925 完全一致。 因为两者算的是同一件事——都还原到了「先验各半」的情形。

五、把测试先验扫一遍

真正要看的是一张表：测试先验从 0.1 扫到 0.9。

六、动手 Demo：类别平衡变化：形状不变、比例变了，只需要挪一下边界

这段代码造两个形状完全相同的高斯类，训练集让正类只占两成、测试集占五成； 然后按类别先验比加权，比训练准确率、测试准确率，再扫一遍测试先验从 0.1 到 0.9。 重点看三处。第二段训练准确率 0.9300 掉到 0.9200 而测试从 0.8275 升到 0.8925； 第三段加权后边界 -0.0781 与两类中心中点 -0.0781 完全一致；第五段不加权那一列的单调下滑。

# -*- coding: utf-8 -*-
import numpy as np


def wls(X, y, w=None):
    """加权最小二乘，返回斜率与截距。"""
    n = len(X)
    if w is None:
        w = np.ones(n)
    A = np.column_stack([np.ones(n), X])
    W = np.diag(w / w.mean())
    coef = np.linalg.solve(A.T @ W @ A + 1e-12 * np.eye(2), A.T @ W @ y)
    return coef[1], coef[0]


def score(b, a, X):
    """最小二乘分类器的判别值，和 0 比得类别。"""
    return a + b * X


def acc(b, a, X, y):
    return float(np.mean((score(b, a, X) > 0.0).astype(float) * 2.0 - 1.0 == y))


def thresh(b, a):
    """判别值等于零的那个位置。"""
    return -a / b


def label_weight(y, prior_tr, prior_te):
    """按类别给权：测试先验除以训练先验。"""
    w = np.zeros(len(y))
    for c, p_tr in ((1.0, prior_tr), (-1.0, 1.0 - prior_tr)):
        p_te = prior_te if c > 0 else 1.0 - prior_te
        w[y == c] = p_te / max(p_tr, 1e-9)
    return w


def balance_data(n=400, seed=1, prior_tr=0.2, prior_te=0.5, sep=2.4, noise=1.0):
    """两类的高斯形状完全相同，只有先验比例不同。"""
    rg = np.random.default_rng(seed)

    def draw(n, prior):
        nl = int(round(n * prior))
        pos = rg.normal(sep / 2.0, noise, nl)
        neg = rg.normal(-sep / 2.0, noise, n - nl)
        x = np.concatenate([pos, neg])
        y = np.concatenate([np.ones(nl), -np.ones(n - nl)])
        idx = rg.permutation(n)
        return x[idx], y[idx]

    xtr, ytr = draw(n, prior_tr)
    xte, yte = draw(n, prior_te)
    return xtr, ytr, xte, yte


xtr, ytr, xte, yte = balance_data()
w = label_weight(ytr, 0.2, 0.5)
b0, a0 = wls(xtr, ytr)
b1, a1 = wls(xtr, ytr, w)

print('[1] 两类的形状一模一样，只有比例变了')
print('  训练集正类占 %.0f%%  测试集正类占 %.0f%%' % (100 * (ytr > 0).mean(), 100 * (yte > 0).mean()))
print('  正类样本的权重 %.3f  负类样本的权重 %.3f' % (w[ytr > 0][0], w[ytr < 0][0]))

print('')
print('[2] 同一个模型，两种称重方式')
print('  不做任何处理  训练准确率 %.4f   测试准确率 %.4f' % (acc(b0, a0, xtr, ytr), acc(b0, a0, xte, yte)))
print('  按类别加权    训练准确率 %.4f   测试准确率 %.4f' % (acc(b1, a1, xtr, ytr), acc(b1, a1, xte, yte)))
print('  训练那一栏反而降了，测试那一栏才是我们要的')

print('')
print('[3] 变的其实只是一条边界')
print('  不加权的边界 x = %+.4f' % thresh(b0, a0))
print('  加权后的边界 x = %+.4f' % thresh(b1, a1))
print('  两类样本的实际中心 %+.4f 和 %+.4f，中点 %+.4f'
      % (xtr[ytr > 0].mean(), xtr[ytr < 0].mean(), (xtr[ytr > 0].mean() + xtr[ytr < 0].mean()) / 2.0))
print('  加权把边界推到了中点，不偏袒任何一类')

print('')
print('[4] 训练先验和测试先验一样时，加权什么也不做')
xa, ya, xb, yb = balance_data(prior_tr=0.5, prior_te=0.5)
wa = label_weight(ya, 0.5, 0.5)
u0, v0 = wls(xa, ya)
u1, v1 = wls(xa, ya, wa)
print('  不加权  测试 %.4f  边界 %+.4f' % (acc(u0, v0, xb, yb), thresh(u0, v0)))
print('  加权    测试 %.4f  边界 %+.4f' % (acc(u1, v1, xb, yb), thresh(u1, v1)))
print('  两组权重全是同一个数，等于没加权')

print('')
print('[5] 测试先验从 0.1 扫到 0.9')
print('  测试先验  不加权    加权   加权后的边界')
for pte in (0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9):
    xa, ya, xb, yb = balance_data(prior_tr=0.2, prior_te=pte)
    wa = label_weight(ya, 0.2, pte)
    u0, v0 = wls(xa, ya)
    u1, v1 = wls(xa, ya, wa)
    print('  %.1f      %.4f  %.4f  %+.4f'
          % (pte, acc(u0, v0, xb, yb), acc(u1, v1, xb, yb), thresh(u1, v1)))

实跑输出：

--------------------------------------------------------------------
类别平衡变化：形状不变、比例变了，只需要挪一下边界
--------------------------------------------------------------------
[1] 两类的形状一模一样，只有比例变了
  训练集正类占 20%  测试集正类占 50%
  正类样本的权重 2.500  负类样本的权重 0.625

[2] 同一个模型，两种称重方式
  不做任何处理  训练准确率 0.9300   测试准确率 0.8275
  按类别加权    训练准确率 0.9200   测试准确率 0.8925
  训练那一栏反而降了，测试那一栏才是我们要的

[3] 变的其实只是一条边界
  不加权的边界 x = +0.5654
  加权后的边界 x = -0.0781
  两类样本的实际中心 +1.1284 和 -1.2847，中点 -0.0781
  加权把边界推到了中点，不偏袒任何一类

[4] 训练先验和测试先验一样时，加权什么也不做
  不加权  测试 0.8925  边界 -0.0821
  加权    测试 0.8925  边界 -0.0821
  两组权重全是同一个数，等于没加权

[5] 测试先验从 0.1 扫到 0.9
  测试先验  不加权    加权   加权后的边界
  0.1      0.9350  0.9300  +1.4751
  0.2      0.9100  0.9100  +0.5654
  0.3      0.8725  0.8850  +0.2428
  0.4      0.8450  0.8725  +0.0597
  0.5      0.8275  0.8925  -0.0781
  0.6      0.8050  0.9050  -0.2107
  0.7      0.7850  0.8875  -0.3752
  0.8      0.7575  0.9150  -0.6513
  0.9      0.7325  0.9375  -1.4089

第一段两行权重 2.500 和 0.625，比值正好是 4。 这等于把正类样本复制四份——因为 0.5 除以 0.2 是 2.5，0.5 除以 0.8 是 0.625， 再除以两者公因子，就是 4 比 1。 第二段那两行要一起读。 训练准确率 0.9300 掉到 0.9200，测试 0.8275 升到 0.8925。 如果只报训练那一栏，加权是个坏主意；只报测试那一栏，加权是个好主意。 报哪一个，取决于你打算用哪个分布去评估。 第三段是本篇最漂亮的一处。 两类中心 +1.1284 和 -1.2847，中点算出来 -0.0781；加权后的边界也印出来 -0.0781。 这两个数不是凑的，是同一个量的两种算法。 不加权的 +0.5654 偏离中点 0.64，偏的方向就是训练集里的少数类。 第四段那个「一个数字都不差」的对照组不能省。 它证明了这个方法在没有移位时是恒等变换，不会平白引入风险。 很多所谓的「改进方法」恰恰缺这个性质——不需要它的时候它也在捣乱。 第五段 0.1 和 0.2 两行是诚实的边界。 0.2 行两者相等，是因为训练先验就是 0.2； 0.1 行加权略差（0.9300 对 0.9350），是因为外推得太远。 报方法效果时把这两行留着，比只报最好看的那几行可信。

30 秒实验

1. 把 balance_data 的 sep 从 2.4 改成 1.2，让两类重叠得更厉害，重跑。 看加权带来的提升从 0.065 缩到多少。 两类越难分，边界位置的影响越小——反正怎么划都错一堆。
2. 把 balance_data 的 prior_tr 从 0.2 改成 0.05，重跑。 少数类只有 20 个样本，加权到 10 倍之后，边界会开始抖。 这就是类别不平衡问题的真面目：不是权重算错了，是少数类的样本根本不够。
3. 把 label_weight 里的 prior_te 故意传错（比如真实是 0.5，你按 0.3 算），重跑。 看测试准确率掉到多少。 这一节的权重完全依赖「测试先验是多少」这个外部知识——估错了，方法就失效。 实战里这个数往往得靠业务经验或者线上统计拿到。

常见误区

1. 「训练准确率降了，说明加权是错的」。 训练集的真实比例是两成对八成，按五成对五成优化当然在训练集上吃亏。 实测 0.9300 掉到 0.9200，同时测试从 0.8275 升到 0.8925。 该看哪一栏，取决于部署时面对的是哪个分布。
2. 「类别平衡变化也要估密度比」。 不用。 因为条件分布没变，密度比里的 p(x 给定 y) 上下约掉了， 只剩 p_te(y) 除以 p_tr(y)——一个只跟标签有关的常数。 这一节的权重是一张两行的查找表，不是一个函数。
3. 「加权会改变模型的形状」。 实测加权前后的边界从 +0.5654 挪到 -0.0781，但两类中心没动，加权后的边界正好落在中点。 样本复制只挪偏置，不改形状。 如果两类的协方差本来就不同，光靠加权是补不回来的——那得换模型。
4. 「测试先验可以随便估」。 整套方法的权重完全由 p_te(y) 决定。 估成 0.1 而实际是 0.5，边界会停在 +1.4751 附近，比不加权的 +0.5654 还偏。 这个数必须从业务或线上统计里拿准，不能拍脑袋。

第 18 章处理的是「一个任务，两个分布」。 还有一种情形：根本没有「一个任务」——手上同时有好几个相关但不同的任务，每个都有自己的数据， 而且都不多。 下一章要问的是：这些任务能不能互相借力。

• ☐ （本章完，下一节 19.1 19.1）

相关笔记

• 协变量移位下的迁移学习
• 最小二乘分类
• 学习的种类
• 🤖 图解机器学习 · 索引