一、三次浪潮，两次寒冬

1956 年，达特茅斯会议上约翰·麦卡锡第一次把「人工智能」当成一个学科名提出来。 那时候的想法很直接：智能就是推理，把逻辑规则写全，机器就会思考。 第二年罗森布拉特做出感知机，能靠数据自己调权重认简单的图形。报纸当时说「会思考的机器即将诞生」。 这是第一次浪潮。 1969 年明斯基和佩珀特出了一本书，证明单层感知机连「异或」都学不会。 加上算力不够、数据没有，钱撤了。这是第一次寒冬，冷了差不多十年。 1980 年代专家系统回来了——把领域专家的判断写成几千条 if-then 规则，在医疗诊断、 设备配置这些窄领域真能用，甚至救过人命。这是第二次浪潮。 1987 年专用硬件市场崩了，专家系统的毛病也暴露干净：规则写不完、写完了改不动、 换个场景全部作废。第二次寒冬。 再往后是 1997 年深蓝赢卡斯帕罗夫、2000 年代统计学习上位。 这两次都算「稳定爬坡」，没有再崩——因为方法从「写规则」换成了「从数据里拟合」。

二、把最近这段压成一条曲线

2012 年 AlexNet 在图像识别比赛上把错误率从 26.2% 打到 15.3%，第二名用的是传统方法。 这一下所有人转向了神经网络。 之后的事可以读成一串参数：2018 年 GPT-1 一亿一千七百万，2019 年 GPT-2 十五亿， 2020 年 GPT-3 一千七百五十亿。两年涨了 1495 倍，折算下来每年 116.7 倍。 同期摩尔定律是每 18 个月翻一倍，也就是每年 1.59 倍。差了七十多倍。 所以那两年「模型越来越强」的速度，不是硬件进步能解释的——是大家开始拿钱直接堆。 然后画风变了。2020 到 2023 这三年，参数只涨了 10.3 倍，折算每年 2.17 倍。 2024 年 DeepSeek-V3 的总参数甚至比传闻中的 GPT-4 还少。 这不是竞赛停了，是换了拼法：不再堆参数，改成拼数据质量、拼训练方法、 拼架构（MoE 每次只激活一部分参数）。第二段的斜率低，但能力强得多。

三、为什么是这十年：三个条件同时到位

算力。 2012 年之后大家发现 GPU 能并行算矩阵乘，同样一笔钱买到的浮点运算量比 CPU 高一个量级。 没有这个，再好的算法也跑不动。 数据。 互联网把人类写下来的东西变成可读的文本，ImageNet 这样的人工标注数据集也建起来了。 没有数据，神经网络就是一堆调不动的随机数。 算法。 反向传播（1986 年就有）、ReLU 激活、Dropout、批归一化，还有 2017 年的 Transformer。 这些让「很多层的网络」真的能训得动，而不是一深就梯度消失。 三个条件缺一个都不成。 八十年代专家系统失败，不是因为想法错， 是因为数据和算力都还不到位——它只能靠人把知识一条条敲进去。 这也是训练师这个岗位出现的时间点：条件齐了之后，瓶颈从「算法能不能跑」变成了「数据够不够好、 模型调得对不对」。后面所有章节都在干这件事。

四、动手 Demo：五个模型，四段区间，看斜率怎么从 116 倍掉到 2 倍

取五个公开可查的参数规模（GPT-4 那个是业界估计，不是官方数字），算相邻两点之间的年增速， 再和摩尔定律比一比。最后用同一张表说明「规模定律」其实是一族曲线，不是一个公式。

pts = [(2018, 117e6), (2019, 1.5e9), (2020, 175e9),
       (2023, 1.8e12), (2024, 671e9)]
for i in range(len(pts) - 1):
    y0, p0 = pts[i]
    y1, p1 = pts[i + 1]
    yrs = float(y1 - y0)
    total = p1 / p0
    per = total ** (1.0 / yrs)      # 折成每年翻几倍
    print(y0, y1, total, per)

print('摩尔定律每年', 2 ** (12 / 18.0))
for mult in (1, 10, 100, 1000):
    print(mult, mult ** 0.07, mult ** 0.34, mult ** 0.5)

实跑输出：

--------------------------------------------------------------------
规模竞赛分两段：先每年翻上百倍，后来每年只翻两倍
--------------------------------------------------------------------
  年份   模型            总参数   log2(参数)   来源
  ------------------------------------------------------------
  2018   GPT-1             1 亿        26.80   公开
  2019   GPT-2            15 亿        30.48   公开
  2020   GPT-3          1750 亿        37.35   公开
  2023   GPT-4         18000 亿        40.71   未公开，业界估计
  2024   DeepSeek-V3    6710 亿        39.29   公开，MoE 总参数

  区间        年数   总倍数   折成每年
  -----------------------------------
  2018→2019      1     12.8      12.82
  2019→2020      1    116.7     116.67
  2020→2023      3     10.3       2.17
  2023→2024      1      0.4       0.37

  2020→2023 的每年增速     2.17 倍
  摩尔定律（18 个月翻倍）  1.59 倍／年

  两段完全不是一回事。2018 到 2020 是**堆参数**：两年涨了一千四百多倍，折算下来每年上百倍。2020 之后增速掉到每年两倍上下，甚至 2024 年 DeepSeek-V3 的「总参数」比 GPT-4 还少。
  这不是规模竞赛停了，是**换了拼法**：参数不再狂堆，改成拼数据质量、拼训练方法、拼架构（MoE 只用一部分参数算）。
  还要说清一件事：GPT-4 那个 1.8 万亿是传闻，官方从没公布过，所以上面这几行的**绝对值都不可靠**，可靠的是两段的**趋势差**。

  规模涨上去，能力怎么涨？按公开的缩放规律粗算（同一个倍数，三种指数给三种答案）：
  参数倍数   指数 0.07   指数 0.34   指数 0.5
  ------------------------------------------
        ×1         1.0         1.0        1.0
       ×10         1.2         2.2        3.2
      ×100         1.4         4.8       10.0
     ×1000         1.6        10.5       31.6
  同样把参数翻 1000 倍，按 0.07 只涨六成，按 0.5 涨 31 倍。**「规模定律」不是一个数，是一族曲线**，取决于测什么能力、用什么数据。谁给你一个精确的「参数量＝分数」公式，谁就是在骗你。

四段区间的年增速分别是 12.82、116.67、2.17、0.37。 最高和最低差了三百多倍——这就是「分两段」这个说法的来源。 最后那个 0.37 是负增长，因为 DeepSeek-V3 那行取的是「总参数」，而 GPT-4 的数是传闻。 口径不同不能直接比，所以这一行只能当「量级参照」，不能当「参数变少了」的证据。 最后张表更值得看：同样把参数翻一千倍，按 0.07 的指数只涨六成，按 0.5 涨 31 倍。 「参数翻倍，能力翻倍」这种线性直觉是错的，而且错的方向取决于你测什么。 必须提醒一句：这些指数是从不同论文的不同任务上摘的近似值，不能拿来预测你的具体任务。 它们的用处是让你对「量级」有感觉，不是拿来算分的。

30 秒实验

1. 把 GPT-4 那个估计值从 1.8 万亿改成 1 万亿， 看 2020→2023 那段的年增速从 2.17 变成多少——你会发现结论（「掉到个位数」）不变，只是数字变了。 传闻数据影响精度，不影响趋势。
2. 算一下：如果按 2019→2020 那段的 116 倍继续跑，2024 年该有多少参数？ 答案是 10 的 20 次方量级，比地球上所有的存储加起来还多。 这本身就是「第一段不可能持续」的证明。
3. 把摩尔定律的 18 个月改成 24 个月重算，看那条对比线怎么变——结论仍然是「差几十倍」， 因为分母的变化赶不上分子的量级差。

常见误区

1. 「人工智能是这几年突然出现的」。学科名 1956 年就有了，神经网络的核心算法 1986 年就有了。 变的是算力和数据，不是想法。
2. 「参数越多越强」。2020 年之后参数增速掉到每年两倍，能力反而涨得更快。 规模定律给的是「怎么分配算力」，不是「越大越好」。
3. 「专家系统失败了，所以符号主义是错的」。它失败在「知识要靠人一条条敲」，这条路的成本降不下来。 今天的大模型换了个办法：知识从数据里自己长出来。

历史讲完了，下一节进正题：这套东西到底在「学」什么？为什么一台机器能靠一堆点找出规律。

• ☐ （本节完，下一节 1.1.3 人工智能的核心逻辑是什么）

相关笔记

• 🧠 AI训练师手册2 · 索引