波仔
☁️ 第三章 云计算改变了什么
📄 一句话概括

教材用 Hadoop 和机器学习举例说明"云让最新技术变得能用"，但 2026 年 Hadoop 那一套已经换过一轮——HDFS 换成对象存储、MapReduce 换成 Spark、YARN 换成 Kubernetes；换掉它的理由不是价格，是运维负担（自建要 1 个人，托管只要 0.2 个）；而机器学习则更彻底——从"买 GPU 机器"一路走到"调一个接口"，门槛从【买得起】变成了【用得起】。

📝 本节和前面几节的关系

上一节（3-12）讲的是"钱会漏在哪"。这一节换个角度：云让哪些过去买不起、装不起的技术变得可用了。

教材把它放在这里，是因为它是整章的一条收束线——前面讲的省时间（3-2）、省人力（3-7）、省成本（3-11、3-12），最终的意义都要落到"于是你可以用以前用不起的东西"上。而这一节的两个例子（Hadoop、机器学习）恰好覆盖了两种不同的情况：一个是"老技术被云换了实现"，一个是"新技术靠云才普及"。

一、教材讲的 Hadoop 五层，2026 各是什么

教材用 Hadoop 举例，是因为它当年是"大数据"的代名词——一个需要几十台机器才能跑起来的东西，云上可以按小时租。但到了 2026 年，这套东西本身已经换过一轮：

层次 Hadoop 时代 2026 主流
分布式存储 HDFS 对象存储（S3、OSS）
批处理计算 MapReduce Spark
交互式查询 Hive Trino、DuckDB
表格式 文件目录＋Metastore Iceberg、Delta Lake
资源调度 YARN Kubernetes

这张表的每一行都是"一个具体的软件换成了另一个"，但变化的方向只有一个：

从"存算绑定"变成"存算分离"。

Hadoop 的原始设计是计算和存储放在同一台机器上（数据节点既存数据也跑任务），这样读取快，但代价是——要更多存储就得加机器，而那些机器也带来了你不需要的算力；要更多算力也得加机器，那些机器也带来了你不需要的存储。 换到对象存储＋独立查询引擎之后，两边可以各自伸缩。

这就是本节第一个该带走的判断：云改变"最新技术"的方式，往往不是提供更快的芯片，而是把耦合在一起的东西拆开。

二、那 Hadoop 死了吗？准确的说法是

准确的答案比"死了"或"活着"都复杂，值得单独说清：

所以正确的表述是：Hadoop 从"默认选择"变成了"存量系统"。 这个区分很重要，因为它决定你该学它还是该绕开它——维护存量系统的工作需要它，新项目不需要它。

三、换掉它的理由，是运维负担而不是价格

很多人会以为换掉 Hadoop 是因为云上更便宜。但真实情况是：云上不一定更便宜，尤其在数据量很大的时候（存储是常年付费的）。真正换掉它的理由是运维负担。

运维事项 自建 Hadoop 集群 云上托管
装与扩容 手工加节点、改配置 改个数
版本升级 停集群、滚动升级 云商侧做
故障换盘 批量换、等数据重建 无感
调参 JVM、Shuffle、内存 多数不用管
值守 要有人守着 基本不用

这五行说的是同一件事：自建集群需要一支专门的队伍来"养"它。 规模小的时候，这支队伍是"半个兼职"；规模大的时候，就是一个专职团队。

按最基本的人力算：自建维护约 1.0 人（30 万/年），托管约 0.2 人（6 万/年）——一年省 24 万。 而这 24 万只是"人"这一项，还不算培训、值班、故障期间的业务损失。

所以这一节的结论可以这样表述： 自建大数据集群的成本里，最贵的一项不是机器、不是软件许可，是"得有人一直养着它"。 而云托管把这项最贵的部分拿走了——这就是"最新技术变得可用"的真正含义。

四、机器学习：从"买机器"到"调接口"

如果说 Hadoop 的例子讲的是"老技术被换了实现"，那机器学习的例子讲的是另一件事：一项技术靠云才真正普及开。

做法 要准备什么 从想到能跑
自建 GPU 机器训练 买卡、装驱动、配框架 几周~几个月
租云上 GPU 选卡型、起实例 几小时
用托管训练平台 上传数据、选算法 几分钟
直接用现成模型接口 注册、拿密钥、调接口 几分钟

这四行是一条清晰的下台阶：

这条下台阶的顺序说明了一个规律：云对一项技术的普及作用，是一级一级地把前置工作拿走。 而每一级拿走的，都恰好是"和业务无关的那部分"——装卡、配环境、调框架，这些活不会让模型更准，只是入场费。

所以本节最后一句话是这样： 云把"用最新技术"的门槛，从【买得起】改成了【用得起】。 一字之差，差的是这件事从资本问题变成了能力问题。

五、动手 Demo：人力账

# 自建集群 vs 云托管：人力账（单位：万元/年）
self_ops = 1.0 * 30
cloud_ops = 0.2 * 30
print("自建维护 1.0 人 = %.1f 万/年" % self_ops)
print("云上托管 0.2 人 = %.1f 万/年" % cloud_ops)
print("省下 %.1f 万/年" % (self_ops - cloud_ops))

实跑输出：

==================================================================================================
D13 最新技术的运用：Hadoop 那一套，2026 已经换过一轮
==================================================================================================
  【一】教材讲的 Hadoop 五层，现在各是什么

  层次                  Hadoop 时代             2026 主流
  ------------------------------------------------------------------------------
  分布式存储            HDFS                    对象存储（S3、OSS）
  批处理计算            MapReduce               Spark
  交互式查询            Hive                    Trino、DuckDB
  表格式                文件目录＋Metastore     Iceberg、Delta Lake
  资源调度              YARN                    Kubernetes

  【二】那 Hadoop 死了吗？准确的说法是
     · Hadoop 3.5 仍在维护（2026-04 发布），没有停止开发。
     · 但 2026 年从零新建的数据平台，几乎不再选它当地基。
     · 还留在 Hadoop 上的四类：数据不许出网的受监管行业、
       已有 PB 级历史数据的公司、迁移成本大于收益的老用户、政府与电信。

  【三】换掉它的理由，是运维负担而不是价格

  运维事项                    自建 Hadoop 集群          云上托管
  ------------------------------------------------------------------------------------
  装与扩容                    手工加节点、改配置        改个数
  版本升级                    停集群、滚动升级          云商侧做
  故障换盘                    批量换、等数据重建        无感
  调参                        JVM、Shuffle、内存        多数不用管
  值守                        要有人守着                基本不用

  人力账                      1.0 人 = 30.0 万/年       0.2 人 = 6.0 万/年
  省下                                                  24.0 万/年

  【四】机器学习：从【买机器】到【调接口】

  做法                      要准备什么                  从想到能跑
  ------------------------------------------------------------------------------------
  自建 GPU 机器训练         买卡、装驱动、配框架        几周~几个月
  租云上 GPU                选卡型、起实例              几小时
  用托管训练平台            上传数据、选算法            几分钟
  直接用现成模型接口        注册、拿密钥、调接口        几分钟

  【五】结论
     云把【用最新技术】的门槛，从【买得起】改成了【用得起】。

读这个输出：第二段那三条是关于 Hadoop 最该记住的三句话——它仍在维护，但不再是新项目的默认选择，而留在上面的四类各有各的具体理由。记住"四类理由"比记住"死没死"有用得多，因为它能帮你在真实场景里判断：是在维护存量（那就学它），还是在做新项目（那就绕开）。

第四段那张表最值得对比的是第一行和最后一行：从"买卡、装驱动、配框架"到"注册、拿密钥、调接口"——中间那堆准备工作整个消失了。这一段就是本节标题"最新技术的运用"最直接的注解。

六、⚠️ 2026 现状

30 秒实验

打开任意一家云服务商的产品列表，搜三个词：「数据仓库」、「机器学习」、「容器」。

  1. 看它返回多少个产品——你会发现每一类下面都不止一个产品，而且很多产品之间是可以替代的关系。
  2. 随便点开其中两个同类产品，看它们的定位描述有什么不同（一般是"适合什么场景"）。

做完这两步，你会对"名字比能力多得多"这件事有具体感受——这正是 3-10 讲的"先记能力再记名字"为什么值得坚持。而这也是本节的第一张表想说的话：层次是固定的五层，每层里可以有无数个名字。

常见误区

  1. 错误：Hadoop 已经过时了，不用学。——纠正：这取决于你要进哪个行业。Hadoop 在 2026 年仍在维护、仍在加新功能，而且在金融、电信、政府这些行业里是现役系统——只要那些系统还在跑，就需要有人懂它。准确的做法是分清"新项目"和"存量系统"：做新项目用湖仓那套，维护存量系统需要 Hadoop 知识。 一句话：它不是过时，是退到了特定的位置。

  2. 错误：用云上的托管服务就"不用管"了。——纠正：要管的变少了，但没归零。Demo 里托管是 0.2 个人，不是 0 个人——那 0.2 个人管的是"数据怎么组织、任务怎么调度、成本怎么控制"，而不是"机器好没好"。所以托管拿走的恰好是"和业务无关的那部分"（装、扩容、换盘、调参），留给你的恰好是"和业务有关的那部分"。 这个划分很合理，但意味着你的责任没有消失。

  3. 错误：既然门槛降低了，那用最新技术就没有成本了。——纠正：门槛降低的是"入场费"，不是"持续成本"。Demo 里机器学习的四行说的是"从想到能跑"的时间——它没有说"跑起来之后要花多少钱"。实际上 AI 负载在 2026 年恰恰是成本最不可控的一块（3-12 有具体说明）。所以正确的判断方式是：先用低成本的方式验证可行性，再评估规模化之后的持续成本。

  4. 错误：换掉 Hadoop 是因为它性能不行了。——纠正：换掉它的理由主要是运维负担，不是性能。Demo 的第三段列的五件事（扩容、升级、换盘、调参、值守）全是运维动作，没有一条是性能问题。实际上 Hadoop 的核心设计思想（把数据摊在磁盘上、把计算分发过去、用元数据抽象）至今仍是所有分布式数据系统的基础——只是实现它的具体软件换了。

自测三问（点开对答案） 1. 为什么说"云改变最新技术的方式，往往是把耦合的东西拆开"？ —— 因为**很多技术之所以"贵且难用"，根源在于它把几个本可以独立的组件捆在了一起**。Hadoop 就是典型：**存和算绑在同一台机器上，于是扩容时两边一起加，多出来的那部分就成了浪费**。拆开之后（对象存储 ＋ 独立查询引擎），**两边各自按需伸缩，于是"小规模用"变得可行**。**这也解释了为什么"用得起"往往来自解耦，而不是来自更强的单机。** 2. 判断"该不该学 Hadoop"，最实用的标准是什么？ —— 是**你要进的是"新项目"还是"存量系统"**。做新项目（新的数据平台、新的分析系统）**默认选湖仓那套**，学 Hadoop 的性价比不高；**而如果你进的行业是金融、电信、政府，或者要接手已有的数据平台，那 Hadoop 知识是必需的**——因为那些系统的运行年限以十年计，不会因为你换了偏好就消失。**换句话说：这不是一个技术优劣问题，是一个"你的工作对象是什么"的问题。** 3. 机器学习那张四行表，为什么最后一行反而是门槛最低的？ —— 因为**它把"训练"这件事也拿走了**。前三行都还要你自己做训练（只是环境和卡越来越省事），**而最后一行直接用别人已经训好的模型**——于是你的工作从"训练一个模型"变成了"调用一个接口"。**这件事的意义在于：它让"用 AI"和"造 AI"分成了两件事**，**前者只需要会调用，后者才需要 GPU 和框架知识**。这个分家的结果是使用者数量大幅扩大——**这就是本节说的"从买得起变成用得起"的具体表现。**

相关笔记