📊 图解大数据分析 · 目录

📊 图解大数据分析

照着《图解大数据分析》([日] 渡部彻太郎 著、戴凤智、张鸿涛、卢鹏 译,化学工业出版社,日文原名「図解! ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書」)做的自学笔记 —— 这本书只讲一件事:数据从产生到用上,中间要过哪几道手。剩下全是它的展开:数据为什么变多(第 1 章),系统分几段(第 2 章),一台机器撑不住怎么办(第 3 章),怎么从数据里找规律(第 4 章),数据怎么进来(第 5 章)、怎么存(第 6 章)、怎么用出去(第 7 章)、怎么管住它的来路(第 8 章)。四部分节奏是「先看全景,再拆零件,然后讲数据怎么流,最后讲怎么用」:系统全景 5 篇 → 分布式与机器学习 8 篇 → 数据的流动 8 篇 → 数据的出口 6 篇。三句话:系统的快慢由最慢那一段决定,先找瓶颈别急着换机器;搬和存比算贵,多数系统的成本压在磁盘和网络上,不在 CPU;能答什么问题,决定你在哪个阶段,不是数据量决定成熟度。教材 8 章 49 个二级节,每节平均四页,按节成篇会碎成近五十篇,所以按主题合成 27 篇、篇号章内顺排,每篇覆盖的教材小节在「覆盖原书」一栏逐条列出。沙箱是 Windows / Python 3.13:27 个 Demo 全部只用标准库、每一个都真跑,输出直接贴进正文;没有集群就明说测不了,不测毫秒,只测做了多少步、搬了多少字节。

内容来自我的 Obsidian 自学笔记 · 全书 8 章 27 篇已全部写完 · 全书完结 🎉

第1章 大数据分析概述

第2章 大数据分析系统的结构

第3章 分布式处理的基础知识

第4章 机器学习的基础知识

第5章 大数据的收集

第6章 大数据的积累

第7章 大数据的活用

第8章 元数据的管理