📊 图解大数据分析
照着《图解大数据分析》([日] 渡部彻太郎 著、戴凤智、张鸿涛、卢鹏 译,化学工业出版社,日文原名「図解! ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書」)做的自学笔记 —— 这本书只讲一件事:数据从产生到用上,中间要过哪几道手。剩下全是它的展开:数据为什么变多(第 1 章),系统分几段(第 2 章),一台机器撑不住怎么办(第 3 章),怎么从数据里找规律(第 4 章),数据怎么进来(第 5 章)、怎么存(第 6 章)、怎么用出去(第 7 章)、怎么管住它的来路(第 8 章)。四部分节奏是「先看全景,再拆零件,然后讲数据怎么流,最后讲怎么用」:系统全景 5 篇 → 分布式与机器学习 8 篇 → 数据的流动 8 篇 → 数据的出口 6 篇。三句话:系统的快慢由最慢那一段决定,先找瓶颈别急着换机器;搬和存比算贵,多数系统的成本压在磁盘和网络上,不在 CPU;能答什么问题,决定你在哪个阶段,不是数据量决定成熟度。教材 8 章 49 个二级节,每节平均四页,按节成篇会碎成近五十篇,所以按主题合成 27 篇、篇号章内顺排,每篇覆盖的教材小节在「覆盖原书」一栏逐条列出。沙箱是 Windows / Python 3.13:27 个 Demo 全部只用标准库、每一个都真跑,输出直接贴进正文;没有集群就明说测不了,不测毫秒,只测做了多少步、搬了多少字节。
内容来自我的 Obsidian 自学笔记 · 全书 8 章 27 篇已全部写完 · 全书完结 🎉
第1章 大数据分析概述
数据为什么突然变多
数据变多是因为网络普及,非结构化数据撑爆…
大数据系统的三段路
收集、积累、活用三段,一段不通就全不通
三个角色与工程价值
业务、分析、工程三个角色,工程负责把实验…
第2章 大数据分析系统的结构
第3章 分布式处理的基础知识
先找瓶颈
系统慢只有一个原因:某一种资源先满了
瓶颈之外:内存与隐形卡顿
内存不够会换页,资源都不满也可能在等锁
存储、计算、网络:三个瓶颈三个解法
存储靠分片、计算靠并行、网络靠少搬数据
谁来调度:资源管理器与开发方式
资源管理器决定谁先跑,三种开发方式各有代…
第4章 机器学习的基础知识
机器学习就是找一个函数
机器学习就是拿数据把函数里的参数调出来
学习的三步:准备、建模、上线
准备、训练、上线;训练误差降不代表模型好
深度学习:火种从哪来
深度学习赢在能自己造特征,代价是要数据和…
工具与分工
工具选型看团队,工程时间大半花在数据上
第5章 大数据的收集
批与流:两种收集
批是攒够再算,流是来一条算一条
从文件和数据库里取数
文件靠格式约定,数据库靠 SQL 或更新…
API、ETL 与自研
API 要处理分页和限流;ETL 省事…
流数据与分布式队列
队列是缓冲,生产快过消费就会堆起来
数据结构会变
数据长出新字段,下游代码要能扛住
第6章 大数据的积累
数据池与分析型数据库
分析型库为扫全表而生,操作型库为改一行而…
列式存储为什么快
列存只读要用的列,同类值放一起还压得动
分析型数据库怎么选
选型看数据量、延迟、成本、团队四件事