📈 深入浅出数据分析
照着《深入浅出数据分析》(Michael Milton 著,李芳 译,O'Reilly 出品·电子工业出版社,英文原名 Head First Data Analysis)做的自学笔记 —— 这本书讲的不是软件操作,是一个数据分析师每天真正在做的判断:先把问题问对,再决定拿什么去比,然后判断这个差别是真的还是碰巧,最后把结论收成一句客户明天就能执行的话。七块节奏是「先学会想,再学会算」:想清楚问题 15 篇(1~2 章,分解数据、做实验)→ 找最优与看得见 12 篇(3~4 章,最优化、数据图形化)→ 判断真假 10 篇(5~6 章,假设检验、贝叶斯统计)→ 处理不确定 9 篇(7~8 章,主观概率、启发法)→ 建模与误差 15 篇(9~11 章,直方图、回归、误差)→ 存与理 12 篇(12~13 章,关系数据库、整理数据)→ 附录 4 篇(A/B/C,十大要诀、装 R、装 Excel 分析工具)。三句话:先问对问题,再打开数据,问题问错,算得再准也是白算;比较是破解数据的法宝,但比较必须公平,混杂因素和权重变化是让比较失真的两把刀;给区间,不给点,一个数看起来精确,其实是在替你不知道的事编一个值。教材 13 章加 3 个附录、234 个二级节,每节平均三页,按节成篇会碎成两百多篇,所以按主题合成 77 篇、篇号章内顺排(附录用 A.1/B.1/C.1)。沙箱是 Windows / Python 3.13(装了 numpy 2.5.2、matplotlib 3.11.1、openpyxl 3.1.5,标准库里还有 sqlite3、re、csv),没有 R、没有 Excel、没有 pandas/scipy/sklearn:77 个 Demo 分三层落地——能真算的真算(四则运算、加权平均、最小二乘、标准偏差、贝叶斯、均方根误差、线性规划顶点枚举、正则清洗、sqlite3 建表与 JOIN、openpyxl 造工作簿),抽机制复刻的换成本课自己的顶点枚举与 numpy 加 matplotlib(注明「复刻的是算法,不是那个软件」),平台原样的(R 与 RStudio 安装界面、Excel 菜单与插件勾选、Solver 对话框、数据透视表)标「本沙箱不执行」、步骤照写、只说形状不说结果。图由 matplotlib 画成真 PNG,图里的字一律用英文——这台机器没装中文字体。
内容来自我的 Obsidian 自学笔记 · 全书 13 章加 3 个附录、共 77 篇已全部写完 · 全书完结 🎉
第1章 数据分析引言
Acme 的委托:先把问题定下来
第一步是把模糊的委托问成一个能回答的问题
反馈、拆解与评估
把大问题拆成能对着数据回答的小组块,再逐…
分析从你介入的那一刻开始
分析从你介入那一刻就开始了,假设已经决定…
心智模型:你以为的世界
心智模型就是你脑子里那套「世界怎么运转」…
心智模型的盲区
心智模型必须写进你不知道的因素,否则只会…
深入挖掘数据
数据要挖到能推翻自己判断的那一层,才算挖…
回顾工作与英明的决策
分析的价值在于让客户做出一个和原来不同的…
第2章 实验
咖啡业的寒冬
观察数据只能看出相关,看不出因果
比较法是破解观察数据的法宝
比较法是破解观察数据的法宝
价值感与典型客户
典型客户是想出来的,价值感也是猜的
混杂因素登场
混杂因素:偷偷同时影响原因和结果的那个第…
情况更糟了
想分清因果,只能主动做实验改一个变量
控制组与一个月之后
控制组是实验的基准线,没有它就没法归因
真做一次实验
随机分组是唯一能把混杂因素平均掉的办法
结果与结论
实验照样会被混杂毁掉,只能靠设计挡住
第3章 最优化
浴盆玩具与约束条件
决策变量是你能拧的旋钮,约束是旋钮拧到头…
最优化问题与目标函数
目标函数就是把想要什么写成一个能求最大值…
约束条件与可行区域
每个约束画一条线,围出来的那块就是可行区…
新约束与电子表格
加上新约束,可行区域只会变小,不会变大
Solver 与跌穿地板的利润
线性规划的最优解一定落在可行区域的顶点上
校正假设
模型只描述你写进去的情况,假设变了最优解…
第4章 数据图形化
新军队与三份信息图
图形好不好不看漂亮,看它有没有让你做出正…
图形里藏着哪些数据
先问这张图想让我比较什么,再谈怎么画
数据多不是问题
数据多不是问题,选错了比较对象才是问题
正确比较是图形化的根本
同一张图里能同时比较的量越多,这张图越有…
多元图形
多元图形:把第三个变量编码成颜色、大小或…
让图形帮你思考
图形是用来思考的,不是用来交差的
第5章 假设检验
手机皮肤与已知信息
把「我猜是这样」写成一句能被数据否掉的话
分析与机密备忘录
数据只能否掉假设,永远不能证明假设
相关与网络
变量可以正相关也可以负相关,现实原因是网…
备选方案与手头资料
一个现象总有几个备选解释,先列全再动手筛
证伪与最强的假设
否定性最小的那个假设,就是当前最该相信的
第6章 贝叶斯统计
医生带来的恼人消息
医生说的准确率和你想问的「我真病了吗」不…
蜥蜴流感到底有多普遍
罕见病里,假阳性比真阳性多得多
条件概率与整数格
条件概率就是「已知 A 的前提下 B 的…
把贝叶斯规则用起来
用一万人里有多少个来算贝叶斯,比套公式清…
第二次试验与新的基础概率
每来一条新证据,就把上次的后验当作这次的…
第7章 主观概率
背水投资公司与专家信念
有些事没有频率可数,只能拿专家信念当概率
分歧真的存在吗
专家分歧可能只是分布的宽窄不同,不是中心…
标准偏差量度偏差
标准偏差量的是大家离平均值有多远
新闻来了,概率要改
新信息来了,用贝叶斯把旧信念往证据那边挪…
第8章 启发法
邂逅集的报告
有些量根本没法精确计量,故事就卡在这儿
计量不出来的垃圾
换个能测的代理指标,比硬造一个精确模型靠…
从直觉到最优化的桥梁
启发法是从直觉通往最优化的那座桥,不是偷…
更简单的评估方法
快省树:先问几个便宜的问题,把选项砍掉大…
提交与议员们的反应
能打动人的分析,用的是对方认得的语言
第9章 直方图
年度考评与历年加薪记录
一堆数先看形状,再算平均
直方图到底说明什么
直方图把每个区间落了多少个画出来,形状就…
在 R 里画一张直方图
区间宽度决定了你看见什么,换个宽度形状就…
子集与谈判回报
只看子集,形状可能完全不同
第10章 回归
加薪计算器
预测就是找一个能把 x 变成 y 的式子
散点图与一条直线
散点图看的是有没有一起变大的趋势
回归线能预测什么
回归线是让所有点的竖直距离平方和最小的那…
让 R 创建一个回归对象
回归只对数据覆盖的那段范围负责
算法就是那个方程
方程里的斜率就是多要一个点能多拿多少
第11章 误差
客户大为恼火
模型给的是点估计,客户要的是一句话的把握
外插法惹的祸
外插法:拿范围外的 x 去问模型,答案没…
机会误差
机会误差就是实际值和预测值之间那段距离
定量地指定误差
均方根误差把误差的典型大小压成一个数
分割是为了管理误差
分割数据是为了让每一段的误差都变小
分区模型与回头的客户
分区模型用更多参数换更小误差,代价是更难…
第12章 关系数据库
数据邦新闻要分析销量
多张表靠一个共同的键连起来,这就是关系
关系与那条贯穿的路线
从问题出发,找一条穿过各张表的路线
电子表格走到极限
电子表格只能摊平一次,关系一变就得重来
复制粘贴的痛苦
复制粘贴的代价是数据一改就全错
RDBMS、SQL 与封面
SQL 的 JOIN 就是沿那条路线把表…
第13章 整理数据
一份捡来的客户名单
脏数据的第一件事是看它长什么样,不是马上…
准备与组织
先把数据整理成一行一条记录,才谈得上分析
按分隔符拆成多列
分隔符决定了一行怎么切成几列
替换掉那些碍事的字符
批量替换要盯住模式,不要盯住单个字符
嵌套公式与正则表达式
嵌套公式能救急,正则表达式才是正路
sub 指令与交货
拆姓名这类活,先定规则再动手,否则越改越…
排序、去重与收尾
排序去重既是收尾,也是检查前面有没有做错…