📘 图解人工智能
照着《图解人工智能》([日] 多田智史 著,[日] 石井一夫 审校,张弥 译,人民邮电出版社 · 图灵程序设计丛书,全彩 334 图)做的自学笔记 —— 它是 图解深度学习 的上一本、也是更宽的一本:那一本是竖着钻——从神经元一路钻到卷积核;这一本是横着铺——从 1950 年的图灵测试一路铺到 2020 年的物联网,十四块地,每块给一张图和一个能算的例子。两本对照着看,竖的那条线上每一节的「为什么」,在这里都能找到它的「从哪来」。全书四块 14 章 52 篇:从图灵测试到规则系统(第 1~2 章,这个名字怎么来的、三次热潮两次寒冬各因为什么起落、规则系统怎样用 IF-THEN 硬撑起专家系统和推荐引擎);搜索、最优解与概率(第 3~6 章,有限自动机和马尔可夫链、最小二乘在权重空间里找谷底、图的搜索和遗传算法、贝叶斯和 MCMC 把「不确定」写成分布);从机器学习到深度学习(第 7~9 章,无监督怎么聚类、有监督怎么分类、集成与强化、深度网络怎么一层层堆上去);感知、语言、知识与算力(第 10~14 章,图像和语音怎么被切成特征、句子怎么被解析成树、知识怎么被存成图和库、算力怎么被摊到上千张卡上)。本课是 原理课,Demo 全部手写算法、numpy 真跑:规则系统和推理机自己写前向链,状态机自己写转移表,最小二乘自己解法方程,遗传算法自己写选择交叉变异,贝叶斯和 MCMC 自己写采样,HMM 自己写前向算法,k-means 和 kNN 自己写距离矩阵,神经网络自己推链式法则。教材配的图一张没抄、代码一行没抄——书里的每个概念都重新用代码实现了一遍,输出数字也都是当场跑出来的。大白话、不跳步骤、必带生活比喻、常见误区、可折叠自测题。
内容来自我的 Obsidian 自学笔记 · 全书 14 章 52 篇已全部写完 · 全书完结 🎉
第1章 人工智能的过去、现在和未来
第2章 规则系统及其变体
规则系统
十五条规则认八个物种:前向链推 3 条…
知识库
19 条父子三元组、20 个人 5 代…
专家系统
六条规则五个病例:有痰加白细胞升高细菌感…
推荐引擎
5 乘 6 的 0/1 矩阵:内容法给…
第3章 自动机和人工生命程序
人工生命模型
512 种邻域只有 140 种下一代是活…
有限自动机
售货机 4 状态 3 动作 12 种组合…
马尔可夫模型
三态天气矩阵幂迭代 40 步到 0.46…
状态驱动智能体
20 乘 20 房间 120 个脏格:反…
第4章 权重和寻找最优解
线性问题和非线性问题
y=2x+1 加噪声:截距 0.9412…
回归分析
40 点真值 3+1.8x:斜率 1.7…
加权回归分析
30 点里塞一个 y=−20 的点:斜率…
相似度的计算
d2 是 d1 的两倍:余弦同为 0.9…
第5章 权重和优化程序
图论
八个点 12 条边:邻接矩阵 64 格填…
图谱搜索和最优化
30 乘 30、22% 墙、689 个空…
遗传算法
八维各用多峰函数(单维最高 3.6710…
神经网络
两个同心环 320 点(训练 220、测…
第6章 统计机器学习(概率分布和建模)
统计模型和概率分布
二项 B(10,0.3) 峰在 k=3…
贝叶斯统计学和贝叶斯估计
Beta(2,2) 先验加七正三反得 B…
MCMC 方法
Beta(2,5) 四万样本十档全落在抽…
HMM 和贝叶斯网络
四节点网络 9 个参数对联合 15 个…
第7章 统计机器学习(无监督学习和有监督学习)
第8章 强化学习和分布式人工智能
集成学习
400 点圆盘(半径 < 1.10 为正…
强化学习
5 乘 5 网格 21 个可站状态、84…
迁移学习
16 维、前 4 维有效;源任务 400…
分布式人工智能
数据并行八份加权平均对全量梯度最大分量差…
第9章 深度学习
多层神经网络
环数据 600 点(半径 0.30~0.…
受限玻尔兹曼机
4 可见 2 隐小模型配分函数 Z=12…
深度神经网络
1/2/4/8 个隐层的第一层梯度与输出…
卷积神经网络
8×8 输入 10 类,全连接 1040…
第10章 图像和语音的模式识别
模式识别
三类二维点每类 30 训练 25 测试…
特征提取方法
25 个像素 3 类各 40 训练 40…
图像识别
5 类 8 乘 8 点阵数字各 40 训…
语音识别
8000 赫兹采样,帧长 200 点(2…
第11章 自然语言处理和机器学习
句子的结构和理解
七条文法(S、NP、VP、PP 各自可递…
知识获取和统计语义学
12 句语料、30 个词;IDF「和」「…
结构分析
「结婚的和尚未结婚的」正向最大匹配切出「…
文本生成
20 句语料、51 个字;训练集困惑度…
第12章 知识表示和数据结构
第13章 分布式计算
分布式计算和并行计算
数 2 到 400000 的质数:串行…
硬件配置
512 乘 512 单精度矩阵乘 2.6…
软件配置
六个包 972 种版本组合只有 144…
机器学习平台和深度学习平台
40 个作业、8 张卡、共 540 卡乘…