🎬 FFmpeg入门详解——音视频原理及应用
照着《FFmpeg入门详解——音视频原理及应用》(梅会东 编著,清华大学出版社,2022-08,全书 212 页)做的自学笔记 —— 这本书回答一个问题:一段声音、一帧画面,凭什么能被压到几十分之一大,还能放回来听着看着不走样?全书 11 章 124 篇:从编程修行与方向选择讲起,认识音视频产业与多媒体,把 VLC/MediaInfo/FlvAnalyser/码流分析/FFmpeg 命令行这些常用工具过一遍,再扎进音频基础(采样量化、音频处理、重采样、压缩编码)与视频基础(像素色彩空间、封装、编码原理、播放器架构、转码),最后是压缩编码基础(预测/变换/量化/熵编码、I/P/B 帧、运动估计、GOP、DTS/PTS)与三代标准(MPEG-x/H.26x、H.264、AAC、H.265)。这是「FFmpeg 音视频流媒体系列」的第一部,也是后续流媒体直播与音视频开发的底座。本课是原理课——不需要真的装 FFmpeg 也能读完;各篇「动手 Demo」都是在沙箱里真跑过的 Python 小脚本(采样率与码率换算、色彩空间转换、帧类型与 GOP 结构模拟等),书里的 FFmpeg 命令行与工具操作用【📋 实操路径】单列。教材成书于 2022 年(讲 H.264/H.265/AAC 这批已普及标准),凡与现状不同处各篇用【⚠️ 2026 现状】单列。大白话、不跳步骤、必带生活比喻、常见误区、可折叠自测题。
前置课程:计算机网络(数据怎么从一端走到另一端)、编程原理(编程全貌课)。
内容来自我的 Obsidian 自学笔记 · 全 11 章 124 篇 · 共 124 篇完结 ✅
第一章 编程之美与内功修为
编程修行之路
修行的分界线不在学了多少,而在自己动手做…
选好发展方向
方向没有好坏只有权重:同一组分数把【先求…
从小白到大牛的炼钢之路
炼钢=回火:学一遍 30 天忘光、复习两…
第二章 音视频入门
5G+将推动音视频行业高度融合发展
5G 送来的是延迟而不是带宽:跨过 50…
音视频产业将迎来新的商机
判断赛道先算复合增长率:年增 20% 以…
未来音视频产业发展的新转变
三个转变的共同点:流量从单向大水管变成双…
自学音视频的困惑
困惑多半不是学不会,是没给动手做留出那…
视频
视频就是连续播放的图片:一分钟原始 10…
音频
数据量由采样率×位深×声道数决定:采样率…
音视频编码
编码把数据压掉 99% 以上(实测约 1…
音视频容器
容器是盒子、编码是里面的东西;换容器很快…
媒体
媒体分五种:感觉/表示/表现/存储/传输…
多媒体
不是多种文件堆一起就叫多媒体:缺了交互性…
多媒体技术
采集、压缩、存储、传输、呈现五块拼图;F…
多媒体的应用领域
同一套技术换场景就换权重:娱乐能容忍重缓…
数字电视简介
不是画质更好的电视,是信号换了形态——最…
数字电视的发展历程
四个节点一条规律:每次标准更新,都是为了…
数字电视的基本原理
采样、量化、编码三步;采样点涨 20 倍…
数字电视的分类
按传输方式(DVB-T/C/S、IPTV…
数字电视的优点
六条里前三条是本职、后三条是意外收获:变…
数字电视的相关技术
七环技术链:采集、编码、复用、调制、解码…
短视频的简介
15 秒竖屏压掉 99.7% 的数据;这…
短视频的特点
短、竖、快、互动——对技术最狠的是【快】…
短视频带货
五步漏斗累计转化 0.36%;技术只守第…
第三章 音视频开发常用工具
VLC播放器
【什么都能放】是一个能数出来的规模:容器…
VLC的功能列表
它不是播放器而是工具箱:播放/转码/串流…
VLC播放网络串流
前缀只说明协议,真正决定延迟的是切片与缓…
VLC作为流媒体服务器
流媒体服务器的根本作用:一次读取、多次分…
MediaInfo
拿到陌生文件的第一件事:输出分容器/视频…
MediaInfo使用方法
界面、命令行文本、命令行 JSON 三种…
MediaInfo参数说明
六个必看参数;读的诀窍不是全看懂,而是只…
FLV简介
结构极简:9 字节头加一串 Tag;每个…
FlvAnalyser
把 Tag 按时间列出就能看出流的节奏…
简介
MediaInfo 看文件、码流分析看帧…
功能列表
六项能力对应六个侧面:帧级列表/GOP/…
FFmpeg
不是程序而是一堆库:format 管进出…
FFmpeg命令行
三条命令覆盖日常;-c copy 最省时…
FFmpeg开发包
做二次开发先想清楚站在哪一环再挑库;几乎…
第四章 音频基础
声音和音频
声音是振动:频率→音调、振幅→响度、波形…
数字音频
采样→量化→编码三步;CD 音质一分钟…
音频采集
换能、放大、模数三环;两条规律=人声不必…
音频处理
每项处理都在改一个量;增益超过 1.0…
音频使用场景及应用
四类场景参数差很远;只有【音乐欣赏】对延…
音频格式
先分有损无损再比码率;要留底选无损、要传…
混音技术
相加会溢出:限幅丢波形、缩放降整体,专业…
音频重采样
44.1 转 48 kHz=147:16…
音频压缩
无损天花板约 2 倍、有损可到 20 倍…
音频编码
六步流程;只有第四步量化真正丢信息,前面…
音频编码基本手段
子带/感知/预测/熵编码四类;感知编码利…
音频编码算法
MP3 兼容/AAC 音质/AC-3 多…
音频深度学习的简介
从假设规律到从数据学规律;代价是数据、算…
十大音频处理任务
十类任务归两类:把音频变成别的、把音频变…
第五章 视频基础
图像与像素
像素数=宽×高,按边长之积增长;720p…
色彩空间
RGB 换成 YUV:4:2:0 每像素…
数字视频
数据量=一帧大小×帧率;1080p30…
视频的基础概念
五个参数;前四个决定多大,关键帧间隔决定…
视频格式
扩展名只是盒子;同一后缀下编码可以完全不…
数据封装和解封装
一进一出都不碰编码;换容器与换编码耗时差…
音视频的封装
两条流靠时间戳对齐;PTS 管显示、DT…
封装格式
MP4 通用/MKV 能装/TS 与 F…
视频编码基础知识
四类冗余;时间冗余最值钱——相邻帧差别不…
视频压缩
H.264 压约 187 倍、H.265…
视频编码原理
五步流程;比音频只多一步预测,压缩比却高…
视频编码的关键技术
六项技术;环路滤波决定画面有没有方块感
视频编解码流程
解码倒着走;反量化不是逆运算,丢掉的补不…
视频播放器简介
四环节;症状不同方向不同,先判断卡在哪一…
FFmpeg播放架构与原理
四步走;包是压缩的、帧是解压的,链路就在…
VLC播放原理
五个模块可插拔;这就是它什么都能放的工程…
现代播放器架构
应用层/播放核心/渲染层;换渲染不动业务…
视频转码
转封装 1 倍、转码 50 倍;先问改的…
非线性编辑
时间线上素材不动;只有导出才真正耗算力
短视频技术
竖屏、短、快、字幕、音乐;首帧即封面
第六章 音视频压缩编码基础
音视频压缩编码
总纲:压缩是本质需求,不是可选优化
无损压缩
一点不丢;天花板约 2 倍,靠的是冗余
有损压缩
允许丢;丢的是人耳人眼感知不到的部分
预测编码
不传值只传差;残差小,后面才压得动
变换
DCT 把能量挤到左上角,让量化一刀切得…
量化
唯一真正丢信息的环节;步长定画质与码率
熵编码
霍夫曼短码给高频符号;无损收尾,不再丢东…
帧内编码
只靠本帧;四种预测方向,压得少但能当落脚…
帧间编码
用时间冗余;压缩比拉到十倍以上
运动矢量
块往哪挪了几个像素;两个数字换一整块
运动补偿
分块、匹配、算矢量、搬像素;四步走
双向预测
前后都能参考;压缩更高,代价是要等、要重…
I/P/B/IDR帧
三类帧各管什么;I 与 IDR 差在能不…
GOP详细讲解
关键帧间隔=拖得动与压得小的取舍
DTS和PTS详细讲解
显示顺序与解码顺序不是一回事,B 帧就是…
第七章 音视频编解码原理与标准
视频编码原理
预测—变换—量化—熵编码;编码端要搜索…
视频采集原理
源头不压缩;4K60 原始就好几个 Gb…
音频编码原理
用不上时间冗余,靠听觉掩蔽;无损卡 2…
ITU/ISO/JVT
ITU-T 管实时、MPEG 管存储;2…
MPEG-x系列
五个编号只有三个管编码;MPEG-7/2…
H.26x系列
H.261 立骨架到 H.265 再砍半…
第八章 音视频编解码技术与流程
视频编码简介
六个模块;只有量化丢信息,其余是换表示或…
视频编码流程
流水线+重建反馈支路;耗时六成以上在运动…
I/P/B帧编解码技术
显示/编码/解码三个顺序;P 帧必须抢在…
I/P/B帧的特点
两问定类型;B 帧不被别人参考,错误不穿…
I/P/B帧的基本流程
重排序缓冲;PTS 管显示、DTS 管解…
帧内与帧间编码
一对镜像:压得少但断得干净 对 压得多但…
帧内编码流程
五步;1080 不是 16 的倍数,按…
块与宏块
16×16 是经典宏块;现代标准改成可变…
运动估计和运动补偿
ME 负责找、MC 负责搬;全搜索一帧…
MPEG-1音频编码
三层;MP3 是第三层,不是【MPEG-…
MPEG-2音频编码
BC 求兼容、AAC 求效率;历史证明后…
MPEG-4音频编码
LC → HE v1 加 SBR → H…
AC-3音频编码
5.1 声道、DVD 常用 448 kb…
第九章 H.264编解码基础
视频压缩编码的基本技术
六项技术在 H.264 里各自的形态;没…
H.264的句法元素
五层组织:SPS/PPS/片/宏块/子块…
VCL与NAL
VCL 管压得小、NAL 管装得进;编码…
档次与级别
档次管能用什么工具、级别管能跑多大;10…
X264与JM
JM 是看得懂的实现、x264 是用得上…
H.264编解码简介
六项改进;砍半主要来自作用在预测上的前三…
H.264编解码流程
两条反向流水线;两处不对称=搜索与重建
H.264的帧内预测编码
4×4 九种方向+16×16 四种;DC…
H.264的帧间预测编码
七种分块/1-4 像素/最多 16 参考…
H.264分层结构
五级骨架;片是独立解码单元,提供丢包边界
H.264码流结构
起始码+SPS/PPS/IDR;防止竞争…
H.264的NAL Unit
NAL 头一字节三字段;类型 7=SPS…