波仔
🎬 第四章 音频基础
📄 一句话概括

十类任务其实可以归成两类：把音频变成别的（识别、检测），和把音频变成更好的音频（降噪、分离、超分）。

📝 本节和前面几节的关系

4.3.1 讲了思路的变化，这一节把落地的任务排开，方便日后对号入座。

一、先归成两类

十类任务看着杂，其实只按一条线就能分开：输出还是不是音频。 输出不是音频：识别、合成（文字输出）、声纹、情感识别、分类、声事件检测。 输出仍是音频：降噪增强、音源分离、音频超分、音乐生成。 这么一分，要挑技术路线时方向立刻清楚。

二、十类任务各自做什么

语音识别：声音 → 文字，用于听写、语音助手。 语音合成：文字 → 声音，用于朗读、配音。 降噪增强：带噪 → 干净，用于通话、录音修复。 声纹识别：声音 → 身份，用于登录、安防。 音乐生成：条件 → 音乐，用于配乐、创作辅助。 情感识别：声音 → 情绪，用于客服质检。 音频分类：片段 → 类别，用于打标签、检测。 音源分离：混合 → 多轨，用于扒伴奏、人声提取。 音频超分：低质 → 高质，用于老录音修复。 声事件检测：长音频 → 事件，用于安防、工业监测。

三、最容易混的两组

降噪 vs 音源分离：降噪输出一路干净音频；分离输出多路（人声、伴奏各一份）。 语音识别 vs 声纹识别：前者关心说了什么，后者关心是谁说的。 分不清这两组，选型时就容易把问题想错方向。

四、怎么挑任务

从两个问题开始：我手上有什么、我想要什么。 手上是一段带噪录音，想要干净人声——那就是降噪增强。 手上是一首歌，想要伴奏——那是音源分离。 把输入输出写清楚，任务基本就自动定了——剩下的才是选模型。

五、动手 Demo：音频深度学习的十类任务

十类任务的输入输出各不相同，排在一起看最清楚。

rows = [
    ("语音识别",   "声音 -> 文字",   "听写、语音助手"),
    ("语音合成",   "文字 -> 声音",   "朗读、配音"),
    ("降噪增强",   "带噪 -> 干净",   "通话、录音修复"),
    ("声纹识别",   "声音 -> 身份",   "登录、安防"),
    ("音乐生成",   "条件 -> 音乐",   "配乐、创作辅助"),
    ("情感识别",   "声音 -> 情绪",   "客服质检"),
    ("音频分类",   "片段 -> 类别",   "标签、检测"),
    ("音源分离",   "混合 -> 多轨",   "扒伴奏、人声提取"),
    ("音频超分",   "低质 -> 高质",   "老录音修复"),
    ("声事件检测", "长音频 -> 事件", "安防、工业监测"),
]
for a, b, c in rows:
    print("%-10s %-16s %s" % (a, b, c))

实跑输出：

--------------------------------------------------------------------
音频深度学习的十类任务
--------------------------------------------------------------------

  任务           输入 → 输出       典型应用
  --------------------------------------------------
  语音识别       声音 → 文字       听写、语音助手
  语音合成       文字 → 声音       朗读、配音
  降噪增强       带噪 → 干净       通话、录音修复
  声纹识别       声音 → 身份       登录、安防
  音乐生成       条件 → 音乐       配乐、创作辅助
  情感识别       声音 → 情绪       客服质检
  音频分类       片段 → 类别       标签、检测
  音源分离       混合 → 多轨       扒伴奏、人声提取
  音频超分       低质 → 高质       老录音修复
  声事件检测     长音频 → 事件     安防、工业监测

  十大任务其实可以归成两类：**把音频变成别的（识别、检测）**，
  和**把音频变成更好的音频（降噪、分离、超分）**。

十大任务其实可以归成两类：把音频变成别的（识别、检测）， 和把音频变成更好的音频（降噪、分离、超分）。

30 秒实验

  1. 挑一个你现在就想做的效果（比如扒伴奏、修老录音）。
  2. 写下它的输入与输出，判断属于哪一类任务。

常见误区

  1. 以为每一类任务都要自己训练模型。大多数场景用现成的就够。
  2. 把【音源分离】当成【降噪】。前者要分出多路，后者只要干净一路。
自测三问（点开对答案） 1. 十大音频任务可以归成哪两类？ —— 输出不是音频的（识别、检测）与输出仍是音频的（降噪、分离、超分）。 2. 音源分离与降噪的区别是什么？ —— 降噪输出一路干净音频，音源分离输出多路（人声、伴奏等）。 3. 怎么挑任务？ —— 先写清手上有什么、想要什么，定下输入输出，再选模型。

相关笔记