语音降噪经典特征

Author: wqw547243068

_posts/2020-09-17-voice-detection.md

@@ -247,7 +247,7 @@ permalink: /voice
 
 [百应Voicebot：开放的全双工智能语音对话机器人](https://it.gmw.cn/2018-11/29/content_32070680.htm)
 
-## 二、语音识别的基本原理
+## 二、语音识别基本原理
 
 ### 1、本质
 
@@ -382,7 +382,7 @@ permalink: /voice
 - 语言模型是使用大量的文本训练出来的，可以利用某门语言本身的统计规律来帮助提升识别正确率。
 - 语言模型很重要，如果不使用语言模型，当状态网络较大时，识别出的结果基本是一团乱麻。
 
-## 四、语音识别的工作流程
+## 四、语音识别工作流程
 
 ![](https://pic3.zhimg.com/80/v2-6016afa63963c5eb5dc2702aec1ed68b_720w.jpg)
 
@@ -419,7 +419,7 @@ permalink: /voice
 
 ### 2、特征提取
 
-主要算法有`线性预测倒谱系数`（LPCC）和 `Mel倒谱系数`（MFCC），目的是把每一帧波形变成一个包含声音信息的多维向量。
+语音降噪（Speech Denoising）时，选择合适的特征至关重要。不同特征在去除噪声、保持语音质量和提高模型性能方面各有优势。
 
 #### 1）原理
 
@@ -445,6 +445,114 @@ permalink: /voice
 
 简单的说，经过梅尔倒谱分析，得到的参数更符合人耳的听觉特性。
 
+
+### 特征汇总
+
+【2025-3-30】[语音降噪经典特征](https://mp.weixin.qq.com/s/DfFQp2TeLHM0WLo2afqqQQ)
+
+常用语音特征及其适用场景：
+1. 传统**频域**特征：`梅尔频谱`（Mel Spectrogram）、`梅尔频率倒谱系数`（MFCC）、`语谱图`（Spectrogram）
+2. **时域**特征：`语音波形`（Raw Waveform）
+3. 其他增强特征：`伽马通滤波能量`（GFCC）、`预测语音掩蔽`（IRM）
+
+推荐：
+- 深度学习降噪：梅尔频谱 / STFT / IRM
+- 传统方法（如 Wiener 过滤）：MFCC / GFCC
+- 端到端网络（如 Wavenet）：原始波形
+
+选择特征时，应结合数据、计算资源和目标应用 来优化效果
+
+| 特征               | 适用于传统方法       | 适用于深度学习               | 鲁棒性（对噪声抗性） | 适用场景               |
+|--------------------|----------------------|------------------------------|----------------------|------------------------|
+| 梅尔频谱           | ×                    | ✔️（CNN, LSTM）| ★★★                  | 语音增强、DNN 降噪     |
+| MFCC               | ✔️（HMM, GMM）| ×（DNN 降噪较弱）| ★                    | 语音识别，低噪音环境   |
+| 语谱图（STFT）| ✔️                    | ✔️（U-Net, SEGAN）| ★★★                  | 端到端语音增强         |
+| 原始波形（Raw Waveform） | ×                    | ✔️（WaveNet, DiffWave）| ★★★★                 | 端到端神经网络降噪     |
+| GFCC（伽马通特征） | ✔️                    | ✔️（DNN）| ★★★★                 | 噪声强的语音降噪       |
+| IRM（掩蔽学习）| ×                    | ✔️（DeepMMSE）| ★★★★                 | 语音增强、掩蔽预测     |
+
+#### 传统频域特征
+
+(1) 梅尔频谱（Mel Spectrogram）
+
+特点：
+- 采用 梅尔尺度 进行频谱变换，模拟人耳听觉感知。
+- 比 STFT（短时傅里叶变换） 更能保留语音的关键信息。
+
+适用于深度学习模型（CNN、Transformer）进行降噪。
+
+适用场景：
+- ✅ 语音增强（Speech Enhancement）
+- ✅ 深度学习降噪（DNN、CNN、LSTM）
+
+(2) 梅尔频率倒谱系数（MFCC）
+
+特点：
+- 从梅尔频谱中提取 cepstral（倒谱）特征，用于语音分析。
+- 对背景噪声敏感，但可以结合 Delta MFCC 进行增强。
+
+适用于传统信号处理方法，如 统计建模（HMM、GMM）。
+
+适用场景：
+- ✅ 传统方法（HMM-GMM）
+- ✅ 噪声较低的环境
+- ❌ 对强噪声敏感，不适用于深度学习降噪。
+
+(3) 语谱图（Spectrogram / Log Power Spectrum）
+
+特点：
+- 直接使用 短时傅里叶变换（STFT） 计算语音频谱。
+- 可用于深度学习降噪（如 U-Net）。
+
+通过 对数功率谱（Log Power Spectrum, LPS） 增强对比度，提高模型鲁棒性。
+
+适用场景：
+- ✅ 端到端语音增强（Wave-U-Net, SEGAN）
+- ✅ 适用于时频域网络（TCN, CRN）
+
+#### 时域特征
+
+(4) 语音波形（Raw Waveform）
+
+特点：
+- 直接使用原始语音波形进行降噪，不依赖 STFT。
+- 适用于 WaveNet、Wave-U-Net、DiffWave 等模型。
+
+训练要求高，需要大规模数据支持。
+
+适用场景：
+- ✅ 端到端语音增强（无需 STFT）
+- ✅ 深度神经网络（TCN, Wavenet, DiffWave）
+- ❌ 计算复杂度高，难以解释特征。
+
+#### 其他增强特征
+
+(5) 伽马通滤波能量（GFCC, Gammatone Frequency Cepstral Coefficients）
+
+特点：
+- 采用 伽马通滤波器组（Gammatone Filterbank），更符合人耳听觉系统。
+- 对噪声鲁棒性更强，比 MFCC 更适用于语音增强。
+
+适用场景：
+- ✅ 噪声环境较复杂的语音降噪（如风噪、混响）
+- ✅ 结合深度学习（DNN, LSTM）
+
+(6) 预测语音掩蔽（IRM, Ideal Ratio Mask）
+
+特点：
+- 直接预测时频掩蔽（Mask），用于增强语音信号。
+- 常用于语音增强和降噪任务（如 DeepMMSE）。
+
+可结合时间频率掩码（TF-mask） 提高语音质量。
+
+适用场景：
+- ✅ 端到端语音降噪
+- ✅ 适用于 SEGAN、DeepMMSE
+
+主要算法有`线性预测倒谱系数`（LPCC）和 `Mel倒谱系数`（MFCC），目的是把每一帧波形变成一个包含声音信息的多维向量。
+
+
+
 ### 声学模型（AM）
 
 `声学模型`是识别系统的底层模型，目的是提供一种计算语音的**特征矢量序列**和每个**发音模板**之间的距离的方法。通过对语音数据进行训练获得，输入是**特征向量**，输出为**音素信息**；
@@ -2036,4 +2144,4 @@ predict = model.predict(text,k=1) # 选择概率最大的一个语种
 详见站内专题: [语音识别工具](voice_tool)
 
 
-# 结束
+# 结束