部署環境要求
- python 3.0+
- sklearn
- numpy
- tensorflow
- pyprind
- pyaudio
- scipy
- python_speech_features
目錄結構說明
- speaker_recognition_demonstration
- model
- model_of_extractor_with_attention
- params_1.json
- spk_model
- speaker_model.model
- register_data.npy
- register_label.npy
- register_speaker_names.npy
- wav
- eval
- recorded_audio
- register
- tmp
- model
- speaker_recognition_function.py
- spk_recognition.py
- spk_recognition_with_microphone.py
- spk_register.py
- spk_register_with_microphone.py
model:
model/model_of_extractor_with_attention: 已訓好的端到端說話人識別模型；
model/params_1.json: 模型參數；
spk_model:
spk_model/speaker_model.model: 已注冊說話人模型；
spk_model/register_data.npy: 已注冊說話人的embedding；
spk_model/register_label.npy: register_data.npy中embedding對應的數值標簽；
spk_model/register_speaker_names.npy: register_label.npy中數值標簽與真實標簽的映射；
wav:
wav/eval: 存儲待測試語音，可以使用整個文件夾內的數據進行識別；
wav/recorded_audio: 說話人使用實時錄入語音注冊時，語音臨時存放文件夾，模型創建成功后文件夾內語音將會轉移至wav/register；
wav/register: 注冊說話人語音存放路徑；
wav/tmp: 使用實時錄入的方式測試模型語音臨時存放路徑；
系統使用流程：
方法一. 使用實時錄入的方式進行注冊、測試；【推薦】
- 使用spk_register_with_microphone錄入語音，請根據“提示信息”錄入語音；
ps.語音錄入期間連續朗讀即可，無需中斷，程序會自動截取為5個3秒段作為注冊語音；
該命令需要傳入參數'speaker_name'，即注冊說話人名稱。注意: 名字不要帶空格，否則python將會中斷程序。以'LiuChongming'為例，代碼如下:
?python3 spk_register_with_microphone.py --speaker_name wav/speaker_name? LiuChongming?
注冊成功將會輸出如下內容，并在 spk_model 文件夾中保存 speaker_model.model 模型以及相應注冊數據:
======================================================================
| |
| * HIT Speech and Signal Processing Lab * |
| |
| End-to-End Speaker Recognition Demo |
| |
| |
| Author: LIU Chongming |
| Mentor: HAN Jiqing |
| Date : 2019/06/18 |
| |
| Speaker model has been built in spk_model/speaker_model.model |
| |
| |
======================================================================
- 說話人識別測試：該命令需要傳入參數'speaker_name'，即當前說話人名，該名稱僅做標識，可隨意輸入，默認為'guest'；另外存在備選參數'seconds'，即錄音時長，以秒為單位，默認為3秒。
以'guest'為例，代碼如下:
??python3 spk_recognition_with_microphone.py --speaker_name guest --seconds 3
執行成功后將會輸出如下內容，其中得分越高，越接近某個說話人，程序會顯示TOP5的得分:
======================================================================
| |
| * HIT Speech and Signal Processing Lab * |
| |
| End-to-End Speaker Recognition Demo |
| |
| |
| Author: LIU Chongming |
| Mentor: HAN Jiqing |
| Date : 2019/06/18 |
| |
| Recognition result of guest: LiuChongming |
| |
| Similarity score: |
| |
| LiuChongming: 122.84 |
| xxxxxxxxxx: 100.46 |
| xxxxxxxx: 82.34 |
| xxxxxxxx: 76.86 |
| xxxxxxxx: 71.94 |
| |
======================================================================
方法二. 使用離線數據進行注冊、測試；
- 數據準備：
在 wav 路徑下創建一個文件夾，將注冊音頻放入該文件夾中。
ps. 文件夾命名隨意，但音頻命名要符合'說話人名-編號.wav'格式，程序將以'-'作為分隔符讀取說話人名稱作為標簽，音頻要求為 wav 格式；每個說話人注冊語音數量建議最好≥3，錄音時長無要求，盡量大于2秒；執行注冊代碼，假設“步驟1”中創建的文件夾為'register'，代碼如下：
python3 spk_register.py --audio_folder_path wav/register_audio
執行成功后，會顯示與方法一一致的輸出。在 wav 路徑下創建一個文件夾，將測試音頻放入該文件夾中。
ps. 文件夾命名隨意，其中音頻命名規則無要求，只要用戶能知道哪個音頻屬于哪個說話人即可。假設“步驟3”中創建的文件夾為'eval'，代碼如下：
python3 spk_recognition.py --audio_folder_path wav/eval_audio
使用問題：
- 如果想重新注冊說話人，只需要將 spk_model 路徑下的 'speaker_model.model' 模型刪除即可；
- 建議使用 register 與 eval 分別作為注冊語音文件夾以及測試語音文件夾；
