音合成系統(tǒng)原理、訓(xùn)練優(yōu)化與服務(wù)部署全指南)
人工智能語(yǔ)音音頻NLP媒體生成【免費(fèi)下載鏈接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.項(xiàng)目地址https://gitcode.com/paddlepaddle/PaddleSpeech點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文基于 PaddleSpeech 開源倉(cāng)庫(kù)中的 PP-TTS 技術(shù)文檔系統(tǒng)講解飛槳自研的流式語(yǔ)音合成系統(tǒng) PP-TTS從文本前端 → 聲學(xué)模型 → 聲碼器 → 推理引擎的四段式架構(gòu)原理到基于 CSMSC中文標(biāo)準(zhǔn)女聲庫(kù)的 FastSpeech2 流式訓(xùn)練、ONNXRuntime 推理優(yōu)化、靜態(tài)模型導(dǎo)出與量化流程再到基于 HTTP / WebSocket 協(xié)議的流式 TTS 服務(wù)部署與客戶端調(diào)用。讀完本文你將掌握如何在 PaddleSpeech 中訓(xùn)練一個(gè)可流式合成的 TTS 模型并將其優(yōu)化到 RTF 1、以商業(yè)化服務(wù)的形式對(duì)外提供語(yǔ)音合成能力。1. PP-TTS 是什么面向商業(yè)交互場(chǎng)景的流式語(yǔ)音合成系統(tǒng)PP-TTSPP-TTSPaddleSpeech 流式語(yǔ)音合成系統(tǒng)是 PaddleSpeech 推出的一套流式Streaming語(yǔ)音合成系統(tǒng)。與傳統(tǒng)的整句合成、整句返回的非流式 TTS 不同PP-TTS 在文本尚未全部合成完時(shí)就已經(jīng)開始逐塊輸出已就緒的音頻片段從而顯著降低用戶等待首包音頻的時(shí)間滿足語(yǔ)音交互、電話客服、智能助手等商業(yè)場(chǎng)景對(duì)低延遲的硬性要求。從 PP-TTS 文檔 的說(shuō)明看該系統(tǒng)建立在 PaddleSpeech 已實(shí)現(xiàn)的 SOTA 語(yǔ)音合成算法如 FastSpeech2、HiFiGAN之上并通過(guò)更快的推理引擎來(lái)實(shí)現(xiàn)流式合成。默認(rèn)情況下PP-TTS 提供一套基于FastSpeech2 HiFiGAN的中文流式語(yǔ)音合成系統(tǒng)整個(gè)流水線由四個(gè)環(huán)節(jié)構(gòu)成環(huán)節(jié)默認(rèn)方案作用文本前端Text Frontend基于規(guī)則的中文文本前端完成文本正則化text normalization、多音字消歧polyphony、連續(xù)變調(diào)tone sandhi等中文文本處理聲學(xué)模型Acoustic Model改進(jìn)解碼器的 FastSpeech2CNN Decoder將文本前端輸出的音素序列 時(shí)長(zhǎng)/基頻/能量預(yù)測(cè)結(jié)果轉(zhuǎn)換為 Mel 頻譜解碼器經(jīng)改造后可逐塊chunk流式合成聲碼器VocoderHiFiGANGAN 聲碼器將 Mel 頻譜還原為可播放的波形同樣支持流式逐塊合成推理引擎Inference EngineONNXRuntime對(duì) TTS 模型推理做優(yōu)化加速使整套系統(tǒng)在低算力設(shè)備上也能做到 RTF 1滿足流式合成要求RTFReal-Time Factor指合成 1 秒音頻所需的推理時(shí)間。RTF 1 意味著合成速度快于音頻播放速度這是流式語(yǔ)音合成能夠邊合成邊播放的前提。這一架構(gòu)在倉(cāng)庫(kù)中有著清晰的對(duì)齊實(shí)現(xiàn)中文文本前端相關(guān)邏輯位于 paddlespeech/t2s/frontendFastSpeech2 聲學(xué)模型實(shí)現(xiàn)在 paddlespeech/t2s/models/fastspeech2/fastspeech2.pyHiFiGAN 聲碼器位于 paddlespeech/t2s/models 下的 vocoder 相關(guān)模塊。2. PP-TTS 的四大特性PP-TTS 文檔 總結(jié)了這套流式 TTS 系統(tǒng)的核心特性概括如下開源領(lǐng)先的中文 TTS 系統(tǒng)整套流式合成方案隨 PaddleSpeech 倉(cāng)庫(kù)開源模型、訓(xùn)練腳本、服務(wù)端與客戶端代碼均可直接獲取基于 ONNXRuntime 優(yōu)化推理通過(guò) ONNX 靜態(tài)圖 ONNXRuntime 推理引擎替代動(dòng)態(tài)圖推理大幅降低推理耗時(shí)開源流式 TTS 系統(tǒng)的差異化定位在流式合成這一細(xì)分方向上PP-TTS 提供了完整、可復(fù)現(xiàn)、可部署的開源實(shí)現(xiàn)易于拆解Easy disassembly這是 PP-TTS 架構(gòu)上最重要的設(shè)計(jì)取向。開發(fā)者可以非常自由地替換系統(tǒng)中的各個(gè)部件替換不同語(yǔ)言的聲學(xué)模型與聲碼器如多說(shuō)話人模型、melgan/mb_melgan/hifigan/pwgan 等不同聲碼器切換不同的推理引擎Paddle 動(dòng)態(tài)圖、PaddleInference、ONNXRuntime、Paddle-Lite 等選擇不同的網(wǎng)絡(luò)服務(wù)協(xié)議HTTP、WebSocket。這種即插即用的模塊化設(shè)計(jì)在倉(cāng)庫(kù)的訓(xùn)練腳本與服務(wù)配置中都有直接體現(xiàn)下文將逐步展開。3. Benchmark模型性能基準(zhǔn)PP-TTS 文檔 指出PaddleSpeech 的 TTS 模型基準(zhǔn)數(shù)據(jù)統(tǒng)一收錄在 TTS-Benchmark倉(cāng)庫(kù) Wiki中涵蓋各模型在訓(xùn)練收斂、合成速度、音頻質(zhì)量等維度的對(duì)照結(jié)果。在動(dòng)手訓(xùn)練之前建議先查閱該基準(zhǔn)以選擇合適的聲學(xué)模型與聲碼器組合。從倉(cāng)庫(kù)示例看CSMSC 語(yǔ)料上常用的組合包括 FastSpeech2默認(rèn) Transformer 解碼器與 FastSpeech2 流式變體CNN Decoder聲碼器則可在 Parallel WaveGANpwgan、Multi-band MelGANmb_melgan、HiFiGAN、WaveRNN 之間選擇速度與音質(zhì)的取舍詳見后文。4. Demo流式合成效果演示PP-TTS 提供了流式 TTS 的演示視頻見 streaming_tts_demo_video.rst 對(duì)應(yīng)的渲染頁(yè)面直觀展示了流式合成逐塊輸出、低首包延遲的實(shí)際效果。此外倉(cāng)庫(kù)的 demos/streaming_tts_server 目錄提供了可直接運(yùn)行的流式 TTS 服務(wù)演示包含服務(wù)端、客戶端以及完整的使用文檔README.md、README_cn.md。5. Tutorials從訓(xùn)練到部署的完整實(shí)戰(zhàn)5.1 訓(xùn)練與推理優(yōu)化從默認(rèn) FastSpeech2 到流式 CNN DecoderPP-TTS 的流式能力本質(zhì)上源于對(duì) FastSpeech2解碼器的改造。默認(rèn)的 FastSpeech2 使用與編碼器同構(gòu)的 Transformer 解碼器即自注意力結(jié)構(gòu)它對(duì)整句序列做全局建模無(wú)法做到只依賴當(dāng)前塊及其歷史的因果流式推理而流式變體使用**CNN Decodercnndecoder**替代 Transformer 解碼器。CNN 解碼器由多個(gè)一維卷積殘差塊堆疊而成感受野有限、僅依賴局部上下文因此天然支持逐塊chunk-wise流式合成——這正是 default.yaml 與 cnndecoder.yaml 兩個(gè)配置文件在decoder_type上的關(guān)鍵差異。對(duì)照倉(cāng)庫(kù)中的兩個(gè)訓(xùn)練腳本默認(rèn) FastSpeech2examples/csmsc/tts3/run.sh配置指向conf/default.yaml解碼器類型為transformer流式 FastSpeech2examples/csmsc/tts3/run_cnndecoder.sh配置指向conf/cnndecoder.yaml解碼器類型為cnndecoder。5.1.1 配置差異Transformer 解碼器 vs CNN 解碼器default.yaml 中解碼器相關(guān)配置節(jié)選model: dlayers: 4 # number of decoder layers dunits: 1536 # number of decoder ff units reduction_factor: 1 # reduction factor decoder_normalize_before: True # whether to perform layer normalization before the input transformer_dec_dropout_rate: 0.2 # dropout rate for transformer decoder layer transformer_dec_positional_dropout_rate: 0.2 # dropout rate for transformer decoder positional encoding transformer_dec_attn_dropout_rate: 0.2 # dropout rate for transformer decoder attention layercnndecoder.yaml 中則新增并替換了解碼器結(jié)構(gòu)model: encoder_type: transformer # encoder type decoder_type: cnndecoder # decoder type cnn_dec_dropout_rate: 0.2 # dropout rate for cnn decoder layer cnn_postnet_dropout_rate: 0.2 cnn_postnet_resblock_kernel_sizes: [256, 256] # kernel sizes for residual block of cnn_postnet cnn_postnet_kernel_size: 5 # kernel size of cnn_postnet cnn_decoder_embedding_dim: 256其余如特征提取參數(shù)fs: 24000、n_fft: 2048、n_shift: 300、win_length: 1200、window: hann、Mel 基參數(shù)fmin: 80、fmax: 7600、n_mels: 80、基頻參數(shù)f0min: 80、f0max: 400、數(shù)據(jù)參數(shù)batch_size: 64、num_workers: 4、優(yōu)化器adam、learning_rate: 0.001與訓(xùn)練參數(shù)max_epoch: 1000、num_snapshots: 5、seed: 10086在兩個(gè)配置中保持一致方便在非流式 / 流式兩種模式間切換對(duì)比。5.1.2 源碼視角CNNDecoder 與 CNNPostnet 的實(shí)現(xiàn)在源碼 paddlespeech/t2s/models/fastspeech2/fastspeech2.py 中FastSpeech2 根據(jù)decoder_type分派解碼器transformer使用TransformerEncoderconformer使用ConformerEncoder而cnndecoder則使用從 paddlespeech/t2s/modules/transformer/encoder.py 導(dǎo)入的CNNDecoder并用CNNPostnet替代默認(rèn)的 Transformer Postnet。CNNDecoder的核心結(jié)構(gòu)encoder.py為一組一維卷積殘差塊Conv1dResidualBlock輸入通道從emb_dim默認(rèn) 256逐級(jí)擴(kuò)展通道數(shù)由resblock_kernel_sizes默認(rèn)[256, 256]決定每個(gè)殘差塊的卷積核大小為kernel_size默認(rèn) 5并施加dropout_rate默認(rèn) 0.2最后通過(guò)一個(gè)kernel_size1的卷積將特征投影回 Mel 維度odim默認(rèn) 80。CNNPostnetencoder.py結(jié)構(gòu)與之類似直接在 Mel 頻譜域上做殘差卷積細(xì)化。從源碼結(jié)構(gòu)可以推斷CNN 解碼器對(duì)每個(gè)時(shí)間步的建模只依賴局部卷積窗口內(nèi)的信息不引入跨位置的全局注意力依賴因此支持在推理時(shí)按塊chunk增量計(jì)算這正是 PP-TTS 流式合成的底層依據(jù)。5.1.3 訓(xùn)練腳本run.sh 與 run_cnndecoder.sh 的階段劃分兩個(gè)腳本均采用 stage 驅(qū)動(dòng)的流水線。默認(rèn) FastSpeech2 的 run.sh 階段劃分如下Stage腳本說(shuō)明0local/preprocess.sh數(shù)據(jù)預(yù)處理特征提取等1local/train.sh訓(xùn)練模型checkpoint 輸出到exp/default/checkpoints/2local/synthesize.sh聲學(xué)模型單獨(dú)合成默認(rèn) pwgan 聲碼器可傳 1-4 切換 mb_melgan / style melgan / hifigan / wavernn3local/synthesize_e2e.sh端到端合成聲學(xué)模型 聲碼器4local/inference.sh基于靜態(tài)圖模型推理5local/paddle2onnx.sh將靜態(tài)模型轉(zhuǎn)換為 ONNX默認(rèn)導(dǎo)出 fastspeech2_csmsc 與 pwgan_csmsc注釋中提示速度與音質(zhì)平衡推薦 hifigan6local/ort_predict.sh基于 ONNXRuntime 推理7local/export2lite.sh導(dǎo)出 Paddle-Lite 模型x868local/lite_predict.sh基于 Paddle-Lite 推理9local/PTQ_dynamic.sh動(dòng)態(tài)量化默認(rèn) fastspeech2_csmsc 8bit10local/PTQ_static.sh靜態(tài)量化流式版本的 run_cnndecoder.sh 階段更多、更完整地體現(xiàn)了非流式 → 流式的雙軌設(shè)計(jì)Stage腳本說(shuō)明0-4同 run.sh預(yù)處理、訓(xùn)練、非流式合成、非流式端到端合成、非流式靜態(tài)推理5local/synthesize_streaming.sh流式端到端合成6local/inference_streaming.sh流式靜態(tài)圖推理7local/paddle2onnx.sh非流式模型轉(zhuǎn) ONNXfastspeech2_csmsc、pwgan_csmsc8local/ort_predict.sh非流式 ONNXRuntime 推理9local/paddle2onnx.sh流式模型轉(zhuǎn) ONNX導(dǎo)出fastspeech2_csmsc_am_encoder_infer、fastspeech2_csmsc_am_decoder、fastspeech2_csmsc_am_postnet三個(gè)聲學(xué)模型子圖 pwgan_csmsc聲碼器10local/ort_predict_streaming.sh流式 ONNXRuntime 推理11local/export2lite.sh非流式模型導(dǎo)出 Paddle-Lite12local/lite_predict.sh非流式 Paddle-Lite 推理13local/export2lite.sh流式模型導(dǎo)出 Paddle-Liteencoder_infer / decoder / postnet / pwgan 四個(gè)子模型14local/lite_predict_streaming.sh流式 Paddle-Lite 推理15local/PTQ_static.sh靜態(tài)量化從 stage 9/13 可以看出流式聲學(xué)模型在導(dǎo)出/轉(zhuǎn)換時(shí)被拆分為三個(gè)子圖am_encoder_infer編碼器負(fù)責(zé)將輸入序列編碼為隱表示、am_decoderCNN 解碼器逐塊生成 Mel 頻譜、am_postnet頻譜細(xì)化網(wǎng)絡(luò)。這種拆分正是為了在流式推理時(shí)編碼器一次性跑完、解碼器與聲碼器逐塊滾動(dòng)計(jì)算。運(yùn)行方式以流式訓(xùn)練為例在examples/csmsc/tts3目錄下# 僅運(yùn)行 stage 0-1數(shù)據(jù)預(yù)處理 訓(xùn)練 ./run_cnndecoder.sh --stage 0 --stop-stage 1 # 依次完成流式合成驗(yàn)證與 ONNX 導(dǎo)出/推理 ./run_cnndecoder.sh --stage 5 --stop-stage 10腳本頂部通過(guò)source ${MAIN_ROOT}/utils/parse_options.sh支持--stage/--stop-stage參數(shù)控制執(zhí)行范圍gpus、conf_path、train_output_path、ckpt_name等變量均可按需修改。5.1.4 HiFiGAN 聲碼器訓(xùn)練examples/csmsc/voc5/run.shHiFiGAN 聲碼器的獨(dú)立訓(xùn)練腳本位于 examples/csmsc/voc5/run.sh階段劃分為Stage說(shuō)明0數(shù)據(jù)預(yù)處理local/preprocess.sh1訓(xùn)練local/train.sh默認(rèn)conf/default.yamlcheckpoint 輸出到exp/default/checkpoints/示例 ckpt 為snapshot_iter_50000.pdz2合成local/synthesize.sh3端到端合成local/synthesize_e2e.sh默認(rèn) hifigan 聲碼器4靜態(tài)量化local/PTQ_static.sh導(dǎo)出 hifigan_csmsc 量化模型在流式流水線中HiFiGAN 作為 GAN 聲碼器同樣以分塊 padding的方式實(shí)現(xiàn)流式推理其具體參數(shù)voc_block/voc_pad在服務(wù)配置中體現(xiàn)見 5.3 節(jié)。5.2 TTS 特色應(yīng)用Characteristic APPsPP-TTS 文檔列出的特色應(yīng)用倉(cāng)庫(kù)中均有可直接運(yùn)行的 demo展示了基于同一套 TTS 能力的多樣化落地形態(tài)應(yīng)用說(shuō)明倉(cāng)庫(kù)位置text_to_speech基礎(chǔ)的文本轉(zhuǎn)語(yǔ)音命令行應(yīng)用demos/text_to_speechstyle_fs2面向 FastSpeech2 的多風(fēng)格控制multi style controldemos/style_fs2story_talker基于 OCR TTS 的有聲書閱讀器demos/story_talkermetaverse2D AR TTS 的虛擬形象交互應(yīng)用demos/metaverse其中 style_fs2 通過(guò)額外的風(fēng)格向量/參考音頻控制合成語(yǔ)音的情感與韻律story_talker 則打通了圖像 OCR 取詞 → 文本合成語(yǔ)音的完整鏈路可作為流式 TTS 之外的非流式擴(kuò)展參考。5.3 TTS ServerHTTP / WebSocket 雙協(xié)議流式服務(wù)PP-TTS 文檔將服務(wù)部署分為兩類非流式 TTS Serverdemos/speech_server一次性返回完整音頻流式 TTS Serverdemos/streaming_tts_server逐塊返回音頻支持 HTTP 與 WebSocket 兩種協(xié)議。這里重點(diǎn)講解流式服務(wù)demos/streaming_tts_server/README.md的部署與調(diào)用。5.3.1 服務(wù)配置conf/tts_online_application.yaml配置位于 demos/streaming_tts_server/conf/tts_online_application.yaml關(guān)鍵字段如下protocol服務(wù)網(wǎng)絡(luò)協(xié)議支持http與websocketengine_list服務(wù)中包含的語(yǔ)音引擎格式為speech task_engine type流式 TTS 場(chǎng)景即tts_online與tts_online-onnx兩類online使用 Paddle 動(dòng)態(tài)圖做 Python 推理online-onnx使用 ONNXRuntime 推理推理速度更快對(duì)應(yīng)文檔中使用 ONNXRuntime 優(yōu)化推理的落地形態(tài)流式聲學(xué)模型支持fastspeech2與fastspeech2_cnndecoder聲碼器支持hifigan與mb_melganam_block/am_pad聲學(xué)模型流式分塊參數(shù)am_block表示每個(gè) chunk 中的有效幀數(shù)am_pad表示每個(gè) chunk 前后額外加入的幀數(shù)am_pad的存在用于消除流式推理帶來(lái)的邊界誤差避免流式推理影響合成音頻質(zhì)量注意默認(rèn) fastspeech2 不支持流式聲學(xué)模型推理此時(shí)am_block/am_pad不生效fastspeech2_cnndecoder 支持流式推理官方文檔給出的參考值是am_pad12時(shí)流式推理合成音頻與非流式一致voc_block/voc_pad聲碼器流式分塊參數(shù)語(yǔ)義同上流式聲碼器推理兩者均支持參考取值mb_melganvoc_pad14時(shí)流式與非流式音頻一致最小可設(shè)voc_pad7此時(shí)無(wú)明顯聽感異常小于 7 音頻聽感異常hifiganvoc_pad19時(shí)流式與非流式音頻一致voc_pad14時(shí)無(wú)明顯聽感異常速度與音質(zhì)取舍mb_melgan推理更快、音質(zhì)略低hifigan推理較慢、音質(zhì)更高注意事項(xiàng)若容器內(nèi)服務(wù)啟動(dòng)正常但客戶端訪問(wèn) IP 不可達(dá)可嘗試將配置文件中的host替換為本地實(shí)際 IP。這些am_block/am_pad/voc_block/voc_pad參數(shù)與 5.1.2 節(jié)中 CNN 解碼器的局部感受野特性一脈相承流式合成本質(zhì)上是用有限上下文窗口 前后 padding來(lái)近似整句全局建模的效果padding 越充足流式結(jié)果越接近非流式結(jié)果。5.3.2 HTTP 協(xié)議服務(wù)端與客戶端啟動(dòng)服務(wù)端命令行推薦方式paddlespeech_server start --config_file ./conf/tts_online_application.yaml可用參數(shù)config_file應(yīng)用 yaml 文件默認(rèn)./conf/tts_online_application.yamllog_file日志文件默認(rèn)./log/paddlespeech.log。服務(wù)啟動(dòng)后 Uvicorn 監(jiān)聽在http://0.0.0.0:8092日志中會(huì)輸出 0/1/2 三輪 warm up 的首包響應(yīng)時(shí)間用于預(yù)熱 ONNX 模型。Python API 方式from paddlespeech.server.bin.paddlespeech_server import ServerExecutor server_executor ServerExecutor() server_executor( config_file./conf/tts_online_application.yaml, log_file./log/paddlespeech.log)客戶端訪問(wèn)命令行推薦方式paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol http --input 您好歡迎使用百度飛槳語(yǔ)音合成服務(wù)。 --output output.wav客戶端主要參數(shù)server_ip服務(wù)端 IP默認(rèn)127.0.0.1port服務(wù)端口默認(rèn)8092protocol協(xié)議可選[http, websocket]默認(rèn)httpinput必填待合成文本spk_id多說(shuō)話人 ID默認(rèn)0當(dāng)前代碼僅支持單說(shuō)話人模型spk_id不生效output輸出 wav 文件路徑默認(rèn)None不保存本地play是否邊合成邊播放默認(rèn)False播放依賴 pyaudio 庫(kù)?？蛻舳诉\(yùn)行日志會(huì)輸出關(guān)鍵指標(biāo)首包響應(yīng)首包延遲、尾包響應(yīng)、音頻時(shí)長(zhǎng)與RTF示例中 RTF 約 0.78-0.82即 RTF 1直觀驗(yàn)證流式合成的低延遲效果。Python 客戶端from paddlespeech.server.bin.paddlespeech_client import TTSOnlineClientExecutor executor TTSOnlineClientExecutor() executor( input您好歡迎使用百度飛槳語(yǔ)音合成服務(wù)。, server_ip127.0.0.1, port8092, protocolhttp, spk_id0, output./output.wav, playFalse)5.3.3 WebSocket 協(xié)議服務(wù)端與客戶端WebSocket 模式適用于需要持續(xù)雙向通信、逐幀推送音頻的場(chǎng)景。使用方法與 HTTP 模式幾乎一致僅需兩步調(diào)整修改 tts_online_application.yaml將protocol設(shè)置為websocket客戶端調(diào)用時(shí)傳入--protocol websocketpaddlespeech_server start --config_file ./conf/tts_online_application.yaml paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol websocket --input 您好歡迎使用百度飛槳語(yǔ)音合成服務(wù)。 --output output.wavPython 方式同樣只需將protocolwebsocket傳入客戶端 Executor。服務(wù)端監(jiān)聽地址與 HTTP 模式一致http://0.0.0.0:8092客戶端日志同樣輸出首包/尾包響應(yīng)時(shí)間與 RTF 指標(biāo)。5.3.4 非流式 TTS Server 參考若業(yè)務(wù)場(chǎng)景不需要流式輸出可參考 demos/speech_server 部署非流式 TTS 服務(wù)其配置與調(diào)用流程與流式版本類似但一次請(qǐng)求返回完整音頻適合對(duì)首包延遲不敏感、但對(duì)音頻質(zhì)量一致性要求更高的場(chǎng)景。6. 總結(jié)與落地建議PP-TTS 為 PaddleSpeech 提供了一套完整的流式中文語(yǔ)音合成方案其技術(shù)路線可歸納為架構(gòu)層面文本前端規(guī)則化中文處理→ 聲學(xué)模型FastSpeech2流式版使用 CNN Decoder→ 聲碼器HiFiGAN / mb_melgan 等 GAN 聲碼器→ 推理引擎ONNXRuntime 為主流式化關(guān)鍵用局部感受野的 CNN 解碼器替換全局自注意力的 Transformer 解碼器配合 chunk 分塊與前后 paddingam_block/am_pad/voc_block/voc_pad消除流式推理誤差優(yōu)化路徑Paddle 動(dòng)態(tài)圖訓(xùn)練 → 靜態(tài)圖導(dǎo)出 → paddle2onnx 轉(zhuǎn) ONNX → ONNXRuntime 推理 →可選Paddle-Lite 端側(cè)部署與 PTQ 動(dòng)態(tài)/靜態(tài)量化服務(wù)化落地通過(guò)paddlespeech_server一鍵啟動(dòng) HTTP 或 WebSocket 流式 TTS 服務(wù)以paddlespeech_client或 Python Executor 接入RTF 1 即可滿足流式交互要求。建議的落地順序是先用 run_cnndecoder.sh 訓(xùn)練并驗(yàn)證流式模型 → 導(dǎo)出 ONNX 并確認(rèn) RTF → 按 tts_online_application.yaml 啟動(dòng)流式服務(wù) → 依據(jù)實(shí)際設(shè)備算力微調(diào)am_pad/voc_pad在延遲與音質(zhì)之間取平衡。更多原理細(xì)節(jié)可進(jìn)一步閱讀 PPTTS_cn.md 與 streaming_tts_server README_cn.md。贊分享人工智能語(yǔ)音音頻NLP媒體生成【免費(fèi)下載鏈接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.項(xiàng)目地址https://gitcode.com/paddlepaddle/PaddleSpeech點(diǎn)擊查看免費(fèi)下載相關(guān)推薦PaddleSpeech PP-TTS 流式語(yǔ)音合成系統(tǒng)全解析從 FastSpeech2 訓(xùn)練、ONNXRuntime 推理優(yōu)化到流式 TTS 服務(wù)部署PaddleSpeech PP TTS 流式語(yǔ)音合成系統(tǒng)全解析從 FastSpeech2 訓(xùn)練、ONNXRuntime 推理優(yōu)化到流式 TTS 服務(wù)部署 PP人工智能語(yǔ)音音頻DeepCode 前端 JavaScript/TypeScript Web 安全規(guī)范實(shí)戰(zhàn)安全默認(rèn)編碼、漏洞審計(jì)與修復(fù)指南DeepCode 前端 JavaScript/TypeScript Web 安全規(guī)范實(shí)戰(zhàn)安全默認(rèn)編碼、漏洞審計(jì)與修復(fù)指南 本指南基于 DeepCode 開源倉(cāng)人工智能語(yǔ)音音頻Vector 多 CA 證書加載支持在單個(gè) PEM 文件中配置完整證書鏈的 TLS 實(shí)戰(zhàn)指南Vector 多 CA 證書加載支持在單個(gè) PEM 文件中配置完整證書鏈的 TLS 實(shí)戰(zhàn)指南 導(dǎo)讀 本文圍繞 Vector 在 0.10.0 版本對(duì)應(yīng) PR人工智能語(yǔ)音音頻NLP媒體生成上一篇深入理解 pflag在 distribution 等 Go 項(xiàng)目中實(shí)現(xiàn) POSIX/GNU 風(fēng)格命令行參數(shù)解析下一篇MiniCPM 生態(tài)進(jìn)階指南BitCPM4 三元量化、MiniCPM4-Survey 綜述生成智能體與 MiniCPM4-MCP 工具調(diào)用實(shí)戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PaddleSpeech PP-TTS：流式語(yǔ)音合成系統(tǒng)原理、訓(xùn)練優(yōu)化與服務(wù)部署全指南
人工智能語(yǔ)音音頻NLP媒體生成【免費(fèi)下載鏈接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.項(xiàng)目地址https://gitcode.com/paddlepaddle/PaddleSpeech點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文基于 PaddleSpeech 開源倉(cāng)庫(kù)中的 PP-TTS 技術(shù)文檔系統(tǒng)講解飛槳自研的流式語(yǔ)音合成系統(tǒng) PP-TTS從文本前端 → 聲學(xué)模型 → 聲碼器 → 推理引擎的四段式架構(gòu)原理到基于 CSMSC中文標(biāo)準(zhǔn)女聲庫(kù)的 FastSpeech2 流式訓(xùn)練、ONNXRuntime 推理優(yōu)化、靜態(tài)模型導(dǎo)出與量化流程再到基于 HTTP / WebSocket 協(xié)議的流式 TTS 服務(wù)部署與客戶端調(diào)用。讀完本文你將掌握如何在 PaddleSpeech 中訓(xùn)練一個(gè)可流式合成的 TTS 模型并將其優(yōu)化到 RTF 1、以商業(yè)化服務(wù)的形式對(duì)外提供語(yǔ)音合成能力。1. PP-TTS 是什么面向商業(yè)交互場(chǎng)景的流式語(yǔ)音合成系統(tǒng)PP-TTSPP-TTSPaddleSpeech 流式語(yǔ)音合成系統(tǒng)是 PaddleSpeech 推出的一套流式Streaming語(yǔ)音合成系統(tǒng)。與傳統(tǒng)的整句合成、整句返回的非流式 TTS 不同PP-TTS 在文本尚未全部合成完時(shí)就已經(jīng)開始逐塊輸出已就緒的音頻片段從而顯著降低用戶等待首包音頻的時(shí)間滿足語(yǔ)音交互、電話客服、智能助手等商業(yè)場(chǎng)景對(duì)低延遲的硬性要求。從 PP-TTS 文檔 的說(shuō)明看該系統(tǒng)建立在 PaddleSpeech 已實(shí)現(xiàn)的 SOTA 語(yǔ)音合成算法如 FastSpeech2、HiFiGAN之上并通過(guò)更快的推理引擎來(lái)實(shí)現(xiàn)流式合成。默認(rèn)情況下PP-TTS 提供一套基于FastSpeech2 HiFiGAN的中文流式語(yǔ)音合成系統(tǒng)整個(gè)流水線由四個(gè)環(huán)節(jié)構(gòu)成環(huán)節(jié)默認(rèn)方案作用文本前端Text Frontend基于規(guī)則的中文文本前端完成文本正則化text normalization、多音字消歧polyphony、連續(xù)變調(diào)tone sandhi等中文文本處理聲學(xué)模型Acoustic Model改進(jìn)解碼器的 FastSpeech2CNN Decoder將文本前端輸出的音素序列 時(shí)長(zhǎng)/基頻/能量預(yù)測(cè)結(jié)果轉(zhuǎn)換為 Mel 頻譜解碼器經(jīng)改造后可逐塊chunk流式合成聲碼器VocoderHiFiGANGAN 聲碼器將 Mel 頻譜還原為可播放的波形同樣支持流式逐塊合成推理引擎Inference EngineONNXRuntime對(duì) TTS 模型推理做優(yōu)化加速使整套系統(tǒng)在低算力設(shè)備上也能做到 RTF 1滿足流式合成要求RTFReal-Time Factor指合成 1 秒音頻所需的推理時(shí)間。RTF 1 意味著合成速度快于音頻播放速度這是流式語(yǔ)音合成能夠邊合成邊播放的前提。這一架構(gòu)在倉(cāng)庫(kù)中有著清晰的對(duì)齊實(shí)現(xiàn)中文文本前端相關(guān)邏輯位于 paddlespeech/t2s/frontendFastSpeech2 聲學(xué)模型實(shí)現(xiàn)在 paddlespeech/t2s/models/fastspeech2/fastspeech2.pyHiFiGAN 聲碼器位于 paddlespeech/t2s/models 下的 vocoder 相關(guān)模塊。2. PP-TTS 的四大特性PP-TTS 文檔 總結(jié)了這套流式 TTS 系統(tǒng)的核心特性概括如下開源領(lǐng)先的中文 TTS 系統(tǒng)整套流式合成方案隨 PaddleSpeech 倉(cāng)庫(kù)開源模型、訓(xùn)練腳本、服務(wù)端與客戶端代碼均可直接獲取基于 ONNXRuntime 優(yōu)化推理通過(guò) ONNX 靜態(tài)圖 ONNXRuntime 推理引擎替代動(dòng)態(tài)圖推理大幅降低推理耗時(shí)開源流式 TTS 系統(tǒng)的差異化定位在流式合成這一細(xì)分方向上PP-TTS 提供了完整、可復(fù)現(xiàn)、可部署的開源實(shí)現(xiàn)易于拆解Easy disassembly這是 PP-TTS 架構(gòu)上最重要的設(shè)計(jì)取向。開發(fā)者可以非常自由地替換系統(tǒng)中的各個(gè)部件替換不同語(yǔ)言的聲學(xué)模型與聲碼器如多說(shuō)話人模型、melgan/mb_melgan/hifigan/pwgan 等不同聲碼器切換不同的推理引擎Paddle 動(dòng)態(tài)圖、PaddleInference、ONNXRuntime、Paddle-Lite 等選擇不同的網(wǎng)絡(luò)服務(wù)協(xié)議HTTP、WebSocket。這種即插即用的模塊化設(shè)計(jì)在倉(cāng)庫(kù)的訓(xùn)練腳本與服務(wù)配置中都有直接體現(xiàn)下文將逐步展開。3. Benchmark模型性能基準(zhǔn)PP-TTS 文檔 指出PaddleSpeech 的 TTS 模型基準(zhǔn)數(shù)據(jù)統(tǒng)一收錄在 TTS-Benchmark倉(cāng)庫(kù) Wiki中涵蓋各模型在訓(xùn)練收斂、合成速度、音頻質(zhì)量等維度的對(duì)照結(jié)果。在動(dòng)手訓(xùn)練之前建議先查閱該基準(zhǔn)以選擇合適的聲學(xué)模型與聲碼器組合。從倉(cāng)庫(kù)示例看CSMSC 語(yǔ)料上常用的組合包括 FastSpeech2默認(rèn) Transformer 解碼器與 FastSpeech2 流式變體CNN Decoder聲碼器則可在 Parallel WaveGANpwgan、Multi-band MelGANmb_melgan、HiFiGAN、WaveRNN 之間選擇速度與音質(zhì)的取舍詳見后文。4. Demo流式合成效果演示PP-TTS 提供了流式 TTS 的演示視頻見 streaming_tts_demo_video.rst 對(duì)應(yīng)的渲染頁(yè)面直觀展示了流式合成逐塊輸出、低首包延遲的實(shí)際效果。此外倉(cāng)庫(kù)的 demos/streaming_tts_server 目錄提供了可直接運(yùn)行的流式 TTS 服務(wù)演示包含服務(wù)端、客戶端以及完整的使用文檔README.md、README_cn.md。5. Tutorials從訓(xùn)練到部署的完整實(shí)戰(zhàn)5.1 訓(xùn)練與推理優(yōu)化從默認(rèn) FastSpeech2 到流式 CNN DecoderPP-TTS 的流式能力本質(zhì)上源于對(duì) FastSpeech2解碼器的改造。默認(rèn)的 FastSpeech2 使用與編碼器同構(gòu)的 Transformer 解碼器即自注意力結(jié)構(gòu)它對(duì)整句序列做全局建模無(wú)法做到只依賴當(dāng)前塊及其歷史的因果流式推理而流式變體使用**CNN Decodercnndecoder**替代 Transformer 解碼器。CNN 解碼器由多個(gè)一維卷積殘差塊堆疊而成感受野有限、僅依賴局部上下文因此天然支持逐塊chunk-wise流式合成——這正是 default.yaml 與 cnndecoder.yaml 兩個(gè)配置文件在decoder_type上的關(guān)鍵差異。對(duì)照倉(cāng)庫(kù)中的兩個(gè)訓(xùn)練腳本默認(rèn) FastSpeech2examples/csmsc/tts3/run.sh配置指向conf/default.yaml解碼器類型為transformer流式 FastSpeech2examples/csmsc/tts3/run_cnndecoder.sh配置指向conf/cnndecoder.yaml解碼器類型為cnndecoder。5.1.1 配置差異Transformer 解碼器 vs CNN 解碼器default.yaml 中解碼器相關(guān)配置節(jié)選model: dlayers: 4 # number of decoder layers dunits: 1536 # number of decoder ff units reduction_factor: 1 # reduction factor decoder_normalize_before: True # whether to perform layer normalization before the input transformer_dec_dropout_rate: 0.2 # dropout rate for transformer decoder layer transformer_dec_positional_dropout_rate: 0.2 # dropout rate for transformer decoder positional encoding transformer_dec_attn_dropout_rate: 0.2 # dropout rate for transformer decoder attention layercnndecoder.yaml 中則新增并替換了解碼器結(jié)構(gòu)model: encoder_type: transformer # encoder type decoder_type: cnndecoder # decoder type cnn_dec_dropout_rate: 0.2 # dropout rate for cnn decoder layer cnn_postnet_dropout_rate: 0.2 cnn_postnet_resblock_kernel_sizes: [256, 256] # kernel sizes for residual block of cnn_postnet cnn_postnet_kernel_size: 5 # kernel size of cnn_postnet cnn_decoder_embedding_dim: 256其余如特征提取參數(shù)fs: 24000、n_fft: 2048、n_shift: 300、win_length: 1200、window: hann、Mel 基參數(shù)fmin: 80、fmax: 7600、n_mels: 80、基頻參數(shù)f0min: 80、f0max: 400、數(shù)據(jù)參數(shù)batch_size: 64、num_workers: 4、優(yōu)化器adam、learning_rate: 0.001與訓(xùn)練參數(shù)max_epoch: 1000、num_snapshots: 5、seed: 10086在兩個(gè)配置中保持一致方便在非流式 / 流式兩種模式間切換對(duì)比。5.1.2 源碼視角CNNDecoder 與 CNNPostnet 的實(shí)現(xiàn)在源碼 paddlespeech/t2s/models/fastspeech2/fastspeech2.py 中FastSpeech2 根據(jù)decoder_type分派解碼器transformer使用TransformerEncoderconformer使用ConformerEncoder而cnndecoder則使用從 paddlespeech/t2s/modules/transformer/encoder.py 導(dǎo)入的CNNDecoder并用CNNPostnet替代默認(rèn)的 Transformer Postnet。CNNDecoder的核心結(jié)構(gòu)encoder.py為一組一維卷積殘差塊Conv1dResidualBlock輸入通道從emb_dim默認(rèn) 256逐級(jí)擴(kuò)展通道數(shù)由resblock_kernel_sizes默認(rèn)[256, 256]決定每個(gè)殘差塊的卷積核大小為kernel_size默認(rèn) 5并施加dropout_rate默認(rèn) 0.2最后通過(guò)一個(gè)kernel_size1的卷積將特征投影回 Mel 維度odim默認(rèn) 80。CNNPostnetencoder.py結(jié)構(gòu)與之類似直接在 Mel 頻譜域上做殘差卷積細(xì)化。從源碼結(jié)構(gòu)可以推斷CNN 解碼器對(duì)每個(gè)時(shí)間步的建模只依賴局部卷積窗口內(nèi)的信息不引入跨位置的全局注意力依賴因此支持在推理時(shí)按塊chunk增量計(jì)算這正是 PP-TTS 流式合成的底層依據(jù)。5.1.3 訓(xùn)練腳本run.sh 與 run_cnndecoder.sh 的階段劃分兩個(gè)腳本均采用 stage 驅(qū)動(dòng)的流水線。默認(rèn) FastSpeech2 的 run.sh 階段劃分如下Stage腳本說(shuō)明0local/preprocess.sh數(shù)據(jù)預(yù)處理特征提取等1local/train.sh訓(xùn)練模型checkpoint 輸出到exp/default/checkpoints/2local/synthesize.sh聲學(xué)模型單獨(dú)合成默認(rèn) pwgan 聲碼器可傳 1-4 切換 mb_melgan / style melgan / hifigan / wavernn3local/synthesize_e2e.sh端到端合成聲學(xué)模型 聲碼器4local/inference.sh基于靜態(tài)圖模型推理5local/paddle2onnx.sh將靜態(tài)模型轉(zhuǎn)換為 ONNX默認(rèn)導(dǎo)出 fastspeech2_csmsc 與 pwgan_csmsc注釋中提示速度與音質(zhì)平衡推薦 hifigan6local/ort_predict.sh基于 ONNXRuntime 推理7local/export2lite.sh導(dǎo)出 Paddle-Lite 模型x868local/lite_predict.sh基于 Paddle-Lite 推理9local/PTQ_dynamic.sh動(dòng)態(tài)量化默認(rèn) fastspeech2_csmsc 8bit10local/PTQ_static.sh靜態(tài)量化流式版本的 run_cnndecoder.sh 階段更多、更完整地體現(xiàn)了非流式 → 流式的雙軌設(shè)計(jì)Stage腳本說(shuō)明0-4同 run.sh預(yù)處理、訓(xùn)練、非流式合成、非流式端到端合成、非流式靜態(tài)推理5local/synthesize_streaming.sh流式端到端合成6local/inference_streaming.sh流式靜態(tài)圖推理7local/paddle2onnx.sh非流式模型轉(zhuǎn) ONNXfastspeech2_csmsc、pwgan_csmsc8local/ort_predict.sh非流式 ONNXRuntime 推理9local/paddle2onnx.sh流式模型轉(zhuǎn) ONNX導(dǎo)出fastspeech2_csmsc_am_encoder_infer、fastspeech2_csmsc_am_decoder、fastspeech2_csmsc_am_postnet三個(gè)聲學(xué)模型子圖 pwgan_csmsc聲碼器10local/ort_predict_streaming.sh流式 ONNXRuntime 推理11local/export2lite.sh非流式模型導(dǎo)出 Paddle-Lite12local/lite_predict.sh非流式 Paddle-Lite 推理13local/export2lite.sh流式模型導(dǎo)出 Paddle-Liteencoder_infer / decoder / postnet / pwgan 四個(gè)子模型14local/lite_predict_streaming.sh流式 Paddle-Lite 推理15local/PTQ_static.sh靜態(tài)量化從 stage 9/13 可以看出流式聲學(xué)模型在導(dǎo)出/轉(zhuǎn)換時(shí)被拆分為三個(gè)子圖am_encoder_infer編碼器負(fù)責(zé)將輸入序列編碼為隱表示、am_decoderCNN 解碼器逐塊生成 Mel 頻譜、am_postnet頻譜細(xì)化網(wǎng)絡(luò)。這種拆分正是為了在流式推理時(shí)編碼器一次性跑完、解碼器與聲碼器逐塊滾動(dòng)計(jì)算。運(yùn)行方式以流式訓(xùn)練為例在examples/csmsc/tts3目錄下# 僅運(yùn)行 stage 0-1數(shù)據(jù)預(yù)處理 訓(xùn)練 ./run_cnndecoder.sh --stage 0 --stop-stage 1 # 依次完成流式合成驗(yàn)證與 ONNX 導(dǎo)出/推理 ./run_cnndecoder.sh --stage 5 --stop-stage 10腳本頂部通過(guò)source ${MAIN_ROOT}/utils/parse_options.sh支持--stage/--stop-stage參數(shù)控制執(zhí)行范圍gpus、conf_path、train_output_path、ckpt_name等變量均可按需修改。5.1.4 HiFiGAN 聲碼器訓(xùn)練examples/csmsc/voc5/run.shHiFiGAN 聲碼器的獨(dú)立訓(xùn)練腳本位于 examples/csmsc/voc5/run.sh階段劃分為Stage說(shuō)明0數(shù)據(jù)預(yù)處理local/preprocess.sh1訓(xùn)練local/train.sh默認(rèn)conf/default.yamlcheckpoint 輸出到exp/default/checkpoints/示例 ckpt 為snapshot_iter_50000.pdz2合成local/synthesize.sh3端到端合成local/synthesize_e2e.sh默認(rèn) hifigan 聲碼器4靜態(tài)量化local/PTQ_static.sh導(dǎo)出 hifigan_csmsc 量化模型在流式流水線中HiFiGAN 作為 GAN 聲碼器同樣以分塊 padding的方式實(shí)現(xiàn)流式推理其具體參數(shù)voc_block/voc_pad在服務(wù)配置中體現(xiàn)見 5.3 節(jié)。5.2 TTS 特色應(yīng)用Characteristic APPsPP-TTS 文檔列出的特色應(yīng)用倉(cāng)庫(kù)中均有可直接運(yùn)行的 demo展示了基于同一套 TTS 能力的多樣化落地形態(tài)應(yīng)用說(shuō)明倉(cāng)庫(kù)位置text_to_speech基礎(chǔ)的文本轉(zhuǎn)語(yǔ)音命令行應(yīng)用demos/text_to_speechstyle_fs2面向 FastSpeech2 的多風(fēng)格控制multi style controldemos/style_fs2story_talker基于 OCR TTS 的有聲書閱讀器demos/story_talkermetaverse2D AR TTS 的虛擬形象交互應(yīng)用demos/metaverse其中 style_fs2 通過(guò)額外的風(fēng)格向量/參考音頻控制合成語(yǔ)音的情感與韻律story_talker 則打通了圖像 OCR 取詞 → 文本合成語(yǔ)音的完整鏈路可作為流式 TTS 之外的非流式擴(kuò)展參考。5.3 TTS ServerHTTP / WebSocket 雙協(xié)議流式服務(wù)PP-TTS 文檔將服務(wù)部署分為兩類非流式 TTS Serverdemos/speech_server一次性返回完整音頻流式 TTS Serverdemos/streaming_tts_server逐塊返回音頻支持 HTTP 與 WebSocket 兩種協(xié)議。這里重點(diǎn)講解流式服務(wù)demos/streaming_tts_server/README.md的部署與調(diào)用。5.3.1 服務(wù)配置conf/tts_online_application.yaml配置位于 demos/streaming_tts_server/conf/tts_online_application.yaml關(guān)鍵字段如下protocol服務(wù)網(wǎng)絡(luò)協(xié)議支持http與websocketengine_list服務(wù)中包含的語(yǔ)音引擎格式為speech task_engine type流式 TTS 場(chǎng)景即tts_online與tts_online-onnx兩類online使用 Paddle 動(dòng)態(tài)圖做 Python 推理online-onnx使用 ONNXRuntime 推理推理速度更快對(duì)應(yīng)文檔中使用 ONNXRuntime 優(yōu)化推理的落地形態(tài)流式聲學(xué)模型支持fastspeech2與fastspeech2_cnndecoder聲碼器支持hifigan與mb_melganam_block/am_pad聲學(xué)模型流式分塊參數(shù)am_block表示每個(gè) chunk 中的有效幀數(shù)am_pad表示每個(gè) chunk 前后額外加入的幀數(shù)am_pad的存在用于消除流式推理帶來(lái)的邊界誤差避免流式推理影響合成音頻質(zhì)量注意默認(rèn) fastspeech2 不支持流式聲學(xué)模型推理此時(shí)am_block/am_pad不生效fastspeech2_cnndecoder 支持流式推理官方文檔給出的參考值是am_pad12時(shí)流式推理合成音頻與非流式一致voc_block/voc_pad聲碼器流式分塊參數(shù)語(yǔ)義同上流式聲碼器推理兩者均支持參考取值mb_melganvoc_pad14時(shí)流式與非流式音頻一致最小可設(shè)voc_pad7此時(shí)無(wú)明顯聽感異常小于 7 音頻聽感異常hifiganvoc_pad19時(shí)流式與非流式音頻一致voc_pad14時(shí)無(wú)明顯聽感異常速度與音質(zhì)取舍mb_melgan推理更快、音質(zhì)略低hifigan推理較慢、音質(zhì)更高注意事項(xiàng)若容器內(nèi)服務(wù)啟動(dòng)正常但客戶端訪問(wèn) IP 不可達(dá)可嘗試將配置文件中的host替換為本地實(shí)際 IP。這些am_block/am_pad/voc_block/voc_pad參數(shù)與 5.1.2 節(jié)中 CNN 解碼器的局部感受野特性一脈相承流式合成本質(zhì)上是用有限上下文窗口 前后 padding來(lái)近似整句全局建模的效果padding 越充足流式結(jié)果越接近非流式結(jié)果。5.3.2 HTTP 協(xié)議服務(wù)端與客戶端啟動(dòng)服務(wù)端命令行推薦方式paddlespeech_server start --config_file ./conf/tts_online_application.yaml可用參數(shù)config_file應(yīng)用 yaml 文件默認(rèn)./conf/tts_online_application.yamllog_file日志文件默認(rèn)./log/paddlespeech.log。服務(wù)啟動(dòng)后 Uvicorn 監(jiān)聽在http://0.0.0.0:8092日志中會(huì)輸出 0/1/2 三輪 warm up 的首包響應(yīng)時(shí)間用于預(yù)熱 ONNX 模型。Python API 方式from paddlespeech.server.bin.paddlespeech_server import ServerExecutor server_executor ServerExecutor() server_executor( config_file./conf/tts_online_application.yaml, log_file./log/paddlespeech.log)客戶端訪問(wèn)命令行推薦方式paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol http --input 您好歡迎使用百度飛槳語(yǔ)音合成服務(wù)。 --output output.wav客戶端主要參數(shù)server_ip服務(wù)端 IP默認(rèn)127.0.0.1port服務(wù)端口默認(rèn)8092protocol協(xié)議可選[http, websocket]默認(rèn)httpinput必填待合成文本spk_id多說(shuō)話人 ID默認(rèn)0當(dāng)前代碼僅支持單說(shuō)話人模型spk_id不生效output輸出 wav 文件路徑默認(rèn)None不保存本地play是否邊合成邊播放默認(rèn)False播放依賴 pyaudio 庫(kù)?？蛻舳诉\(yùn)行日志會(huì)輸出關(guān)鍵指標(biāo)首包響應(yīng)首包延遲、尾包響應(yīng)、音頻時(shí)長(zhǎng)與RTF示例中 RTF 約 0.78-0.82即 RTF 1直觀驗(yàn)證流式合成的低延遲效果。Python 客戶端from paddlespeech.server.bin.paddlespeech_client import TTSOnlineClientExecutor executor TTSOnlineClientExecutor() executor( input您好歡迎使用百度飛槳語(yǔ)音合成服務(wù)。, server_ip127.0.0.1, port8092, protocolhttp, spk_id0, output./output.wav, playFalse)5.3.3 WebSocket 協(xié)議服務(wù)端與客戶端WebSocket 模式適用于需要持續(xù)雙向通信、逐幀推送音頻的場(chǎng)景。使用方法與 HTTP 模式幾乎一致僅需兩步調(diào)整修改 tts_online_application.yaml將protocol設(shè)置為websocket客戶端調(diào)用時(shí)傳入--protocol websocketpaddlespeech_server start --config_file ./conf/tts_online_application.yaml paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol websocket --input 您好歡迎使用百度飛槳語(yǔ)音合成服務(wù)。 --output output.wavPython 方式同樣只需將protocolwebsocket傳入客戶端 Executor。服務(wù)端監(jiān)聽地址與 HTTP 模式一致http://0.0.0.0:8092客戶端日志同樣輸出首包/尾包響應(yīng)時(shí)間與 RTF 指標(biāo)。5.3.4 非流式 TTS Server 參考若業(yè)務(wù)場(chǎng)景不需要流式輸出可參考 demos/speech_server 部署非流式 TTS 服務(wù)其配置與調(diào)用流程與流式版本類似但一次請(qǐng)求返回完整音頻適合對(duì)首包延遲不敏感、但對(duì)音頻質(zhì)量一致性要求更高的場(chǎng)景。6. 總結(jié)與落地建議PP-TTS 為 PaddleSpeech 提供了一套完整的流式中文語(yǔ)音合成方案其技術(shù)路線可歸納為架構(gòu)層面文本前端規(guī)則化中文處理→ 聲學(xué)模型FastSpeech2流式版使用 CNN Decoder→ 聲碼器HiFiGAN / mb_melgan 等 GAN 聲碼器→ 推理引擎ONNXRuntime 為主流式化關(guān)鍵用局部感受野的 CNN 解碼器替換全局自注意力的 Transformer 解碼器配合 chunk 分塊與前后 paddingam_block/am_pad/voc_block/voc_pad消除流式推理誤差優(yōu)化路徑Paddle 動(dòng)態(tài)圖訓(xùn)練 → 靜態(tài)圖導(dǎo)出 → paddle2onnx 轉(zhuǎn) ONNX → ONNXRuntime 推理 →可選Paddle-Lite 端側(cè)部署與 PTQ 動(dòng)態(tài)/靜態(tài)量化服務(wù)化落地通過(guò)paddlespeech_server一鍵啟動(dòng) HTTP 或 WebSocket 流式 TTS 服務(wù)以paddlespeech_client或 Python Executor 接入RTF 1 即可滿足流式交互要求。建議的落地順序是先用 run_cnndecoder.sh 訓(xùn)練并驗(yàn)證流式模型 → 導(dǎo)出 ONNX 并確認(rèn) RTF → 按 tts_online_application.yaml 啟動(dòng)流式服務(wù) → 依據(jù)實(shí)際設(shè)備算力微調(diào)am_pad/voc_pad在延遲與音質(zhì)之間取平衡。更多原理細(xì)節(jié)可進(jìn)一步閱讀 PPTTS_cn.md 與 streaming_tts_server README_cn.md。贊分享人工智能語(yǔ)音音頻NLP媒體生成【免費(fèi)下載鏈接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.項(xiàng)目地址https://gitcode.com/paddlepaddle/PaddleSpeech點(diǎn)擊查看免費(fèi)下載相關(guān)推薦PaddleSpeech PP-TTS 流式語(yǔ)音合成系統(tǒng)全解析從 FastSpeech2 訓(xùn)練、ONNXRuntime 推理優(yōu)化到流式 TTS 服務(wù)部署PaddleSpeech PP TTS 流式語(yǔ)音合成系統(tǒng)全解析從 FastSpeech2 訓(xùn)練、ONNXRuntime 推理優(yōu)化到流式 TTS 服務(wù)部署 PP人工智能語(yǔ)音音頻DeepCode 前端 JavaScript/TypeScript Web 安全規(guī)范實(shí)戰(zhàn)安全默認(rèn)編碼、漏洞審計(jì)與修復(fù)指南DeepCode 前端 JavaScript/TypeScript Web 安全規(guī)范實(shí)戰(zhàn)安全默認(rèn)編碼、漏洞審計(jì)與修復(fù)指南 本指南基于 DeepCode 開源倉(cāng)人工智能語(yǔ)音音頻Vector 多 CA 證書加載支持在單個(gè) PEM 文件中配置完整證書鏈的 TLS 實(shí)戰(zhàn)指南Vector 多 CA 證書加載支持在單個(gè) PEM 文件中配置完整證書鏈的 TLS 實(shí)戰(zhàn)指南 導(dǎo)讀 本文圍繞 Vector 在 0.10.0 版本對(duì)應(yīng) PR人工智能語(yǔ)音音頻NLP媒體生成上一篇深入理解 pflag在 distribution 等 Go 項(xiàng)目中實(shí)現(xiàn) POSIX/GNU 風(fēng)格命令行參數(shù)解析下一篇MiniCPM 生態(tài)進(jìn)階指南BitCPM4 三元量化、MiniCPM4-Survey 綜述生成智能體與 MiniCPM4-MCP 工具調(diào)用實(shí)戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考