如何用Transformers把多人會(huì)議錄音轉(zhuǎn)成文字【免費(fèi)下載鏈接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tra/transformersTransformers 的自動(dòng)語(yǔ)音識(shí)別功能能把一段多人混在一條音軌上的會(huì)議錄音轉(zhuǎn)成文字并用時(shí)間戳標(biāo)出每句話在錄音中的位置。想象一下一場(chǎng)三個(gè)人開的會(huì)錄音里你一句我一句你想快速找到“預(yù)算”那段討論從頭聽完不現(xiàn)實(shí)轉(zhuǎn)成文字并帶上時(shí)間戳后可以直接定位到那幾秒。讀完本文你可以在自己的錄音上跑通這條轉(zhuǎn)寫流程并知道兩個(gè)最影響效果的參數(shù)怎么調(diào)。 先看效果輸入是一段多人同時(shí)說(shuō)話的 WAV 會(huì)議錄音得到的東西是兩部分一段完整文字轉(zhuǎn)寫外加一個(gè)“時(shí)間點(diǎn) 句子”的列表可以順著列表找到某句話出現(xiàn)在錄音的哪一秒。下圖里兩個(gè)人并排干活、聲音混在一起的場(chǎng)景就是模型要處理的狀態(tài)多路人聲同處一條音軌。安裝與環(huán)境準(zhǔn)備環(huán)境假設(shè)Python 3.10Linux 或 macOS。CPU 也能跑有 GPU 會(huì)明顯快一些。最短路徑是兩條命令git clone https://gitcode.com/GitHub_Trending/tra/transformers pip install transformers soundfilesoundfile用來(lái)讀寫 WAV 文件transformers提供識(shí)別管道本身。如果你只想看官方怎么調(diào) ASR 訓(xùn)練參數(shù)語(yǔ)音識(shí)別示例目錄 里有現(xiàn)成腳本可參考。最小可運(yùn)行示例下面是全文唯一的核心代碼塊保存為transcribe.py即可直接運(yùn)行from transformers import pipeline import soundfile as sf asr pipeline(automatic-speech-recognition, modelopenai/whisper-large-v3) audio, sr sf.read(meeting_3people.wav) out asr(audio, sampling_ratesr, chunk_length_s30, batch_size8, return_timestampsTrue) print(out[text]) for seg in out.get(chunks, []): print(seg[timestamp], seg[text])逐行看它在做什么pipeline(automatic-speech-recognition)把識(shí)別模型和音頻特征提取器拼成一條即用管道首次運(yùn)行會(huì)自動(dòng)下載模型權(quán)重sf.read讀出音頻數(shù)據(jù)audio和它的真實(shí)采樣率sr兩者一起傳給管道采樣信息才不會(huì)丟chunk_length_s30讓長(zhǎng)錄音按 30 秒一段切著喂給模型避免整段一次加載導(dǎo)致顯存爆掉return_timestampsTrue給每句附加時(shí)間段這是你之后“定位原錄音位置”的關(guān)鍵最后循環(huán)打印每個(gè)分句的時(shí)間戳和文字meeting_3people.wav換成你自己的文件即可兩個(gè)最關(guān)鍵的參數(shù)怎么選參數(shù)作用建議值chunk_length_s長(zhǎng)錄音切段長(zhǎng)度太短句子容易被攔腰截?cái)嗵L(zhǎng)顯存占用高從 15 到 30 之間試普通會(huì)議錄音取 30 通常穩(wěn)妥sampling_rate告訴管道“這段音頻的真實(shí)采樣率”傳錯(cuò)會(huì)導(dǎo)致語(yǔ)速、音調(diào)判斷異常永遠(yuǎn)傳sf.read返回的sr不要手寫其余參數(shù)保持默認(rèn)即可。如果錄音明顯偏長(zhǎng)且機(jī)器配置高可以調(diào)大batch_size提高吞吐反之就調(diào)小。放進(jìn)真實(shí)項(xiàng)目把轉(zhuǎn)寫接進(jìn)你已有的整理流程思路是先拿到帶時(shí)間戳的句子列表再按關(guān)鍵詞掃描命中就打印所在位置。比如for seg in out[chunks]: if 預(yù)算 in seg[text]: print(原錄音位置(秒):, seg[timestamp][0])驗(yàn)收標(biāo)準(zhǔn)很簡(jiǎn)單把打印出的時(shí)間戳代回原錄音播放對(duì)應(yīng)的發(fā)言內(nèi)容和說(shuō)話順序應(yīng)與轉(zhuǎn)寫一致能對(duì)上說(shuō)明流程已經(jīng)可用下一步再把結(jié)果導(dǎo)出成帶章節(jié)的會(huì)議紀(jì)要。踩坑速查現(xiàn)象轉(zhuǎn)寫整句亂碼、漏詞多。原因兩人聲音重疊。解法重疊說(shuō)話是識(shí)別里最難的部分預(yù)期會(huì)差一些盡量用不重疊的片段做驗(yàn)收?，F(xiàn)象長(zhǎng)錄音一跑就顯存不足。原因一次性處理整段。解法調(diào)小chunk_length_s和batch_size分段喂入?，F(xiàn)象聽感像變了調(diào)時(shí)間對(duì)不上。原因采樣率信息傳錯(cuò)。解法把sf.read返回的sr原樣傳進(jìn)管道或先把音頻重采樣到 16kHz 再讀?，F(xiàn)象第一次運(yùn)行特別慢。原因在下載模型。解法換個(gè)帶寬好的機(jī)器先跑一次把權(quán)重下完之后就走本地緩存。接下來(lái)可以做什么如果轉(zhuǎn)寫在你的目標(biāo)語(yǔ)言上不夠準(zhǔn)可以按 語(yǔ)音識(shí)別示例文檔 里的流程用自己的標(biāo)注數(shù)據(jù)繼續(xù)微調(diào) Whisper 模型。若在示例腳本里發(fā)現(xiàn) bug按 貢獻(xiàn)指南 提交 PR 即可倉(cāng)庫(kù)維護(hù)者會(huì)跟進(jìn)?！久赓M(fèi)下載鏈接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tra/transformers創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考