當(dāng)你家里擺著一臺(tái)天貓精靈卻總希望語(yǔ)音助手偶爾“不正經(jīng)”一點(diǎn)不用官方腔回答問(wèn)題而是張口就接幾句搞笑段子會(huì)是什么體驗(yàn)我最近動(dòng)手驗(yàn)證了一下這個(gè)想法——沒(méi)有去改裝任何市面上現(xiàn)有的智能音箱而是直接用 Python 自己搭了一個(gè)“搞笑天貓精靈”的本地原型。這套原型打通了語(yǔ)音識(shí)別、搞笑回復(fù)生成、語(yǔ)音合成三個(gè)關(guān)鍵環(huán)節(jié)把“用戶(hù)說(shuō)話(huà)”變成“助手講段子”的完整鏈路。無(wú)論你是想練手語(yǔ)音助手類(lèi)項(xiàng)目還是想探索大模型接口的趣味玩法這篇文章都能幫你快速跑通一條可復(fù)現(xiàn)的路線(xiàn)。下面我會(huì)從環(huán)境搭建開(kāi)始逐步拆解每個(gè)模塊并給出完整的可運(yùn)行代碼零基礎(chǔ)也能跟著一步步搭出來(lái)。1. 背景為什么要做一只“搞笑天貓精靈”1.1 什么是“搞笑天貓精靈”這里說(shuō)的“搞笑天貓精靈”并不是某款官方發(fā)布的產(chǎn)品而是一個(gè)基于 Python 開(kāi)發(fā)、模仿智能語(yǔ)音助手交互方式的本地項(xiàng)目原型。它具備以下能力能通過(guò)麥克風(fēng)接收用戶(hù)語(yǔ)音。能把語(yǔ)音轉(zhuǎn)成文本也就是語(yǔ)音識(shí)別ASRAutomatic Speech Recognition。能根據(jù)用戶(hù)輸入生成風(fēng)格幽默的中文回復(fù)。能把回復(fù)文本合成為語(yǔ)音并播放出來(lái)完成一次“聽(tīng)得見(jiàn)”的人機(jī)對(duì)話(huà)。簡(jiǎn)單來(lái)說(shuō)它像是給電腦裝上了一個(gè)“會(huì)講段子的語(yǔ)音助手”用來(lái)模擬智能音箱的交互體驗(yàn)。這種玩法很適合做個(gè)人學(xué)習(xí)項(xiàng)目也很適合作為大模型應(yīng)用開(kāi)發(fā)的入門(mén)案例。1.2 它解決的是什么問(wèn)題市面上的智能音箱通常有嚴(yán)格的安全策略和品牌化文案回復(fù)內(nèi)容偏正式很少允許開(kāi)發(fā)者隨意自定義角色人設(shè)。如果你想快速驗(yàn)證一個(gè)“有個(gè)性、會(huì)開(kāi)玩笑”的語(yǔ)音助手等官方平臺(tái)審核顯然太慢了?！案阈μ熵埦`”這個(gè)項(xiàng)目則繞開(kāi)了平臺(tái)限制直接在本地方案中實(shí)現(xiàn)自定義人設(shè)。你可以自由調(diào)整回復(fù)風(fēng)格、語(yǔ)速、音色甚至把回復(fù)引擎換成不同的大模型觀察同一個(gè)問(wèn)題在不同模型下的幽默表現(xiàn)。它更像一個(gè)“語(yǔ)音交互實(shí)驗(yàn)臺(tái)”而不是一個(gè)必須上線(xiàn)的商業(yè)產(chǎn)品。1.3 適合哪些人學(xué)習(xí)剛學(xué)完 Python 基礎(chǔ)想做一個(gè)有實(shí)時(shí)交互感的綜合項(xiàng)目。對(duì)語(yǔ)音識(shí)別、語(yǔ)音合成技術(shù)感興趣想快速集成驗(yàn)證效果。想了解大模型接口如何接入真實(shí)業(yè)務(wù)而不是只做 Hello World。想給孩子或朋友做一個(gè)“搞笑小音箱”的極客玩家。2. 整體架構(gòu)與核心概念2.1 系統(tǒng)工作流程整個(gè)項(xiàng)目按一次對(duì)話(huà)的流程可以拆成四步用戶(hù)說(shuō)話(huà)程序通過(guò)麥克風(fēng)采集音頻數(shù)據(jù)。語(yǔ)音識(shí)別將音頻數(shù)據(jù)轉(zhuǎn)換為文字這里使用SpeechRecognition庫(kù)。生成回復(fù)把文字交給“搞笑回復(fù)引擎”引擎根據(jù)預(yù)置規(guī)則或大模型生成幽默文本。語(yǔ)音播放調(diào)用 TTSText-to-Speech文本轉(zhuǎn)語(yǔ)音模塊把回復(fù)文本變成語(yǔ)音文件再播放給用戶(hù)。流程結(jié)束后繼續(xù)循環(huán)直到用戶(hù)說(shuō)“退出”“再見(jiàn)”等指令才停止。2.2 核心模塊劃分模塊職責(zé)可選技術(shù)ASR 模塊將麥克風(fēng)聲音轉(zhuǎn)為中文文本SpeechRecognition、faster-whisper、FunASR回復(fù)引擎根據(jù)文本生成搞笑回復(fù)本地規(guī)則庫(kù)、Ollama 本地大模型、OpenAI 兼容接口TTS 模塊將回復(fù)文本合成為語(yǔ)音edge-tts、pyttsx3播放模塊播放生成的語(yǔ)音文件pygame、系統(tǒng)播放器我在設(shè)計(jì)上刻意把各模塊拆開(kāi)這樣以后替換任何一端都不會(huì)影響整體結(jié)構(gòu)。比如今天用的是規(guī)則回復(fù)明天想換成大模型只需要改config.py里的引擎開(kāi)關(guān)。2.3 為什么采用“可插拔式”設(shè)計(jì)語(yǔ)音助手項(xiàng)目最容易被“流程耦合”拖垮。如果語(yǔ)音識(shí)別、回復(fù)生成、語(yǔ)音合成寫(xiě)在一個(gè)大函數(shù)里后期想調(diào)試某個(gè)環(huán)節(jié)會(huì)非常痛苦。所以我選擇基于模塊化的思路每個(gè)文件只負(fù)責(zé)一塊職責(zé)接口統(tǒng)一為函數(shù)或類(lèi)方法最終在main.py中像拼積木一樣組合起來(lái)。這種設(shè)計(jì)還有一個(gè)好處當(dāng)某一步出錯(cuò)時(shí)你可以單獨(dú)調(diào)用對(duì)應(yīng)模塊做單元驗(yàn)證。3. 環(huán)境準(zhǔn)備與依賴(lài)安裝3.1 基礎(chǔ)運(yùn)行環(huán)境操作系統(tǒng)Windows 10/11、macOS、Linux 均可本文以 Windows 為主演示命令。Python 版本建議 3.9 或更高版本本文示例按 3.10 語(yǔ)法編寫(xiě)。麥克風(fēng)需要準(zhǔn)備一個(gè)可用的麥克風(fēng)設(shè)備筆記本自帶的也可以。網(wǎng)絡(luò)在線(xiàn)語(yǔ)音識(shí)別和在線(xiàn)語(yǔ)音合成需要網(wǎng)絡(luò)但本地規(guī)則回復(fù)模式不依賴(lài)大模型網(wǎng)絡(luò)。如果你在 Linux 服務(wù)器上運(yùn)行還需要確保有音頻采集設(shè)備和 ALSA/PulseAudio 驅(qū)動(dòng)如果沒(méi)有物理聲卡可以改裝服務(wù)器語(yǔ)音接口。3.2 創(chuàng)建項(xiàng)目目錄與虛擬環(huán)境建議為項(xiàng)目單獨(dú)創(chuàng)建虛擬環(huán)境避免污染系統(tǒng) Python。mkdir funny_tmall cd funny_tmall python -m venv venvWindows 下激活虛擬環(huán)境venv\Scripts\activatemacOS / Linux 下激活虛擬環(huán)境source venv/bin/activate3.3 安裝依賴(lài)庫(kù)創(chuàng)建requirements.txt文件內(nèi)容如下SpeechRecognition pyaudio edge-tts pygame pyttsx3 requests這里不鎖具體版本建議安裝時(shí)保持最新穩(wěn)定版。執(zhí)行安裝pip install -r requirements.txt如果你的系統(tǒng)是 Windowspyaudio一般能直接安裝成功如果在 Linux 下安裝失敗通常是因?yàn)槿鄙倬幾g依賴(lài)需要先安裝sudo apt update sudo apt install portaudio19-dev python3-pyaudio3.4 可選安裝本地大模型如果你后續(xù)想嘗試大模型驅(qū)動(dòng)的搞笑回復(fù)有兩種方式安裝 Ollama然后拉取一個(gè)中文能力不錯(cuò)的模型比如ollama pull qwen2.5:3b使用 OpenAPI 兼容的在線(xiàn)模型接口準(zhǔn)備一個(gè) API Key。兩種方式對(duì)應(yīng)config.py中的不同引擎配置。4. 核心模塊拆解一語(yǔ)音識(shí)別4.1 為什么需要語(yǔ)音識(shí)別語(yǔ)音識(shí)別是整個(gè)交互鏈路的入口。程序必須先從麥克風(fēng)數(shù)據(jù)中提取出文字才能進(jìn)一步生成回復(fù)。這里的難點(diǎn)不是“識(shí)別算法”而是“如何穩(wěn)定地采集噪聲環(huán)境下的語(yǔ)音”。Python 的SpeechRecognition庫(kù)幫我們屏蔽了底層音頻采集細(xì)節(jié)直接封裝了多種識(shí)別引擎接口非常適合快速開(kāi)發(fā)。4.2 基礎(chǔ)語(yǔ)音識(shí)別代碼下面是一個(gè)最基礎(chǔ)的錄音識(shí)別示例可以提前驗(yàn)證環(huán)境是否正常import speech_recognition as sr recognizer sr.Recognizer() with sr.Microphone() as source: print(請(qǐng)說(shuō)話(huà)……) # 自動(dòng)適應(yīng)環(huán)境噪聲避免把背景音當(dāng)成主要內(nèi)容 recognizer.adjust_for_ambient_noise(source, duration0.5) audio recognizer.listen(source, timeout10, phrase_time_limit15) try: text recognizer.recognize_google(audio, languagezh-CN) print(識(shí)別結(jié)果, text) except sr.UnknownValueError: print(沒(méi)有聽(tīng)清楚) except sr.RequestError as e: print(識(shí)別服務(wù)請(qǐng)求失敗, e)這里有幾個(gè)關(guān)鍵點(diǎn)要說(shuō)明adjust_for_ambient_noise(source, duration0.5)會(huì)先采集 0.5 秒的環(huán)境噪音用來(lái)計(jì)算背景噪聲閾值。listen(source, timeout10, phrase_time_limit15)表示最長(zhǎng)等待 10 秒開(kāi)口單次語(yǔ)音最長(zhǎng)識(shí)別 15 秒。recognize_google是免費(fèi)的在線(xiàn)識(shí)別接口但它依賴(lài) Google 服務(wù)。國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境下可能出現(xiàn)請(qǐng)求超時(shí)如果頻繁失敗建議改用本地 Whisper 或國(guó)內(nèi)云廠商的 ASR 服務(wù)。4.3 語(yǔ)音識(shí)別容易踩的坑第一個(gè)坑是麥克風(fēng)權(quán)限。Windows 和 macOS 都會(huì)在首次錄音時(shí)彈出權(quán)限詢(xún)問(wèn)如果你在終端里運(yùn)行程序需要確認(rèn)終端有麥克風(fēng)訪問(wèn)權(quán)限。第二個(gè)坑是環(huán)境噪音。如果所在環(huán)境比較嘈雜識(shí)別準(zhǔn)確率會(huì)明顯下降。解決辦法是把duration調(diào)大一些或者放在安靜房間測(cè)試。第三個(gè)坑是識(shí)別結(jié)果為空。當(dāng)用戶(hù)只說(shuō)了語(yǔ)氣詞或背景音太輕時(shí)recognize_google會(huì)拋出UnknownValueError。在實(shí)際項(xiàng)目中通常會(huì)把返回結(jié)果統(tǒng)一轉(zhuǎn)換成空字符串然后在主流程里提示用戶(hù)重新說(shuō)話(huà)。4.4 擴(kuò)展無(wú)網(wǎng)絡(luò)環(huán)境本地識(shí)別如果你需要在離線(xiàn)環(huán)境使用可以考慮faster-whisper或FunASR。這些庫(kù)可以完全本地運(yùn)行只是首次運(yùn)行需要下載模型文件占用內(nèi)存更大但識(shí)別準(zhǔn)確率也很不錯(cuò)。由于安裝方式因環(huán)境差異較大這里不展開(kāi)寫(xiě)死網(wǎng)上可以找到對(duì)應(yīng)的安裝命令思路是把recognize_once()函數(shù)的內(nèi)部實(shí)現(xiàn)替換為本地模型推理即可。5. 核心模塊拆解二搞笑回復(fù)生成5.1 三種回復(fù)引擎的設(shè)計(jì)回復(fù)引擎是整個(gè)項(xiàng)目的“靈魂”。我設(shè)計(jì)了三種模式都通過(guò)config.py中的CHAT_ENGINE來(lái)控制rule基于預(yù)置規(guī)則和冷笑話(huà)列表完全離線(xiàn)運(yùn)行穩(wěn)定。ollama調(diào)用本地大模型讓模型理解用戶(hù)輸入后生成幽默回復(fù)。openai調(diào)用 OpenAI 兼容接口適合有云端大模型 Key 的開(kāi)發(fā)者。這樣設(shè)計(jì)的目的是讓項(xiàng)目有一個(gè)穩(wěn)定的“保底模式”。即使你沒(méi)有大模型環(huán)境也能先跑通整個(gè)語(yǔ)音交互流程。5.2 規(guī)則模式的實(shí)現(xiàn)規(guī)則模式最簡(jiǎn)單直接import random class RuleChatter: def __init__(self): self.funny_replies [ 這個(gè)問(wèn)題嘛我建議你先打開(kāi)手電筒因?yàn)榇鸢柑亮恕? 我剛在數(shù)據(jù)庫(kù)里翻了半天只找到一條開(kāi)心點(diǎn)人間不值得。, 你確定要聽(tīng)真話(huà)嗎真話(huà)有點(diǎn)貴要加五毛錢(qián)的電。, 其實(shí)我是一只被關(guān)在音箱里的小精靈老板說(shuō)今天講三個(gè)段子才能下班。, 這個(gè)問(wèn)題超綱了我還在學(xué)說(shuō)話(huà)你已經(jīng)學(xué)做人了。, ] def get_reply(self, user_text: str) - str: return random.choice(self.funny_replies)這種方式的優(yōu)點(diǎn)是零成本、零網(wǎng)絡(luò)依賴(lài)缺點(diǎn)是同一批段子會(huì)重復(fù)聽(tīng)多了就膩。它適合先驗(yàn)證鏈路不適合長(zhǎng)期使用。5.3 大模型模式與提示詞設(shè)計(jì)大模型模式需要給模型設(shè)計(jì)合理的“人設(shè)提示詞”。這其實(shí)是決定搞笑效果的關(guān)鍵PROMPT_TEMPLATE 你現(xiàn)在扮演一只叫“天貓”的搞笑語(yǔ)音助手。 請(qǐng)用幽默、口語(yǔ)化、簡(jiǎn)短的中文回答用戶(hù)的話(huà)。 你可以用冷笑話(huà)、俏皮話(huà)、自嘲的方式回應(yīng)但要注意 1. 不要侮辱用戶(hù)不要涉及敏感話(huà)題。 2. 回復(fù)控制在 50 個(gè)字以?xún)?nèi)因?yàn)樽罱K會(huì)被語(yǔ)音合成出來(lái)。 用戶(hù)說(shuō){question} 這里有一段值得注意的經(jīng)驗(yàn)提示詞里一定要強(qiáng)調(diào)“回復(fù)簡(jiǎn)短”因?yàn)檎Z(yǔ)音合成對(duì)長(zhǎng)文本很不友好。一旦模型生成一大段小作文用戶(hù)聽(tīng)起來(lái)的體驗(yàn)會(huì)非常差。你應(yīng)該在提示詞里把字?jǐn)?shù)限制寫(xiě)清楚而不是讓模型自己發(fā)揮。對(duì)于 Ollama可以在代碼中請(qǐng)求它的本地接口import requests class OllamaChatter: def __init__(self, base_url, model): self.base_url base_url self.model model def get_reply(self, user_text: str) - str: prompt PROMPT_TEMPLATE.format(questionuser_text) payload { model: self.model, messages: [{role: user, content: prompt}], stream: False, } response requests.post( f{self.base_url}/api/chat, jsonpayload, timeout60, ) data response.json() return data.get(message, {}).get(content, 我一時(shí)語(yǔ)塞了。)對(duì)于 OpenAI 兼容接口思路類(lèi)似只是請(qǐng)求地址和參數(shù)格式略有不同。你可以按自己使用的云廠商文檔微調(diào)。5.4 統(tǒng)一的工廠方法為了讓main.py只改一個(gè)配置就能切換引擎我提供一個(gè)工廠方法def create_chatter(engine: str): if engine ollama: return OllamaChatter( base_urlconfig.OLLAMA_BASE_URL, modelconfig.OLLAMA_MODEL, ) if engine openai: return OpenAIChatter( api_keyconfig.OPENAI_API_KEY, modelconfig.OPENAI_MODEL, ) return RuleChatter()這樣主程序完全不需要關(guān)心底層回復(fù)邏輯是怎么實(shí)現(xiàn)的。6. 核心模塊拆解三語(yǔ)音合成與播放6.1 語(yǔ)音合成方案選型語(yǔ)音合成方案我對(duì)比過(guò)兩類(lèi)方案優(yōu)點(diǎn)缺點(diǎn)edge-tts音色自然、中文效果好、調(diào)用簡(jiǎn)單需要聯(lián)網(wǎng)依賴(lài)微軟服務(wù)pyttsx3完全離線(xiàn)、無(wú)需網(wǎng)絡(luò)音色機(jī)械但作為備用無(wú)縫切換本文主推edge-tts因?yàn)樗傻囊糍|(zhì)更接近真實(shí)語(yǔ)音適合演示項(xiàng)目。如果網(wǎng)絡(luò)不穩(wěn)定代碼里可以自動(dòng)降級(jí)到pyttsx3。6.2 edge-tts 合成示例edge-tts提供了豐富的音色列表本文使用zh-CN-XiaoxiaoNeural這是常見(jiàn)的中文女聲音色import asyncio import os from datetime import datetime import edge_tts async def edge_tts_speak(text: str, voice: str, output_path: str): communicate edge_tts.Communicate(text, voice) await communicate.save(output_path) def synthesize(text: str, voice: str, output_dir: str) - str | None: os.makedirs(output_dir, exist_okTrue) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) output_path os.path.join(output_dir, fresponse_{timestamp}.mp3) try: # 注意這里是獨(dú)立腳本入口可以直接使用 asyncio.run asyncio.run(edge_tts_speak(text, voice, output_path)) return output_path except Exception as e: print(fedge-tts 合成失敗{e}) return None有一點(diǎn)需要特別提醒a(bǔ)syncio.run()不能在一個(gè)已經(jīng)運(yùn)行的事件循環(huán)中調(diào)用。因?yàn)楸卷?xiàng)目的main.py是普通的同步代碼所以沒(méi)問(wèn)題但如果你把它嵌入到 FastAPI 或其他異步框架里需要調(diào)整寫(xiě)法。6.3 音頻播放生成出來(lái)的 MP3 文件需要播放給用戶(hù)聽(tīng)。我選擇pygame來(lái)播放因?yàn)樗诓煌脚_(tái)上的兼容性較好import os import pygame def play_audio(path: str): if not path or not os.path.exists(path): return try: pygame.mixer.init() pygame.mixer.music.load(path) pygame.mixer.music.play() # 等待播放完成 while pygame.mixer.music.get_busy(): pygame.time.Clock().tick(10) except Exception as e: print(f音頻播放失敗{e})注意如果你在服務(wù)端環(huán)境中運(yùn)行沒(méi)有聲卡設(shè)備pygame.mixer.init()會(huì)失敗。此時(shí)可以把播放邏輯替換成“保存文件成功后返回路徑再由外部播放器處理”。7. 完整項(xiàng)目代碼與運(yùn)行7.1 最終項(xiàng)目結(jié)構(gòu)funny_tmall/ ├── main.py ├── config.py ├── asr.py ├── chatbot.py ├── tts.py ├── requirements.txt └── output/其中output/保存每次生成的語(yǔ)音文件可以先手動(dòng)創(chuàng)建也可以在代碼里通過(guò)os.makedirs自動(dòng)創(chuàng)建。7.2 配置文件 config.py 全局配置語(yǔ)音識(shí)別、回復(fù)引擎、語(yǔ)音合成。 # 回復(fù)引擎rule / ollama / openai CHAT_ENGINE rule # 語(yǔ)音識(shí)別語(yǔ)言 ASR_LANGUAGE zh-CN # 大模型配置Ollama 方式 OLLAMA_BASE_URL http://127.0.0.1:11434 OLLAMA_MODEL qwen2.5:3b # OpenAI 兼容方式可選 OPENAI_BASE_URL https://api.openai.com/v1 OPENAI_API_KEY sk-your-key OPENAI_MODEL gpt-4o-mini # 語(yǔ)音合成配置edge / pyttsx3 TTS_ENGINE edge TTS_VOICE zh-CN-XiaoxiaoNeural TTS_OUTPUT_DIR output # 退出指令 EXIT_COMMANDS {退出, 拜拜, 再見(jiàn), 不聊了}7.3 語(yǔ)音識(shí)別模塊 asr.py 語(yǔ)音識(shí)別模塊把麥克風(fēng)采集到的聲音轉(zhuǎn)成中文文本。 import speech_recognition as sr def recognize_once(timeout10, phrase_time_limit15): 識(shí)別一次用戶(hù)語(yǔ)音。 返回識(shí)別到的文本如果識(shí)別失敗或沒(méi)聽(tīng)清返回空字符串。 recognizer sr.Recognizer() with sr.Microphone() as source: recognizer.adjust_for_ambient_noise(source, duration0.5) audio recognizer.listen( source, timeouttimeout, phrase_time_limitphrase_time_limit, ) try: text recognizer.recognize_google( audio, languagezh-CN, ) return text.strip() except sr.UnknownValueError: # 沒(méi)聽(tīng)清交給上層提示 return except sr.RequestError as e: print(f語(yǔ)音識(shí)別服務(wù)請(qǐng)求失敗{e}) return 7.4 回復(fù)生成模塊 chatbot.py 回復(fù)生成模塊本地規(guī)則版 大模型版。 import random import requests import config PROMPT_TEMPLATE 你現(xiàn)在扮演一只叫“天貓”的搞笑語(yǔ)音助手。 請(qǐng)用幽默、口語(yǔ)化、簡(jiǎn)短的中文回答用戶(hù)的話(huà)。 你可以用冷笑話(huà)、俏皮話(huà)、自嘲的方式回應(yīng)但 1. 不要侮辱用戶(hù)不要涉及敏感話(huà)題。 2. 回復(fù)控制在 50 個(gè)字以?xún)?nèi)。 用戶(hù)說(shuō){question} class RuleChatter: 離線(xiàn)可運(yùn)行的搞笑回復(fù)器。 def __init__(self): self.funny_replies [ 這個(gè)問(wèn)題嘛我建議你先打開(kāi)手電筒因?yàn)榇鸢柑亮恕? 我剛在數(shù)據(jù)庫(kù)里翻了半天只找到一條開(kāi)心點(diǎn)人間不值得。, 你確定要聽(tīng)真話(huà)嗎真話(huà)有點(diǎn)貴要加五毛錢(qián)的電。, 其實(shí)我是一只被關(guān)在音箱里的小精靈老板說(shuō)今天講三個(gè)段子才能下班。, 這個(gè)問(wèn)題超綱了我還在學(xué)說(shuō)話(huà)你已經(jīng)學(xué)做人了。, ] def get_reply(self, user_text: str) - str: return random.choice(self.funny_replies) class OllamaChatter: 調(diào)用本地 Ollama 模型的回復(fù)器。 def __init__(self, base_url: str, model: str): self.base_url base_url self.model model def get_reply(self, user_text: str) - str: prompt PROMPT_TEMPLATE.format(questionuser_text) payload { model: self.model, messages: [{role: user, content: prompt}], stream: False, } response requests.post( f{self.base_url}/api/chat, jsonpayload, timeout60, ) data response.json() return data.get(message, {}).get(content, 我一時(shí)語(yǔ)塞了。) class OpenAIChatter: 調(diào)用 OpenAI 兼容接口的回復(fù)器。 def __init__(self, api_key: str, model: str, base_url: str): self.api_key api_key self.model model self.base_url base_url def get_reply(self, user_text: str) - str: prompt PROMPT_TEMPLATE.format(questionuser_text) payload { model: self.model, messages: [{role: user, content: prompt}], } headers { Authorization: fBearer {self.api_key}, Content-Type: application/json, } response requests.post( f{self.base_url}/chat/completions, jsonpayload, headersheaders, timeout60, ) data response.json() try: return data[choices][0][message][content] except (KeyError, IndexError): return 我一時(shí)語(yǔ)塞了。 def create_chatter(engine: str): if engine ollama: return OllamaChatter( base_urlconfig.OLLAMA_BASE_URL, modelconfig.OLLAMA_MODEL, ) if engine openai: return OpenAIChatter( base_urlconfig.OPENAI_BASE_URL, api_keyconfig.OPENAI_API_KEY, modelconfig.OPENAI_MODEL, ) return RuleChatter()7.5 語(yǔ)音合成模塊 tts.py 語(yǔ)音合成模塊把文本轉(zhuǎn)為語(yǔ)音文件并播放。 import asyncio import os from datetime import datetime import edge_tts async def edge_tts_speak(text: str, voice: str, output_path: str): communicate edge_tts.Communicate(text, voice) await communicate.save(output_path) def synthesize(text: str, voice: str, output_dir: str) - str | None: os.makedirs(output_dir, exist_okTrue) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) output_path os.path.join(output_dir, fresponse_{timestamp}.mp3) try: asyncio.run(edge_tts_speak(text, voice, output_path)) return output_path except Exception as e: print(fedge-tts 合成失敗{e}) return None7.6 主程序 main.py 主程序入口負(fù)責(zé)整個(gè)對(duì)話(huà)循環(huán)。 import os import pygame import config from asr import recognize_once from chatbot import create_chatter from tts import synthesize def play_audio(path: str): if not path or not os.path.exists(path): return try: pygame.mixer.init() pygame.mixer.music.load(path) pygame.mixer.music.play() while pygame.mixer.music.get_busy(): pygame.time.Clock().tick(10) except Exception as e: print(f音頻播放失敗{e}) def main(): print(啟動(dòng)搞笑天貓精靈……) chatter create_chatter(config.CHAT_ENGINE) print(f回復(fù)引擎{config.CHAT_ENGINE}) print(說(shuō)“退出”可以結(jié)束對(duì)話(huà)開(kāi)始吧) while True: # 1. 語(yǔ)音識(shí)別 text recognize_once() if text : print(沒(méi)聽(tīng)清再試一次) continue print(f識(shí)別結(jié)果{text}) # 2. 檢查退出指令 if any(word in text for word in config.EXIT_COMMANDS): print(好的收工了我去充電了。) break # 3. 生成搞笑回復(fù) reply chatter.get_reply(text) print(f回復(fù){reply}) # 4. 語(yǔ)音合成并播放 audio_path synthesize( reply, config.TTS_VOICE, config.TTS_OUTPUT_DIR, ) play_audio(audio_path) if __name__ __main__: try: main() except KeyboardInterrupt: print(\n用戶(hù)手動(dòng)退出。)8. 運(yùn)行與驗(yàn)證8.1 啟動(dòng)方式在項(xiàng)目根目錄下執(zhí)行python main.py第一次運(yùn)行時(shí)Windows 會(huì)彈出麥克風(fēng)權(quán)限授權(quán)窗口需要點(diǎn)擊“允許”。程序啟動(dòng)后會(huì)輸出類(lèi)似下面的信息啟動(dòng)搞笑天貓精靈…… 回復(fù)引擎rule 說(shuō)“退出”可以結(jié)束對(duì)話(huà)開(kāi)始吧這時(shí)對(duì)著麥克風(fēng)說(shuō)一句“講個(gè)笑話(huà)”程序會(huì)先顯示識(shí)別結(jié)果再生成搞笑回復(fù)最后播放語(yǔ)音。8.2 預(yù)期輸出示例一個(gè)典型的交互過(guò)程如下請(qǐng)說(shuō)話(huà)…… 識(shí)別結(jié)果講一個(gè)冷笑話(huà) 回復(fù)我剛在數(shù)據(jù)庫(kù)里翻了半天只找到一條開(kāi)心點(diǎn)人間不值得。如果你的麥克風(fēng)正常、網(wǎng)絡(luò)正常此時(shí)電腦會(huì)播放出對(duì)應(yīng)的語(yǔ)音。8.3 切換回復(fù)引擎想驗(yàn)證大模型效果時(shí)只需要修改config.pyCHAT_ENGINE ollama然后確保 Ollama 服務(wù)已啟動(dòng)并已拉取對(duì)應(yīng)模型ollama serve ollama pull qwen2.5:3b重新運(yùn)行python main.py程序就會(huì)調(diào)用本地大模型生成回復(fù)。相比規(guī)則模式大模型模式會(huì)明顯“更懂人話(huà)”也能接住更多類(lèi)型的提問(wèn)。9. 常見(jiàn)問(wèn)題與排查思路問(wèn)題現(xiàn)象常見(jiàn)原因解決思路pyaudio安裝失敗Linux 缺少 portaudio 編譯依賴(lài)安裝portaudio19-dev后重試語(yǔ)音識(shí)別總是超時(shí)麥克風(fēng)權(quán)限未開(kāi)啟、環(huán)境噪音過(guò)大檢查系統(tǒng)隱私權(quán)限把duration調(diào)大recognize_google請(qǐng)求失敗網(wǎng)絡(luò)無(wú)法訪問(wèn) Google 服務(wù)改用本地 Whisper 或國(guó)內(nèi)云 ASR 服務(wù)edge-tts 合成失敗網(wǎng)絡(luò)異?；蚵曇裘Q(chēng)寫(xiě)錯(cuò)先檢查網(wǎng)絡(luò)再列出可用音色或降級(jí)為 pyttsx3asyncio.run()報(bào)錯(cuò)在已有事件循環(huán)中調(diào)用確保synthesize不被異步代碼直接調(diào)用播放沒(méi)有聲音系統(tǒng)輸出設(shè)備不正確檢查默認(rèn)音箱/耳機(jī)設(shè)備確認(rèn)音量識(shí)別結(jié)果總是空字符串說(shuō)話(huà)音量過(guò)低、間隔過(guò)短調(diào)整拾音距離或把環(huán)境降噪時(shí)間縮短到 0.3 秒如果你是第一次跑語(yǔ)音項(xiàng)目我建議按下面順序排查先用系統(tǒng)錄音機(jī)測(cè)試麥克風(fēng)是否正常。單獨(dú)運(yùn)行一個(gè)最小 ASR 腳本確認(rèn)識(shí)別功能可用。再運(yùn)行完整主程序避免把“麥克風(fēng)問(wèn)題”誤當(dāng)成“程序問(wèn)題”。10. 最佳實(shí)踐與工程建議10.1 配置統(tǒng)一管理不要把 API Key、模型名稱(chēng)、音色名稱(chēng)散落在各個(gè)代碼文件里。把所有可能變化的內(nèi)容集中到config.py一方面方便修改另一方面也方便誤提交時(shí)統(tǒng)一檢查。尤其是 API Key不要硬編碼在代碼中并推送到公開(kāi)倉(cāng)庫(kù)。10.2 日志與會(huì)話(huà)記錄做語(yǔ)音助手項(xiàng)目時(shí)最有效的調(diào)試手段是“查看歷史對(duì)話(huà)”。建議在生成回復(fù)前把識(shí)別文本和回復(fù)文本同時(shí)寫(xiě)入本地日志文件import datetime def write_log(user_text, reply): with open(logs/chat.log, a, encodingutf-8) as f: f.write( f{datetime.datetime.now()} | 用戶(hù){user_text} | 回復(fù){reply}\n )這樣當(dāng)你發(fā)現(xiàn)某些回復(fù)不好笑或者在排查問(wèn)題的時(shí)候可以直接翻日志而不需要一直錄音重放。10.3 安全與隱私邊界本項(xiàng)目會(huì)采集用戶(hù)語(yǔ)音并可能把文本發(fā)送給云服務(wù)進(jìn)行識(shí)別和回復(fù)。建議做到明確告訴用戶(hù)正在錄音。每次對(duì)話(huà)結(jié)束后及時(shí)清理不再需要的臨時(shí)音頻文件。對(duì)外調(diào)用大模型時(shí)不要傳輸身份證號(hào)、手機(jī)號(hào)等敏感個(gè)人信息。在公開(kāi)環(huán)境下演示時(shí)最好先用規(guī)則模式避免外部 API 產(chǎn)生額外費(fèi)用。10.4 提示詞工程要落地用大模型做搞笑助手時(shí)光寫(xiě)“你要幽默一點(diǎn)”是不夠的。你需要把“回復(fù)長(zhǎng)度”“禁止內(nèi)容”“說(shuō)話(huà)風(fēng)格”都寫(xiě)清楚。我建議在提示詞里加入負(fù)面約束比如“不要侮辱用戶(hù)”因?yàn)檎Z(yǔ)音助手聽(tīng)感上很接近真人攻擊性?xún)?nèi)容會(huì)造成極其不好的體驗(yàn)。10.5 生產(chǎn)環(huán)境還要注意什么如果這個(gè)項(xiàng)目將來(lái)要部署成服務(wù)而不是本地跑通還需要額外考慮API 接口鑒權(quán)避免被惡意刷接口。限制單次語(yǔ)音時(shí)長(zhǎng)和并發(fā)數(shù)。對(duì)用戶(hù)輸入做內(nèi)容安全過(guò)濾。使用消息隊(duì)列處理長(zhǎng)時(shí)間 TTS 合成任務(wù)。把音頻文件上傳到對(duì)象存儲(chǔ)避免本地磁盤(pán)無(wú)限增長(zhǎng)。但對(duì)于一個(gè)練手項(xiàng)目上面的建議可以先用簡(jiǎn)單方式實(shí)現(xiàn)不必一步到位。11. 總結(jié)與后續(xù)擴(kuò)展方向本文從零搭建了一個(gè)“搞笑天貓精靈”的語(yǔ)音助手原型完整覆蓋了語(yǔ)音識(shí)別、搞笑回復(fù)生成、語(yǔ)音合成和播放四個(gè)核心環(huán)節(jié)并給出了可切換規(guī)則模式和大模型模式的工程結(jié)構(gòu)。跑通第一版后你可以沿著幾個(gè)方向繼續(xù)玩下去。如果想提升助理的“記憶力”可以引入向量數(shù)據(jù)庫(kù)讓它記住用戶(hù)之前說(shuō)過(guò)的話(huà)題如果想讓語(yǔ)音反饋更自然可以把 edge-tts 換成更高級(jí)的語(yǔ)音合成方案比如聲音克隆或者情緒語(yǔ)音如果想讓對(duì)話(huà)更豐富可以接入天氣、時(shí)間、新聞等 API讓“搞笑助手”不只是講段子還能真正解決小問(wèn)題。我個(gè)人的建議是不要急著把所有功能堆在一起先把語(yǔ)音鏈路跑通再用規(guī)則模式驗(yàn)證交互體驗(yàn)最后再換大模型。語(yǔ)音項(xiàng)目的調(diào)試比普通 Web 項(xiàng)目更依賴(lài)“聽(tīng)感”你只有反復(fù)聽(tīng)、反復(fù)改提示詞和音色才能找到最適合自己場(chǎng)景的搭配。調(diào)試麥克風(fēng)時(shí)如果經(jīng)常識(shí)別失敗可以先用文本輸入模式模擬用戶(hù)輸入這樣能更快定位是識(shí)別環(huán)節(jié)還是回復(fù)環(huán)節(jié)出了問(wèn)題。希望這篇文章能幫你起步期待你也能做出一個(gè)屬于自己的“搞笑語(yǔ)音助手”。