：從零構(gòu)建大模型應(yīng)用)
在實際 AI 項目開發(fā)和學(xué)習(xí)過程中獲取穩(wěn)定、可靠且成本可控的大模型服務(wù)是首要挑戰(zhàn)。無論是進行應(yīng)用原型驗證、API 集成測試還是開展個人研究直接調(diào)用商業(yè) API 可能面臨費用高昂、額度有限或網(wǎng)絡(luò)延遲等問題。而本地部署則需要強大的硬件支持對初學(xué)者和中小團隊門檻較高。因此尋找一個提供強大模型能力、具備充足免費額度且易于上手的云平臺成為許多開發(fā)者的迫切需求。阿里云百煉平臺正是在此背景下為開發(fā)者提供的一站式大模型服務(wù)。它集成了國內(nèi)外主流的優(yōu)秀模型并提供了包括免費額度在內(nèi)的多種計費方式旨在降低大模型的應(yīng)用門檻。本文將圍繞如何利用阿里云百煉平臺特別是其免費資源來快速開啟你的大模型應(yīng)用之旅。我們將從平臺核心概念講起逐步完成賬號開通、環(huán)境準(zhǔn)備、模型調(diào)用、應(yīng)用開發(fā)的全流程并深入探討在生產(chǎn)環(huán)境中如何優(yōu)化成本與性能。無論你是希望體驗最新國產(chǎn)大模型 Qwen 系列的能力還是需要一個穩(wěn)定的開發(fā)測試環(huán)境本文都將提供一條清晰的實踐路徑。1. 理解阿里云百煉一站式大模型服務(wù)平臺阿里云百煉并非一個單一的大模型而是一個集成了模型服務(wù)、應(yīng)用開發(fā)、部署運維等能力的平臺。你可以將其理解為大模型時代的“云服務(wù)市場”和“開發(fā)工具包”的結(jié)合體。它的核心價值在于將模型訓(xùn)練、推理的復(fù)雜基礎(chǔ)設(shè)施封裝起來讓開發(fā)者能夠像調(diào)用普通 API 一樣便捷地使用各種頂尖的大語言模型。1.1 平臺的核心組件與工作流百煉平臺主要包含以下幾個核心組件模型服務(wù)這是平臺的核心提供了包括通義千問Qwen、Baichuan、ChatGLM 等在內(nèi)的多種國產(chǎn)及國際主流大模型。每個模型都以 API 的形式提供服務(wù)開發(fā)者無需關(guān)心底層 GPU 集群和推理框架。應(yīng)用開發(fā)工作臺提供了一個低代碼/無代碼的界面允許開發(fā)者通過拖拽組件的方式快速構(gòu)建基于大模型的智能應(yīng)用如智能客服、內(nèi)容生成助手等。模型精調(diào)Fine-tuning支持對平臺上的基礎(chǔ)模型進行定制化訓(xùn)練。你可以上傳自己的數(shù)據(jù)集在基礎(chǔ)模型上進行微調(diào)以使其更適應(yīng)你的特定業(yè)務(wù)場景如法律、醫(yī)療、金融領(lǐng)域的專業(yè)問答。模型部署與管理對于精調(diào)后的模型或自行接入的模型平臺提供部署能力并配套了監(jiān)控、日志、版本管理等運維功能。對于大多數(shù)開發(fā)者尤其是入門和原型開發(fā)階段最常用的是模型服務(wù)和應(yīng)用開發(fā)工作臺。典型的工作流是在平臺上創(chuàng)建應(yīng)用 - 為應(yīng)用配置一個或多個模型 API - 在代碼中通過 SDK 或 HTTP 請求調(diào)用這些 API - 構(gòu)建最終的用戶交互界面。1.2 免費資源與計費模式解析免費資源是吸引開發(fā)者的關(guān)鍵。阿里云百煉通常為新用戶或特定活動提供免費額度這可能包括免費 tokens例如新用戶注冊或完成實名認(rèn)證后贈送一定量的 tokens如 100萬、1000萬甚至上億。Token 是計費單位可以理解為模型處理文本的“字?jǐn)?shù)”或“單元”。無論是輸入Prompt還是輸出Completion都會消耗 tokens。免費試用服務(wù)器/資源包有時平臺會推出“免費試用”活動贈送一定時長如一個月的特定規(guī)格的模型服務(wù)資源包在額度內(nèi)可免費使用。注意免費額度通常有有效期限制如一個月內(nèi)有效且可能僅適用于部分特定模型如 Qwen-Max 系列或較低 QPS每秒查詢率。超出免費額度后將按量計費。務(wù)必在控制臺查看清楚免費額度的具體規(guī)則、適用范圍和到期時間。常規(guī)的計費模式是按調(diào)用量即消耗的 tokens計費。不同模型的單價不同通常性能越強、上下文窗口越大的模型單價越高。例如Qwen2.5-72B-Instruct 的單價會高于 Qwen2.5-7B-Instruct。2. 環(huán)境準(zhǔn)備與賬號開通在開始編碼之前你需要完成阿里云賬號的注冊、實名認(rèn)證并在百煉平臺開通服務(wù)。2.1 注冊與實名認(rèn)證訪問阿里云官網(wǎng)打開瀏覽器訪問阿里云官方網(wǎng)站。注冊賬號如果你沒有阿里云賬號點擊注冊通?？梢允褂檬謾C號或郵箱進行注冊。完成實名認(rèn)證這是使用絕大多數(shù)阿里云服務(wù)包括百煉免費額度的強制性前提。登錄阿里云控制臺在“賬號管理”或“實名認(rèn)證”頁面按照指引完成個人或企業(yè)實名認(rèn)證。個人認(rèn)證一般需要身份證信息。2.2 開通百煉服務(wù)并領(lǐng)取免費額度進入百煉產(chǎn)品頁在阿里云官網(wǎng)搜索“百煉”或直接訪問百煉產(chǎn)品介紹頁。立即開通在產(chǎn)品頁找到“立即開通”或“免費試用”按鈕。系統(tǒng)可能會引導(dǎo)你進行一些簡單的服務(wù)協(xié)議確認(rèn)。進入百煉控制臺開通成功后進入阿里云控制臺在“產(chǎn)品與服務(wù)”中找到“模型服務(wù)靈積”DASHSCOPE這是百煉模型服務(wù)的底層品牌或直接搜索“百煉”進入控制臺。查看與領(lǐng)取免費額度在控制臺首頁或“費用中心”查找“免費額度”、“資源包”或“優(yōu)惠券”相關(guān)入口。仔細閱讀免費額度的說明確認(rèn)其包含的 tokens 數(shù)量、適用的模型列表以及有效期。通常免費額度會自動發(fā)放到你的賬戶部分活動可能需要手動點擊“領(lǐng)取”。2.3 獲取訪問密鑰API Key調(diào)用百煉的模型 API需要使用 API Key 進行身份鑒權(quán)。在百煉控制臺找到“API-KEY管理”或“密鑰管理”頁面。點擊“創(chuàng)建新的 API Key”。系統(tǒng)會生成一個以sk-開頭的密鑰字符串。立即復(fù)制并妥善保存這個 API Key。出于安全考慮控制臺通常只顯示一次。如果丟失需要重新創(chuàng)建。安全警告API Key 是訪問你賬戶資源和進行計費的憑證等同于密碼。切勿將其直接硬編碼在客戶端代碼或提交到公開的代碼倉庫如 GitHub。生產(chǎn)環(huán)境應(yīng)使用環(huán)境變量或配置中心來管理。3. 快速開始調(diào)用你的第一個大模型 API我們將以 Python 環(huán)境為例演示如何通過官方 SDK 調(diào)用一個模型。這里選擇通義千問的最新款模型qwen-max或qwen-plus作為示例它們通常在免費額度范圍內(nèi)。3.1 安裝必要的 Python 包官方推薦使用dashscope庫它是阿里云提供的官方 Python SDK。打開終端或命令提示符執(zhí)行以下命令pip install dashscope如果你的網(wǎng)絡(luò)環(huán)境導(dǎo)致 pip 安裝緩慢可以考慮使用國內(nèi)鏡像源pip install dashscope -i https://pypi.tuna.tsinghua.edu.cn/simple3.2 編寫第一個調(diào)用腳本創(chuàng)建一個新的 Python 文件例如first_call.py。# first_call.py import dashscope from dashscope import Generation # 步驟1設(shè)置你的 API Key # 重要此處僅為示例實際項目中應(yīng)從環(huán)境變量讀取 dashscope.api_key 你的-API-KEY-放在-這里 # 步驟2調(diào)用模型 def call_qwen_with_messages(): # 使用 messages 格式這是與聊天模型交互的標(biāo)準(zhǔn)方式 messages [ {role: system, content: 你是一個樂于助人的助手。}, {role: user, content: 請用一句話介紹中國的長城。} ] # 調(diào)用 Generation.call 方法 # model: 指定模型名稱例如 qwen-max, qwen-plus, qwen-turbo 等 # messages: 對話歷史 response Generation.call( modelqwen-max, # 可根據(jù)免費額度支持的模型調(diào)整如 qwen-plus messagesmessages, # 可選參數(shù)控制生成行為的參數(shù) result_formatmessage, # 返回格式為 message ) # 步驟3處理響應(yīng) if response.status_code 200: # 成功響應(yīng)提取助手回復(fù)的內(nèi)容 answer response.output.choices[0].message[content] print(f模型回復(fù): {answer}) # 打印本次調(diào)用消耗的 tokens (輸入輸出) usage response.usage print(fTokens 消耗: 輸入 {usage.input_tokens}, 輸出 {usage.output_tokens}, 總計 {usage.total_tokens}) else: # 處理錯誤 print(f請求失敗狀態(tài)碼: {response.status_code}) print(f錯誤信息: {response.message}) print(f請求ID: {response.request_id}) if __name__ __main__: call_qwen_with_messages()3.3 運行腳本并驗證將上述代碼中的‘你的-API-KEY-放在-這里’替換為你在控制臺獲取的真實 API Key。在終端中切換到腳本所在目錄運行python first_call.py預(yù)期輸出你應(yīng)該能在控制臺看到模型關(guān)于長城的回復(fù)以及本次調(diào)用消耗的 tokens 數(shù)量。這證明你的環(huán)境、API Key 和基礎(chǔ)調(diào)用流程都是正確的。3.4 關(guān)鍵代碼與參數(shù)詳解dashscope.api_key設(shè)置全局 API Key。更安全的做法是使用環(huán)境變量# 在終端中設(shè)置臨時 export DASHSCOPE_API_KEYyour-api-key-here# 在代碼中讀取 import os dashscope.api_key os.getenv(DASHSCOPE_API_KEY)messages列表這是與聊天模型交互的核心數(shù)據(jù)結(jié)構(gòu)。它是一個字典列表每個字典包含role和content。role可以是system系統(tǒng)指令設(shè)定助手行為、user用戶輸入、assistant助手的歷史回復(fù)。content對應(yīng)角色的文本內(nèi)容。Generation.call參數(shù)model必須指定。你需要根據(jù)免費額度支持的模型列表來選擇例如qwen-max最強能力可能消耗額度快或不在免費范圍、qwen-plus均衡能力、qwen-turbo高速低成本。務(wù)必在控制臺確認(rèn)。result_format指定響應(yīng)格式。message是常用格式直接返回結(jié)構(gòu)化的消息。響應(yīng)對象responseresponse.status_codeHTTP 狀態(tài)碼200 表示成功。response.output.choices[0].message[‘content’]提取模型生成的文本。response.usage包含input_tokens,output_tokens,total_tokens用于核算費用和監(jiān)控用量。4. 構(gòu)建一個簡單的智能對話應(yīng)用掌握了基礎(chǔ) API 調(diào)用后我們可以構(gòu)建一個簡單的命令行對話應(yīng)用實現(xiàn)多輪交互。4.1 項目結(jié)構(gòu)設(shè)計創(chuàng)建一個項目文件夾例如qwen_chatbot結(jié)構(gòu)如下qwen_chatbot/ ├── config.py # 配置文件管理 API Key 等 ├── chat_client.py # 核心的聊天客戶端類 ├── main.py # 主程序入口命令行交互邏輯 └── requirements.txt # 項目依賴4.2 實現(xiàn)核心聊天客戶端首先創(chuàng)建config.py來安全地管理配置# config.py import os class Config: # 從環(huán)境變量讀取 API Key如果不存在則使用空字符串會報錯 DASHSCOPE_API_KEY os.getenv(DASHSCOPE_API_KEY, ) # 默認(rèn)使用的模型可以在運行時覆蓋 DEFAULT_MODEL qwen-plus classmethod def validate(cls): 驗證必要配置是否存在 if not cls.DASHSCOPE_API_KEY: raise ValueError(環(huán)境變量 DASHSCOPE_API_KEY 未設(shè)置。請設(shè)置該變量或直接在 config.py 中配置。)然后創(chuàng)建chat_client.py封裝與百煉 API 的交互# chat_client.py import dashscope from dashscope import Generation from config import Config class QwenChatClient: def __init__(self, api_keyNone, modelNone): # 初始化時設(shè)置 API Key 和模型 self.api_key api_key or Config.DASHSCOPE_API_KEY self.model model or Config.DEFAULT_MODEL if not self.api_key: raise ValueError(API Key 未提供且未在環(huán)境變量中設(shè)置。) dashscope.api_key self.api_key # 維護對話歷史 self.conversation_history [] def add_system_prompt(self, prompt): 添加系統(tǒng)指令設(shè)定助手角色 self.conversation_history.append({role: system, content: prompt}) def chat(self, user_input, temperature0.8, max_tokens1500): 發(fā)送用戶輸入并獲取模型回復(fù)。 參數(shù): user_input (str): 用戶輸入的文本。 temperature (float): 采樣溫度控制隨機性 (0.0~2.0)。值越低輸出越確定越高越隨機。 max_tokens (int): 生成的最大 token 數(shù)。 返回: tuple: (助手回復(fù)文本, 本次消耗的tokens數(shù)) # 1. 將用戶輸入加入歷史 self.conversation_history.append({role: user, content: user_input}) # 2. 調(diào)用 API try: response Generation.call( modelself.model, messagesself.conversation_history, temperaturetemperature, max_tokensmax_tokens, result_formatmessage, ) except Exception as e: # 處理網(wǎng)絡(luò)或SDK異常 print(f調(diào)用 API 時發(fā)生異常: {e}) # 從歷史中移除本次失敗的用戶輸入避免狀態(tài)不一致 self.conversation_history.pop() return None, 0 # 3. 處理響應(yīng) if response.status_code 200: assistant_reply response.output.choices[0].message[content] # 將助手回復(fù)加入歷史用于后續(xù)上下文 self.conversation_history.append({role: assistant, content: assistant_reply}) usage response.usage total_tokens usage.total_tokens return assistant_reply, total_tokens else: print(fAPI 調(diào)用失敗。狀態(tài)碼: {response.status_code}, 信息: {response.message}) # 同樣移除失敗的用戶輸入 self.conversation_history.pop() return None, 0 def clear_history(self): 清空對話歷史但保留系統(tǒng)指令如果有 system_prompts [msg for msg in self.conversation_history if msg[role] system] self.conversation_history system_prompts def get_history(self): 獲取當(dāng)前對話歷史只讀 return self.conversation_history.copy()4.3 實現(xiàn)命令行交互界面創(chuàng)建main.py作為應(yīng)用入口# main.py import sys from chat_client import QwenChatClient from config import Config def main(): # 驗證配置 try: Config.validate() except ValueError as e: print(f配置錯誤: {e}) print(請設(shè)置環(huán)境變量 DASHSCOPE_API_KEY例如) print( Linux/Mac: export DASHSCOPE_API_KEYyour-key) print( Windows (cmd): set DASHSCOPE_API_KEYyour-key) print( Windows (PowerShell): $env:DASHSCOPE_API_KEYyour-key) sys.exit(1) # 初始化客戶端 client QwenChatClient() # 可選設(shè)置系統(tǒng)指令例如讓助手扮演特定角色 # client.add_system_prompt(你是一位資深軟件工程師擅長用簡潔清晰的代碼解決問題。) print(f歡迎使用 Qwen 對話助手 (模型: {client.model})) print(輸入內(nèi)容開始對話輸入 quit 或 exit 退出輸入 clear 清空歷史。) print(- * 50) while True: try: user_input input(\nYou: ).strip() except (EOFError, KeyboardInterrupt): # 處理 CtrlD, CtrlC print(\n\n再見) break if user_input.lower() in [quit, exit, q]: print(再見) break elif user_input.lower() in [clear, c]: client.clear_history() print([對話歷史已清空]) continue elif not user_input: continue # 忽略空輸入 print(Assistant: , end, flushTrue) # 開始輸出不換行 reply, tokens_used client.chat(user_input) if reply is not None: print(reply) print(f[本次消耗 Tokens: {tokens_used}]) else: print([未能獲取回復(fù)]) if __name__ __main__: main()4.4 運行與測試設(shè)置環(huán)境變量在運行程序前確保已設(shè)置DASHSCOPE_API_KEY。# Linux / Mac export DASHSCOPE_API_KEYsk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # Windows (PowerShell) $env:DASHSCOPE_API_KEYsk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx安裝依賴在項目根目錄創(chuàng)建requirements.txt內(nèi)容為dashscope然后安裝。pip install -r requirements.txt運行程序python main.py交互測試在命令行中輸入問題觀察助手的回復(fù)和 tokens 消耗。嘗試輸入clear清空歷史再進行新一輪對話觀察模型是否還記得之前的內(nèi)容清空后應(yīng)該不記得。5. 進階使用與生產(chǎn)環(huán)境考量基礎(chǔ)調(diào)用跑通后要將其用于更嚴(yán)肅的項目或生產(chǎn)環(huán)境還需要考慮更多因素。5.1 管理對話上下文與 tokens 消耗大模型 API 按 tokens 計費且模型本身有上下文窗口限制例如 8K, 32K, 128K tokens。無限制地增長conversation_history會導(dǎo)致兩個問題1) 單次調(diào)用 tokens 超限API 報錯2) 費用快速增加。解決方案實現(xiàn)歷史消息窗口或摘要# 在 chat_client.py 的 QwenChatClient 類中添加方法 class QwenChatClient: # ... 之前的代碼 ... def __init__(self, api_keyNone, modelNone, max_history_tokens3000): # ... 其他初始化 ... self.max_history_tokens max_history_tokens # 歷史上下文最大 tokens 數(shù) self._estimated_history_tokens 0 # 簡單估算當(dāng)前歷史 tokens def chat(self, user_input, temperature0.8, max_tokens1500): # 在添加用戶輸入前檢查是否會超出限制 # 這是一個簡化的估算實際需要更精確的 token 計數(shù)可用 tiktoken 庫 estimated_input_tokens len(user_input) // 4 # 粗略估算1 token ~ 4字符英文 if self._estimated_history_tokens estimated_input_tokens max_tokens self.max_history_tokens: # 超出限制需要裁剪歷史。例如保留最近的幾條消息和系統(tǒng)指令。 self._trim_conversation_history() # ... 原有的 chat 方法邏輯 ... # 在成功獲取回復(fù)后更新估算的 tokens self._estimated_history_tokens total_tokens def _trim_conversation_history(self): 裁剪對話歷史保留系統(tǒng)指令和最近的一些對話 system_msgs [msg for msg in self.conversation_history if msg[role] system] # 保留系統(tǒng)消息和最近3輪對話userassistant 為一輪 recent_messages self.conversation_history[-6:] if len(self.conversation_history) 6 else self.conversation_history self.conversation_history system_msgs recent_messages # 重新估算 tokens (這里簡化處理實際項目應(yīng)重新計算) self._estimated_history_tokens sum(len(msg[content]) // 4 for msg in self.conversation_history)對于長文檔對話更高級的策略是使用“摘要”技術(shù)當(dāng)歷史過長時調(diào)用模型自身對之前的對話進行總結(jié)然后將摘要作為新的系統(tǒng)消息或上下文的一部分。5.2 處理流式輸出Streaming對于需要長時間生成文本的場景如寫長文章、代碼等待模型完全生成再返回體驗不佳。百煉 API 支持流式響應(yīng)。# stream_chat.py import dashscope from dashscope import Generation dashscope.api_key your-api-key def stream_chat(): messages [{role: user, content: 用 Python 寫一個快速排序算法并逐行解釋。}] responses Generation.call( modelqwen-plus, messagesmessages, streamTrue, # 啟用流式輸出 result_formatmessage, ) full_reply [] print(Assistant: , end, flushTrue) for response in responses: if response.status_code 200: # 流式響應(yīng)中每次返回一部分內(nèi)容 chunk response.output.choices[0].message[content] if chunk is not None: print(chunk, end, flushTrue) full_reply.append(chunk) else: print(f\n請求失敗: {response.code} - {response.message}) break print() # 換行 # full_reply 包含了完整的回復(fù)內(nèi)容 if __name__ __main__: stream_chat()5.3 異步調(diào)用提升性能在 Web 服務(wù)或需要并發(fā)處理多個請求的場景下使用異步調(diào)用可以避免阻塞提高吞吐量。dashscope庫支持asyncio。# async_chat.py import asyncio import dashscope from dashscope import AsyncGeneration dashscope.api_key your-api-key async def async_chat_concurrent(questions): 并發(fā)調(diào)用模型回答多個問題 tasks [] for q in questions: messages [{role: user, content: q}] # 創(chuàng)建異步任務(wù) task AsyncGeneration.call( modelqwen-turbo, # 并發(fā)請求可使用更輕量的模型 messagesmessages, result_formatmessage, ) tasks.append(task) # 等待所有任務(wù)完成 responses await asyncio.gather(*tasks) answers [] for resp in responses: if resp.status_code 200: answers.append(resp.output.choices[0].message[content]) else: answers.append(fError: {resp.message}) return answers async def main(): questions [ Python 中列表和元組的主要區(qū)別是什么, 解釋一下 HTTP 和 HTTPS 的區(qū)別。, 什么是 RESTful API ] results await async_chat_concurrent(questions) for q, a in zip(questions, results): print(fQ: {q[:50]}...) print(fA: {a[:100]}...\n) if __name__ __main__: asyncio.run(main())5.4 生產(chǎn)環(huán)境配置清單將學(xué)習(xí) demo 轉(zhuǎn)化為生產(chǎn)服務(wù)需要關(guān)注以下方面方面學(xué)習(xí)/測試環(huán)境生產(chǎn)環(huán)境建議API Key 管理硬編碼或環(huán)境變量使用密鑰管理服務(wù)如阿里云 KMS動態(tài)獲取定期輪換。配置管理寫在代碼或簡單配置文件使用配置中心如 Nacos, Apollo實現(xiàn)不同環(huán)境dev/test/prod隔離。錯誤處理簡單打印日志實現(xiàn)重試機制帶退避策略、熔斷降級如 Sentinel、告警通知。日志與監(jiān)控控制臺輸出結(jié)構(gòu)化日志JSON 格式接入 ELK 或 SLs。監(jiān)控 API 調(diào)用延遲、成功率、tokens 消耗。性能與限流直接調(diào)用實現(xiàn)客戶端緩存對相同問題緩存回復(fù)、請求隊列、按業(yè)務(wù)優(yōu)先級限流。成本控制使用免費額度設(shè)置預(yù)算告警、按業(yè)務(wù)線拆分 API Key 以便核算、選擇性價比合適的模型如非必要不用 max 版本。安全基本無輸入輸出內(nèi)容過濾防注入、敏感信息、用戶身份鑒權(quán)、請求頻率限制。模型選型使用默認(rèn)或最強模型根據(jù)場景選擇qwen-turbo實時對話、qwen-plus通用任務(wù)、qwen-max復(fù)雜推理。進行 A/B 測試。6. 常見問題排查與優(yōu)化在實際使用中你可能會遇到以下問題。6.1 調(diào)用失敗問題排查表問題現(xiàn)象可能原因檢查步驟解決方案Invalid API Key或Authentication failed1. API Key 錯誤或未設(shè)置。2. API Key 已失效或被禁用。3. 環(huán)境變量未正確加載。1. 檢查代碼中dashscope.api_key或環(huán)境變量DASHSCOPE_API_KEY的值。2. 登錄百煉控制臺確認(rèn) API Key 狀態(tài)是否正常。1. 修正 API Key。2. 在控制臺重新生成 API Key 并更新配置。Model not found或Invalid model1. 模型名稱拼寫錯誤。2. 該模型在當(dāng)前區(qū)域不可用。3. 免費額度不包含該模型。1. 核對代碼中的model參數(shù)。2. 在百煉控制臺的“模型廣場”或“在線調(diào)用”頁面查看可用模型列表。1. 使用正確的模型名稱如qwen-plus。2. 切換到其他可用區(qū)域或模型。Rate limit exceeded或Throttling1. 請求頻率超過免費額度或套餐的 QPS 限制。2. 突發(fā)大量請求。1. 查看控制臺的額度使用情況。2. 檢查代碼中是否有循環(huán)頻繁調(diào)用。1. 降低調(diào)用頻率加入延遲如time.sleep。2. 對于批量任務(wù)使用異步和隊列。Insufficient balance免費額度已用完賬戶無余額。登錄阿里云控制臺查看“費用中心”和百煉的“資源包/用量”情況。1. 購買資源包或充值。2. 申請新的免費活動如果有。3. 優(yōu)化 prompts 減少 tokens 消耗。請求超時Timeout1. 網(wǎng)絡(luò)不穩(wěn)定。2. 模型響應(yīng)時間過長生成長文本。3. SDK 默認(rèn)超時時間太短。1. 檢查網(wǎng)絡(luò)連接。2. 嘗試一個簡單 prompt 看是否快速響應(yīng)。1. 增加 SDK 或 HTTP 客戶端的超時設(shè)置。2. 對于長文本生成使用流式接口并設(shè)置合理超時。3. 考慮使用qwen-turbo等更快模型?；貜?fù)內(nèi)容不符合預(yù)期1. Prompt 指令不清晰。2.temperature參數(shù)過高導(dǎo)致隨機性大。3. 對話歷史包含誤導(dǎo)信息。1. 檢查system和user的 prompt 是否明確。2. 將temperature調(diào)低如 0.3。3. 清空歷史或檢查歷史消息。1. 優(yōu)化 prompt 工程給出更具體的指令和示例。2. 調(diào)整生成參數(shù)temperature,top_p。3. 實現(xiàn)對話歷史管理。6.2 成本優(yōu)化策略免費額度是有限的合理使用才能延長其生命周期。選擇合適的模型完成簡單任務(wù)時優(yōu)先使用qwen-turbo而非qwen-max。在控制臺對比不同模型的單價和性能。優(yōu)化 Prompt清晰簡潔避免冗長的背景描述直接提問。結(jié)構(gòu)化對于復(fù)雜任務(wù)使用“步驟1、步驟2”或“思考過程”來引導(dǎo)模型有時反而能減少無效輸出。設(shè)定輸出格式明確要求模型以 JSON、列表或特定格式回復(fù)避免生成無關(guān)解釋。管理上下文如 5.1 節(jié)所述主動裁剪或總結(jié)對話歷史避免每次調(diào)用都攜帶過長的上下文。實現(xiàn)緩存層對于常見、重復(fù)性的問題如產(chǎn)品 FAQ可以將問答對緩存起來直接返回緩存結(jié)果避免重復(fù)調(diào)用 API。監(jiān)控與告警在阿里云費用中心設(shè)置消費預(yù)警當(dāng)用量達到免費額度的 80%、90% 時發(fā)送通知。6.3 免費額度使用建議明確適用范圍仔細閱讀免費額度說明確認(rèn)其支持的模型、區(qū)域和有效期。通常qwen-turbo和qwen-plus在免費范圍內(nèi)qwen-max可能不在或額度較少。用于學(xué)習(xí)和原型驗證將免費額度優(yōu)先用于技術(shù)可行性驗證PoC、小型 demo 開發(fā)和個人學(xué)習(xí)。避免用于大規(guī)模、高并發(fā)的生產(chǎn)流量測試。分散使用如果有多個項目或?qū)嶒灴梢詣?chuàng)建多個應(yīng)用并使用同一個 API Key但要在代碼中做好標(biāo)記以便后期分析各項目的成本。關(guān)注官方動態(tài)阿里云會不定期推出新的免費活動或開發(fā)者激勵計劃。關(guān)注阿里云官網(wǎng)、技術(shù)社區(qū)和郵件通知。通過阿里云百煉平臺開發(fā)者能夠以極低的初始成本接觸和集成業(yè)界領(lǐng)先的大模型能力。從開通賬號、領(lǐng)取免費額度到編寫第一個調(diào)用腳本再到構(gòu)建一個具備歷史管理功能的對話應(yīng)用這個過程本身就是一個完整的學(xué)習(xí)閉環(huán)。關(guān)鍵在于理解其按 token 計費的模式并學(xué)會通過模型選型、prompt 優(yōu)化和上下文管理來控制成本。當(dāng)項目從學(xué)習(xí)測試走向生產(chǎn)環(huán)境時則需要將關(guān)注點從“功能實現(xiàn)”擴展到“穩(wěn)定性、安全性與成本效益”的平衡引入必要的工程化實踐。 阿里云百煉平臺免費額度實戰(zhàn)：從零構(gòu)建大模型應(yīng)用
在實際 AI 項目開發(fā)和學(xué)習(xí)過程中獲取穩(wěn)定、可靠且成本可控的大模型服務(wù)是首要挑戰(zhàn)。無論是進行應(yīng)用原型驗證、API 集成測試還是開展個人研究直接調(diào)用商業(yè) API 可能面臨費用高昂、額度有限或網(wǎng)絡(luò)延遲等問題。而本地部署則需要強大的硬件支持對初學(xué)者和中小團隊門檻較高。因此尋找一個提供強大模型能力、具備充足免費額度且易于上手的云平臺成為許多開發(fā)者的迫切需求。阿里云百煉平臺正是在此背景下為開發(fā)者提供的一站式大模型服務(wù)。它集成了國內(nèi)外主流的優(yōu)秀模型并提供了包括免費額度在內(nèi)的多種計費方式旨在降低大模型的應(yīng)用門檻。本文將圍繞如何利用阿里云百煉平臺特別是其免費資源來快速開啟你的大模型應(yīng)用之旅。我們將從平臺核心概念講起逐步完成賬號開通、環(huán)境準(zhǔn)備、模型調(diào)用、應(yīng)用開發(fā)的全流程并深入探討在生產(chǎn)環(huán)境中如何優(yōu)化成本與性能。無論你是希望體驗最新國產(chǎn)大模型 Qwen 系列的能力還是需要一個穩(wěn)定的開發(fā)測試環(huán)境本文都將提供一條清晰的實踐路徑。1. 理解阿里云百煉一站式大模型服務(wù)平臺阿里云百煉并非一個單一的大模型而是一個集成了模型服務(wù)、應(yīng)用開發(fā)、部署運維等能力的平臺。你可以將其理解為大模型時代的“云服務(wù)市場”和“開發(fā)工具包”的結(jié)合體。它的核心價值在于將模型訓(xùn)練、推理的復(fù)雜基礎(chǔ)設(shè)施封裝起來讓開發(fā)者能夠像調(diào)用普通 API 一樣便捷地使用各種頂尖的大語言模型。1.1 平臺的核心組件與工作流百煉平臺主要包含以下幾個核心組件模型服務(wù)這是平臺的核心提供了包括通義千問Qwen、Baichuan、ChatGLM 等在內(nèi)的多種國產(chǎn)及國際主流大模型。每個模型都以 API 的形式提供服務(wù)開發(fā)者無需關(guān)心底層 GPU 集群和推理框架。應(yīng)用開發(fā)工作臺提供了一個低代碼/無代碼的界面允許開發(fā)者通過拖拽組件的方式快速構(gòu)建基于大模型的智能應(yīng)用如智能客服、內(nèi)容生成助手等。模型精調(diào)Fine-tuning支持對平臺上的基礎(chǔ)模型進行定制化訓(xùn)練。你可以上傳自己的數(shù)據(jù)集在基礎(chǔ)模型上進行微調(diào)以使其更適應(yīng)你的特定業(yè)務(wù)場景如法律、醫(yī)療、金融領(lǐng)域的專業(yè)問答。模型部署與管理對于精調(diào)后的模型或自行接入的模型平臺提供部署能力并配套了監(jiān)控、日志、版本管理等運維功能。對于大多數(shù)開發(fā)者尤其是入門和原型開發(fā)階段最常用的是模型服務(wù)和應(yīng)用開發(fā)工作臺。典型的工作流是在平臺上創(chuàng)建應(yīng)用 - 為應(yīng)用配置一個或多個模型 API - 在代碼中通過 SDK 或 HTTP 請求調(diào)用這些 API - 構(gòu)建最終的用戶交互界面。1.2 免費資源與計費模式解析免費資源是吸引開發(fā)者的關(guān)鍵。阿里云百煉通常為新用戶或特定活動提供免費額度這可能包括免費 tokens例如新用戶注冊或完成實名認(rèn)證后贈送一定量的 tokens如 100萬、1000萬甚至上億。Token 是計費單位可以理解為模型處理文本的“字?jǐn)?shù)”或“單元”。無論是輸入Prompt還是輸出Completion都會消耗 tokens。免費試用服務(wù)器/資源包有時平臺會推出“免費試用”活動贈送一定時長如一個月的特定規(guī)格的模型服務(wù)資源包在額度內(nèi)可免費使用。注意免費額度通常有有效期限制如一個月內(nèi)有效且可能僅適用于部分特定模型如 Qwen-Max 系列或較低 QPS每秒查詢率。超出免費額度后將按量計費。務(wù)必在控制臺查看清楚免費額度的具體規(guī)則、適用范圍和到期時間。常規(guī)的計費模式是按調(diào)用量即消耗的 tokens計費。不同模型的單價不同通常性能越強、上下文窗口越大的模型單價越高。例如Qwen2.5-72B-Instruct 的單價會高于 Qwen2.5-7B-Instruct。2. 環(huán)境準(zhǔn)備與賬號開通在開始編碼之前你需要完成阿里云賬號的注冊、實名認(rèn)證并在百煉平臺開通服務(wù)。2.1 注冊與實名認(rèn)證訪問阿里云官網(wǎng)打開瀏覽器訪問阿里云官方網(wǎng)站。注冊賬號如果你沒有阿里云賬號點擊注冊通?？梢允褂檬謾C號或郵箱進行注冊。完成實名認(rèn)證這是使用絕大多數(shù)阿里云服務(wù)包括百煉免費額度的強制性前提。登錄阿里云控制臺在“賬號管理”或“實名認(rèn)證”頁面按照指引完成個人或企業(yè)實名認(rèn)證。個人認(rèn)證一般需要身份證信息。2.2 開通百煉服務(wù)并領(lǐng)取免費額度進入百煉產(chǎn)品頁在阿里云官網(wǎng)搜索“百煉”或直接訪問百煉產(chǎn)品介紹頁。立即開通在產(chǎn)品頁找到“立即開通”或“免費試用”按鈕。系統(tǒng)可能會引導(dǎo)你進行一些簡單的服務(wù)協(xié)議確認(rèn)。進入百煉控制臺開通成功后進入阿里云控制臺在“產(chǎn)品與服務(wù)”中找到“模型服務(wù)靈積”DASHSCOPE這是百煉模型服務(wù)的底層品牌或直接搜索“百煉”進入控制臺。查看與領(lǐng)取免費額度在控制臺首頁或“費用中心”查找“免費額度”、“資源包”或“優(yōu)惠券”相關(guān)入口。仔細閱讀免費額度的說明確認(rèn)其包含的 tokens 數(shù)量、適用的模型列表以及有效期。通常免費額度會自動發(fā)放到你的賬戶部分活動可能需要手動點擊“領(lǐng)取”。2.3 獲取訪問密鑰API Key調(diào)用百煉的模型 API需要使用 API Key 進行身份鑒權(quán)。在百煉控制臺找到“API-KEY管理”或“密鑰管理”頁面。點擊“創(chuàng)建新的 API Key”。系統(tǒng)會生成一個以sk-開頭的密鑰字符串。立即復(fù)制并妥善保存這個 API Key。出于安全考慮控制臺通常只顯示一次。如果丟失需要重新創(chuàng)建。安全警告API Key 是訪問你賬戶資源和進行計費的憑證等同于密碼。切勿將其直接硬編碼在客戶端代碼或提交到公開的代碼倉庫如 GitHub。生產(chǎn)環(huán)境應(yīng)使用環(huán)境變量或配置中心來管理。3. 快速開始調(diào)用你的第一個大模型 API我們將以 Python 環(huán)境為例演示如何通過官方 SDK 調(diào)用一個模型。這里選擇通義千問的最新款模型qwen-max或qwen-plus作為示例它們通常在免費額度范圍內(nèi)。3.1 安裝必要的 Python 包官方推薦使用dashscope庫它是阿里云提供的官方 Python SDK。打開終端或命令提示符執(zhí)行以下命令pip install dashscope如果你的網(wǎng)絡(luò)環(huán)境導(dǎo)致 pip 安裝緩慢可以考慮使用國內(nèi)鏡像源pip install dashscope -i https://pypi.tuna.tsinghua.edu.cn/simple3.2 編寫第一個調(diào)用腳本創(chuàng)建一個新的 Python 文件例如first_call.py。# first_call.py import dashscope from dashscope import Generation # 步驟1設(shè)置你的 API Key # 重要此處僅為示例實際項目中應(yīng)從環(huán)境變量讀取 dashscope.api_key 你的-API-KEY-放在-這里 # 步驟2調(diào)用模型 def call_qwen_with_messages(): # 使用 messages 格式這是與聊天模型交互的標(biāo)準(zhǔn)方式 messages [ {role: system, content: 你是一個樂于助人的助手。}, {role: user, content: 請用一句話介紹中國的長城。} ] # 調(diào)用 Generation.call 方法 # model: 指定模型名稱例如 qwen-max, qwen-plus, qwen-turbo 等 # messages: 對話歷史 response Generation.call( modelqwen-max, # 可根據(jù)免費額度支持的模型調(diào)整如 qwen-plus messagesmessages, # 可選參數(shù)控制生成行為的參數(shù) result_formatmessage, # 返回格式為 message ) # 步驟3處理響應(yīng) if response.status_code 200: # 成功響應(yīng)提取助手回復(fù)的內(nèi)容 answer response.output.choices[0].message[content] print(f模型回復(fù): {answer}) # 打印本次調(diào)用消耗的 tokens (輸入輸出) usage response.usage print(fTokens 消耗: 輸入 {usage.input_tokens}, 輸出 {usage.output_tokens}, 總計 {usage.total_tokens}) else: # 處理錯誤 print(f請求失敗狀態(tài)碼: {response.status_code}) print(f錯誤信息: {response.message}) print(f請求ID: {response.request_id}) if __name__ __main__: call_qwen_with_messages()3.3 運行腳本并驗證將上述代碼中的‘你的-API-KEY-放在-這里’替換為你在控制臺獲取的真實 API Key。在終端中切換到腳本所在目錄運行python first_call.py預(yù)期輸出你應(yīng)該能在控制臺看到模型關(guān)于長城的回復(fù)以及本次調(diào)用消耗的 tokens 數(shù)量。這證明你的環(huán)境、API Key 和基礎(chǔ)調(diào)用流程都是正確的。3.4 關(guān)鍵代碼與參數(shù)詳解dashscope.api_key設(shè)置全局 API Key。更安全的做法是使用環(huán)境變量# 在終端中設(shè)置臨時 export DASHSCOPE_API_KEYyour-api-key-here# 在代碼中讀取 import os dashscope.api_key os.getenv(DASHSCOPE_API_KEY)messages列表這是與聊天模型交互的核心數(shù)據(jù)結(jié)構(gòu)。它是一個字典列表每個字典包含role和content。role可以是system系統(tǒng)指令設(shè)定助手行為、user用戶輸入、assistant助手的歷史回復(fù)。content對應(yīng)角色的文本內(nèi)容。Generation.call參數(shù)model必須指定。你需要根據(jù)免費額度支持的模型列表來選擇例如qwen-max最強能力可能消耗額度快或不在免費范圍、qwen-plus均衡能力、qwen-turbo高速低成本。務(wù)必在控制臺確認(rèn)。result_format指定響應(yīng)格式。message是常用格式直接返回結(jié)構(gòu)化的消息。響應(yīng)對象responseresponse.status_codeHTTP 狀態(tài)碼200 表示成功。response.output.choices[0].message[‘content’]提取模型生成的文本。response.usage包含input_tokens,output_tokens,total_tokens用于核算費用和監(jiān)控用量。4. 構(gòu)建一個簡單的智能對話應(yīng)用掌握了基礎(chǔ) API 調(diào)用后我們可以構(gòu)建一個簡單的命令行對話應(yīng)用實現(xiàn)多輪交互。4.1 項目結(jié)構(gòu)設(shè)計創(chuàng)建一個項目文件夾例如qwen_chatbot結(jié)構(gòu)如下qwen_chatbot/ ├── config.py # 配置文件管理 API Key 等 ├── chat_client.py # 核心的聊天客戶端類 ├── main.py # 主程序入口命令行交互邏輯 └── requirements.txt # 項目依賴4.2 實現(xiàn)核心聊天客戶端首先創(chuàng)建config.py來安全地管理配置# config.py import os class Config: # 從環(huán)境變量讀取 API Key如果不存在則使用空字符串會報錯 DASHSCOPE_API_KEY os.getenv(DASHSCOPE_API_KEY, ) # 默認(rèn)使用的模型可以在運行時覆蓋 DEFAULT_MODEL qwen-plus classmethod def validate(cls): 驗證必要配置是否存在 if not cls.DASHSCOPE_API_KEY: raise ValueError(環(huán)境變量 DASHSCOPE_API_KEY 未設(shè)置。請設(shè)置該變量或直接在 config.py 中配置。)然后創(chuàng)建chat_client.py封裝與百煉 API 的交互# chat_client.py import dashscope from dashscope import Generation from config import Config class QwenChatClient: def __init__(self, api_keyNone, modelNone): # 初始化時設(shè)置 API Key 和模型 self.api_key api_key or Config.DASHSCOPE_API_KEY self.model model or Config.DEFAULT_MODEL if not self.api_key: raise ValueError(API Key 未提供且未在環(huán)境變量中設(shè)置。) dashscope.api_key self.api_key # 維護對話歷史 self.conversation_history [] def add_system_prompt(self, prompt): 添加系統(tǒng)指令設(shè)定助手角色 self.conversation_history.append({role: system, content: prompt}) def chat(self, user_input, temperature0.8, max_tokens1500): 發(fā)送用戶輸入并獲取模型回復(fù)。 參數(shù): user_input (str): 用戶輸入的文本。 temperature (float): 采樣溫度控制隨機性 (0.0~2.0)。值越低輸出越確定越高越隨機。 max_tokens (int): 生成的最大 token 數(shù)。 返回: tuple: (助手回復(fù)文本, 本次消耗的tokens數(shù)) # 1. 將用戶輸入加入歷史 self.conversation_history.append({role: user, content: user_input}) # 2. 調(diào)用 API try: response Generation.call( modelself.model, messagesself.conversation_history, temperaturetemperature, max_tokensmax_tokens, result_formatmessage, ) except Exception as e: # 處理網(wǎng)絡(luò)或SDK異常 print(f調(diào)用 API 時發(fā)生異常: {e}) # 從歷史中移除本次失敗的用戶輸入避免狀態(tài)不一致 self.conversation_history.pop() return None, 0 # 3. 處理響應(yīng) if response.status_code 200: assistant_reply response.output.choices[0].message[content] # 將助手回復(fù)加入歷史用于后續(xù)上下文 self.conversation_history.append({role: assistant, content: assistant_reply}) usage response.usage total_tokens usage.total_tokens return assistant_reply, total_tokens else: print(fAPI 調(diào)用失敗。狀態(tài)碼: {response.status_code}, 信息: {response.message}) # 同樣移除失敗的用戶輸入 self.conversation_history.pop() return None, 0 def clear_history(self): 清空對話歷史但保留系統(tǒng)指令如果有 system_prompts [msg for msg in self.conversation_history if msg[role] system] self.conversation_history system_prompts def get_history(self): 獲取當(dāng)前對話歷史只讀 return self.conversation_history.copy()4.3 實現(xiàn)命令行交互界面創(chuàng)建main.py作為應(yīng)用入口# main.py import sys from chat_client import QwenChatClient from config import Config def main(): # 驗證配置 try: Config.validate() except ValueError as e: print(f配置錯誤: {e}) print(請設(shè)置環(huán)境變量 DASHSCOPE_API_KEY例如) print( Linux/Mac: export DASHSCOPE_API_KEYyour-key) print( Windows (cmd): set DASHSCOPE_API_KEYyour-key) print( Windows (PowerShell): $env:DASHSCOPE_API_KEYyour-key) sys.exit(1) # 初始化客戶端 client QwenChatClient() # 可選設(shè)置系統(tǒng)指令例如讓助手扮演特定角色 # client.add_system_prompt(你是一位資深軟件工程師擅長用簡潔清晰的代碼解決問題。) print(f歡迎使用 Qwen 對話助手 (模型: {client.model})) print(輸入內(nèi)容開始對話輸入 quit 或 exit 退出輸入 clear 清空歷史。) print(- * 50) while True: try: user_input input(\nYou: ).strip() except (EOFError, KeyboardInterrupt): # 處理 CtrlD, CtrlC print(\n\n再見) break if user_input.lower() in [quit, exit, q]: print(再見) break elif user_input.lower() in [clear, c]: client.clear_history() print([對話歷史已清空]) continue elif not user_input: continue # 忽略空輸入 print(Assistant: , end, flushTrue) # 開始輸出不換行 reply, tokens_used client.chat(user_input) if reply is not None: print(reply) print(f[本次消耗 Tokens: {tokens_used}]) else: print([未能獲取回復(fù)]) if __name__ __main__: main()4.4 運行與測試設(shè)置環(huán)境變量在運行程序前確保已設(shè)置DASHSCOPE_API_KEY。# Linux / Mac export DASHSCOPE_API_KEYsk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # Windows (PowerShell) $env:DASHSCOPE_API_KEYsk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx安裝依賴在項目根目錄創(chuàng)建requirements.txt內(nèi)容為dashscope然后安裝。pip install -r requirements.txt運行程序python main.py交互測試在命令行中輸入問題觀察助手的回復(fù)和 tokens 消耗。嘗試輸入clear清空歷史再進行新一輪對話觀察模型是否還記得之前的內(nèi)容清空后應(yīng)該不記得。5. 進階使用與生產(chǎn)環(huán)境考量基礎(chǔ)調(diào)用跑通后要將其用于更嚴(yán)肅的項目或生產(chǎn)環(huán)境還需要考慮更多因素。5.1 管理對話上下文與 tokens 消耗大模型 API 按 tokens 計費且模型本身有上下文窗口限制例如 8K, 32K, 128K tokens。無限制地增長conversation_history會導(dǎo)致兩個問題1) 單次調(diào)用 tokens 超限API 報錯2) 費用快速增加。解決方案實現(xiàn)歷史消息窗口或摘要# 在 chat_client.py 的 QwenChatClient 類中添加方法 class QwenChatClient: # ... 之前的代碼 ... def __init__(self, api_keyNone, modelNone, max_history_tokens3000): # ... 其他初始化 ... self.max_history_tokens max_history_tokens # 歷史上下文最大 tokens 數(shù) self._estimated_history_tokens 0 # 簡單估算當(dāng)前歷史 tokens def chat(self, user_input, temperature0.8, max_tokens1500): # 在添加用戶輸入前檢查是否會超出限制 # 這是一個簡化的估算實際需要更精確的 token 計數(shù)可用 tiktoken 庫 estimated_input_tokens len(user_input) // 4 # 粗略估算1 token ~ 4字符英文 if self._estimated_history_tokens estimated_input_tokens max_tokens self.max_history_tokens: # 超出限制需要裁剪歷史。例如保留最近的幾條消息和系統(tǒng)指令。 self._trim_conversation_history() # ... 原有的 chat 方法邏輯 ... # 在成功獲取回復(fù)后更新估算的 tokens self._estimated_history_tokens total_tokens def _trim_conversation_history(self): 裁剪對話歷史保留系統(tǒng)指令和最近的一些對話 system_msgs [msg for msg in self.conversation_history if msg[role] system] # 保留系統(tǒng)消息和最近3輪對話userassistant 為一輪 recent_messages self.conversation_history[-6:] if len(self.conversation_history) 6 else self.conversation_history self.conversation_history system_msgs recent_messages # 重新估算 tokens (這里簡化處理實際項目應(yīng)重新計算) self._estimated_history_tokens sum(len(msg[content]) // 4 for msg in self.conversation_history)對于長文檔對話更高級的策略是使用“摘要”技術(shù)當(dāng)歷史過長時調(diào)用模型自身對之前的對話進行總結(jié)然后將摘要作為新的系統(tǒng)消息或上下文的一部分。5.2 處理流式輸出Streaming對于需要長時間生成文本的場景如寫長文章、代碼等待模型完全生成再返回體驗不佳。百煉 API 支持流式響應(yīng)。# stream_chat.py import dashscope from dashscope import Generation dashscope.api_key your-api-key def stream_chat(): messages [{role: user, content: 用 Python 寫一個快速排序算法并逐行解釋。}] responses Generation.call( modelqwen-plus, messagesmessages, streamTrue, # 啟用流式輸出 result_formatmessage, ) full_reply [] print(Assistant: , end, flushTrue) for response in responses: if response.status_code 200: # 流式響應(yīng)中每次返回一部分內(nèi)容 chunk response.output.choices[0].message[content] if chunk is not None: print(chunk, end, flushTrue) full_reply.append(chunk) else: print(f\n請求失敗: {response.code} - {response.message}) break print() # 換行 # full_reply 包含了完整的回復(fù)內(nèi)容 if __name__ __main__: stream_chat()5.3 異步調(diào)用提升性能在 Web 服務(wù)或需要并發(fā)處理多個請求的場景下使用異步調(diào)用可以避免阻塞提高吞吐量。dashscope庫支持asyncio。# async_chat.py import asyncio import dashscope from dashscope import AsyncGeneration dashscope.api_key your-api-key async def async_chat_concurrent(questions): 并發(fā)調(diào)用模型回答多個問題 tasks [] for q in questions: messages [{role: user, content: q}] # 創(chuàng)建異步任務(wù) task AsyncGeneration.call( modelqwen-turbo, # 并發(fā)請求可使用更輕量的模型 messagesmessages, result_formatmessage, ) tasks.append(task) # 等待所有任務(wù)完成 responses await asyncio.gather(*tasks) answers [] for resp in responses: if resp.status_code 200: answers.append(resp.output.choices[0].message[content]) else: answers.append(fError: {resp.message}) return answers async def main(): questions [ Python 中列表和元組的主要區(qū)別是什么, 解釋一下 HTTP 和 HTTPS 的區(qū)別。, 什么是 RESTful API ] results await async_chat_concurrent(questions) for q, a in zip(questions, results): print(fQ: {q[:50]}...) print(fA: {a[:100]}...\n) if __name__ __main__: asyncio.run(main())5.4 生產(chǎn)環(huán)境配置清單將學(xué)習(xí) demo 轉(zhuǎn)化為生產(chǎn)服務(wù)需要關(guān)注以下方面方面學(xué)習(xí)/測試環(huán)境生產(chǎn)環(huán)境建議API Key 管理硬編碼或環(huán)境變量使用密鑰管理服務(wù)如阿里云 KMS動態(tài)獲取定期輪換。配置管理寫在代碼或簡單配置文件使用配置中心如 Nacos, Apollo實現(xiàn)不同環(huán)境dev/test/prod隔離。錯誤處理簡單打印日志實現(xiàn)重試機制帶退避策略、熔斷降級如 Sentinel、告警通知。日志與監(jiān)控控制臺輸出結(jié)構(gòu)化日志JSON 格式接入 ELK 或 SLs。監(jiān)控 API 調(diào)用延遲、成功率、tokens 消耗。性能與限流直接調(diào)用實現(xiàn)客戶端緩存對相同問題緩存回復(fù)、請求隊列、按業(yè)務(wù)優(yōu)先級限流。成本控制使用免費額度設(shè)置預(yù)算告警、按業(yè)務(wù)線拆分 API Key 以便核算、選擇性價比合適的模型如非必要不用 max 版本。安全基本無輸入輸出內(nèi)容過濾防注入、敏感信息、用戶身份鑒權(quán)、請求頻率限制。模型選型使用默認(rèn)或最強模型根據(jù)場景選擇qwen-turbo實時對話、qwen-plus通用任務(wù)、qwen-max復(fù)雜推理。進行 A/B 測試。6. 常見問題排查與優(yōu)化在實際使用中你可能會遇到以下問題。6.1 調(diào)用失敗問題排查表問題現(xiàn)象可能原因檢查步驟解決方案Invalid API Key或Authentication failed1. API Key 錯誤或未設(shè)置。2. API Key 已失效或被禁用。3. 環(huán)境變量未正確加載。1. 檢查代碼中dashscope.api_key或環(huán)境變量DASHSCOPE_API_KEY的值。2. 登錄百煉控制臺確認(rèn) API Key 狀態(tài)是否正常。1. 修正 API Key。2. 在控制臺重新生成 API Key 并更新配置。Model not found或Invalid model1. 模型名稱拼寫錯誤。2. 該模型在當(dāng)前區(qū)域不可用。3. 免費額度不包含該模型。1. 核對代碼中的model參數(shù)。2. 在百煉控制臺的“模型廣場”或“在線調(diào)用”頁面查看可用模型列表。1. 使用正確的模型名稱如qwen-plus。2. 切換到其他可用區(qū)域或模型。Rate limit exceeded或Throttling1. 請求頻率超過免費額度或套餐的 QPS 限制。2. 突發(fā)大量請求。1. 查看控制臺的額度使用情況。2. 檢查代碼中是否有循環(huán)頻繁調(diào)用。1. 降低調(diào)用頻率加入延遲如time.sleep。2. 對于批量任務(wù)使用異步和隊列。Insufficient balance免費額度已用完賬戶無余額。登錄阿里云控制臺查看“費用中心”和百煉的“資源包/用量”情況。1. 購買資源包或充值。2. 申請新的免費活動如果有。3. 優(yōu)化 prompts 減少 tokens 消耗。請求超時Timeout1. 網(wǎng)絡(luò)不穩(wěn)定。2. 模型響應(yīng)時間過長生成長文本。3. SDK 默認(rèn)超時時間太短。1. 檢查網(wǎng)絡(luò)連接。2. 嘗試一個簡單 prompt 看是否快速響應(yīng)。1. 增加 SDK 或 HTTP 客戶端的超時設(shè)置。2. 對于長文本生成使用流式接口并設(shè)置合理超時。3. 考慮使用qwen-turbo等更快模型?；貜?fù)內(nèi)容不符合預(yù)期1. Prompt 指令不清晰。2.temperature參數(shù)過高導(dǎo)致隨機性大。3. 對話歷史包含誤導(dǎo)信息。1. 檢查system和user的 prompt 是否明確。2. 將temperature調(diào)低如 0.3。3. 清空歷史或檢查歷史消息。1. 優(yōu)化 prompt 工程給出更具體的指令和示例。2. 調(diào)整生成參數(shù)temperature,top_p。3. 實現(xiàn)對話歷史管理。6.2 成本優(yōu)化策略免費額度是有限的合理使用才能延長其生命周期。選擇合適的模型完成簡單任務(wù)時優(yōu)先使用qwen-turbo而非qwen-max。在控制臺對比不同模型的單價和性能。優(yōu)化 Prompt清晰簡潔避免冗長的背景描述直接提問。結(jié)構(gòu)化對于復(fù)雜任務(wù)使用“步驟1、步驟2”或“思考過程”來引導(dǎo)模型有時反而能減少無效輸出。設(shè)定輸出格式明確要求模型以 JSON、列表或特定格式回復(fù)避免生成無關(guān)解釋。管理上下文如 5.1 節(jié)所述主動裁剪或總結(jié)對話歷史避免每次調(diào)用都攜帶過長的上下文。實現(xiàn)緩存層對于常見、重復(fù)性的問題如產(chǎn)品 FAQ可以將問答對緩存起來直接返回緩存結(jié)果避免重復(fù)調(diào)用 API。監(jiān)控與告警在阿里云費用中心設(shè)置消費預(yù)警當(dāng)用量達到免費額度的 80%、90% 時發(fā)送通知。6.3 免費額度使用建議明確適用范圍仔細閱讀免費額度說明確認(rèn)其支持的模型、區(qū)域和有效期。通常qwen-turbo和qwen-plus在免費范圍內(nèi)qwen-max可能不在或額度較少。用于學(xué)習(xí)和原型驗證將免費額度優(yōu)先用于技術(shù)可行性驗證PoC、小型 demo 開發(fā)和個人學(xué)習(xí)。避免用于大規(guī)模、高并發(fā)的生產(chǎn)流量測試。分散使用如果有多個項目或?qū)嶒灴梢詣?chuàng)建多個應(yīng)用并使用同一個 API Key但要在代碼中做好標(biāo)記以便后期分析各項目的成本。關(guān)注官方動態(tài)阿里云會不定期推出新的免費活動或開發(fā)者激勵計劃。關(guān)注阿里云官網(wǎng)、技術(shù)社區(qū)和郵件通知。通過阿里云百煉平臺開發(fā)者能夠以極低的初始成本接觸和集成業(yè)界領(lǐng)先的大模型能力。從開通賬號、領(lǐng)取免費額度到編寫第一個調(diào)用腳本再到構(gòu)建一個具備歷史管理功能的對話應(yīng)用這個過程本身就是一個完整的學(xué)習(xí)閉環(huán)。關(guān)鍵在于理解其按 token 計費的模式并學(xué)會通過模型選型、prompt 優(yōu)化和上下文管理來控制成本。當(dāng)項目從學(xué)習(xí)測試走向生產(chǎn)環(huán)境時則需要將關(guān)注點從“功能實現(xiàn)”擴展到“穩(wěn)定性、安全性與成本效益”的平衡引入必要的工程化實踐。