模型推理服務(wù)人工智能后端大模型MLOpsLLMOps【免費(fèi)下載鏈接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!項(xiàng)目地址https://gitcode.com/gh_mirrors/be/BentoML點(diǎn)擊查看免費(fèi)下載BentoML 為需要 GPU 資源的推理 Service 提供了簡潔的配置與部署路徑只需在bentoml.service裝飾器中通過resources聲明 GPU 數(shù)量甚至指定 GPU 型號(hào)再配合正確的 CUDA 依賴安裝與容器/云平臺(tái)運(yùn)行時(shí)設(shè)置即可將模型推理服務(wù)跑在 GPU 上。讀完本文你將掌握單卡與多卡場景下的 Service 編寫方式、BentoCloud 與 Docker 兩種部署形態(tài)的 GPU 分配方法以及用CUDA_VISIBLE_DEVICES精確控制 GPU 可見性的實(shí)戰(zhàn)技巧。聲明 GPU 資源Service 層的資源規(guī)格在使用 GPU 跑推理之前第一步是讓 BentoML 知道你的 Service 需要多少 GPU。這一步通過bentoml.service(resources{...})完成resources 是聲明在 Service 上的“資源需求單”在本地運(yùn)行時(shí)它會(huì)約束進(jìn)程可用的設(shè)備在云平臺(tái)部署時(shí)它會(huì)作為實(shí)例選型的依據(jù)。單卡場景把模型放到 cuda:0當(dāng)機(jī)器上只有一張 GPU 時(shí)PyTorch、TensorFlow 等框架默認(rèn)使用cuda:0也可直接寫作cuda。以 PyTorch 為例加載完權(quán)重后調(diào)用.to(cuda:0)即可把模型搬到 GPU 上。完整的 BentoML Service 示例如下import bentoml import os bentoml.service(resources{gpu: 1}) class MyService: # 使用 Hugging Face 模型 model_path bentoml.models.HuggingFaceModel(org_name/model_id) # 使用 Model Store 或 BentoCloud 中的模型 # model_path bentoml.models.BentoModel(model_name:latest) def __init__(self): import torch # 指定權(quán)重文件的精確路徑 weights_file os.path.join(self.model_path, weight.pt) self.model torch.load(weights_file).to(cuda:0)這里有兩個(gè)值得注意的細(xì)節(jié)bentoml.models.HuggingFaceModel(org_name/model_id)與bentoml.models.BentoModel(model_name:latest)都返回模型引用Service 內(nèi)通過os.path.join(self.model_path, ...)拿到權(quán)重文件在本地/容器內(nèi)的真實(shí)路徑。二者在源碼中均屬于Model抽象基類見 src/_bentoml_sdk/models/base.py區(qū)別在于前者從 Hugging Face Hub 解析模型后者從 BentoML Model Store 或 BentoCloud 解析已注冊(cè)模型。resources{gpu: 1}聲明了 1 個(gè) GPU 需求是后續(xù)一切 GPU 分配邏輯的起點(diǎn)。多卡場景指定設(shè)備或跨卡分布多 GPU 機(jī)器上每張 GPU 都有從 0 開始的索引cuda:0、cuda:1、cuda:2…。你可以把不同模型放到不同 GPU 上實(shí)現(xiàn)“一卡一模型”的隔離調(diào)度import bentoml import os bentoml.service(resources{gpu: 2}) class MultiGPUService: # 加載 Hugging Face 模型 model1_path bentoml.models.HuggingFaceModel(org_name/model1_id) model2_path bentoml.models.HuggingFaceModel(org_name/model2_id) # 使用 Model Store 或 BentoCloud 中的模型 # model_path bentoml.models.BentoModel(model_name:latest) def __init__(self): import torch # 指定權(quán)重文件的精確路徑 weights_file1 os.path.join(self.model1_path, weight1.pt) weights_file2 os.path.join(self.model2_path, weight2.pt) self.model1 torch.load(weights_file1).to(cuda:0) # 使用第一張 GPU self.model2 torch.load(weights_file2).to(cuda:1) # 使用第二張 GPU如果目標(biāo)是“同一個(gè) worker 使用多張 GPU 做分布式推理”則需借助框架自身的分布式原語PyTorch 提供torch.nn.DataParallel與torch.nn.parallel.DistributedDataParallelTensorFlow 則對(duì)應(yīng)其分布式訓(xùn)練/推理 API。這類場景通常還要求結(jié)合 BentoML 的 workers 機(jī)制詳見下文。resources 的源碼定義gpu 與 gpu_type 字段resources并不是一個(gè)“魔法字典”它由 BentoML 的ResourceSchema嚴(yán)格校驗(yàn)。查看 src/_bentoml_sdk/service/config.py 可以發(fā)現(xiàn)它包含以下字段字段取值類型說明cpuint/float/str數(shù)字按核數(shù)解釋1 1 核0.5 半核字符串可帶單位如100m表示 100 毫核memoryint/float/str數(shù)字按 Gi 解釋1 1 GiB字符串可帶單位如512Mi、2Gigpu正浮點(diǎn)數(shù)申請(qǐng)的 GPU 數(shù)量文檔示例中通常為整數(shù)1、2gpu_type枚舉字面量GPU 型號(hào)標(biāo)注如nvidia-l4、nvidia-tesla-a100主要作為部署到 BentoCloud 時(shí)的實(shí)例類型推薦依據(jù)tpu_type枚舉字面量TPU 型號(hào)如v4-2x2x1、v5p-2x2x2其中g(shù)pu_type的合法值被定義為GpuLiteralType字面量聯(lián)合當(dāng)前倉庫中覆蓋了nvidia-b200、nvidia-gb200、nvidia-tesla-h100、nvidia-tesla-a100、nvidia-a100-80gb、nvidia-a10g、nvidia-l4、nvidia-tesla-t4、nvidia-tesla-v100等 NVIDIA 型號(hào)以及amd-mi300x、amd-mi325x、amd-mi355x等 AMD 型號(hào)。寫錯(cuò)型號(hào)會(huì)在 Service 配置校驗(yàn)階段TypeAdapter(ServiceConfig).validate_python(...)見 config.py被直接攔截。GPU 部署從本地開發(fā)到容器與云平臺(tái)聲明好資源后還需要保證運(yùn)行時(shí)環(huán)境里真的裝有帶 CUDA 能力的深度學(xué)習(xí)框架以及 GPU 能被容器/平臺(tái)正確透傳。BentoML 的部署路徑主要有三條本地 pip 安裝、BentoCloud 托管、自管 Docker。用 pip 安裝帶 CUDA 的 PyTorch / TensorFlowBentoML 官方推薦直接通過pip安裝 PyTorch 或 TensorFlow 及其 CUDA 依賴?yán)碛捎袃牲c(diǎn)包體積最小只安裝真正需要的組件不額外引入無關(guān)驅(qū)動(dòng)文件兼容性更好框架發(fā)布版會(huì)自動(dòng)匹配正確的 CUDA 版本避免手工對(duì)齊 CUDA 版本號(hào)。本地開發(fā)環(huán)境的安裝命令pip install torch pip install tensorflow[and-cuda]構(gòu)建 Bento 時(shí)把框架依賴寫進(jìn)Image的python_packages或放進(jìn)獨(dú)立的requirements.txt再通過requirements_file()引入?yún)⒁?runtime-environment.rstimport bentoml my_image bentoml.images.Image(python_version3.11) \ .python_packages(torch, tensorflow[and-cuda]) bentoml.service(imagemy_image) class MyService: # Service implementation如果默認(rèn)鏡像無法滿足需求還可以通過base_image參數(shù)指定自定義 Docker 基礎(chǔ)鏡像用system_packages安裝系統(tǒng)級(jí)依賴、用run執(zhí)行自定義命令——這三者正是“定義運(yùn)行時(shí)規(guī)格”的核心手段完整方法清單見 runtime-environment.rst。也就是說CUDA 驅(qū)動(dòng)與庫的安裝方式完全可控既可以直接信任pip安裝的框架自帶 CUDA 運(yùn)行時(shí)也可以在自定義基礎(chǔ)鏡像層面定制驅(qū)動(dòng)版本。部署到 BentoCloud按 GPU 型號(hào)選實(shí)例在 BentoCloud 上部署時(shí)把gpu和gpu_type一起寫進(jìn)resources平臺(tái)便會(huì)據(jù)此分配對(duì)應(yīng)規(guī)格的 GPU 實(shí)例bentoml.service( resources{ gpu: 1, # 分配的 GPU 數(shù)量 gpu_type: nvidia-l4 # BentoCloud 上的具體 GPU 型號(hào) } ) class MyService: # Service implementation查詢你的 BentoCloud 賬號(hào)下可用的實(shí)例類型運(yùn)行$ bentoml deployment list-instance-types Name Price CPU Memory GPU GPU Type cpu.1 * 500m 2Gi cpu.2 * 1000m 2Gi cpu.4 * 2000m 8Gi cpu.8 * 4000m 16Gi gpu.t4.1 * 2000m 8Gi 1 nvidia-tesla-t4 gpu.l4.1 * 4000m 16Gi 1 nvidia-l4 gpu.a100.1 * 6000m 43Gi 1 nvidia-tesla-a100list-instance-types對(duì)應(yīng) CLI 實(shí)現(xiàn)中的list_instance_types函數(shù)見 src/bentoml_cli/deployment.py它會(huì)調(diào)用云客戶端查詢實(shí)例類型列表——這也是上面gpu_type取值要“對(duì)號(hào)入座”的原因。Service 就緒后一條命令即可完成部署bentoml deploy .更完整的部署步驟參見 create-deployments.rst。自管 DockerNVIDIA Container Toolkit 與 GPU 透傳自管部署時(shí)需要先安裝NVIDIA Container Toolkit含 Docker CE 與nvidia-docker的配套安裝容器才能訪問宿主機(jī)的 NVIDIA GPU。先用bentoml containerize構(gòu)建鏡像然后運(yùn)行在所有可用 GPU 上docker run --gpus all -p 3000:3000 bento_image:latest也可以用device選項(xiàng)精確指定要掛載的設(shè)備docker run --gpus all --device /dev/nvidia0 \ --device /dev/nvidia-uvm --device /dev/nvidia-uvm-tools \ --device /dev/nvidia-modeset --device /dev/nvidiactl docker-args驗(yàn)證 GPU 是否真的在工作nvidia-smi在另一個(gè)終端運(yùn)行nvidia-smi并每秒刷新可以確認(rèn) BentoML Service 是否正在占用 GPU# 每秒刷新一次輸出 watch -n 1 nvidia-smi示例輸出關(guān)鍵信息進(jìn)程列表里能看到你的 BentoML Python 進(jìn)程以及它占用的顯存Every 1.0s: nvidia-smi ps49pl48tek0: Mon Jun 17 13:09:46 2024 Mon Jun 17 13:09:46 2024 --------------------------------------------------------------------------------------- | NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 | |------------------------------------------------------------------------------------- | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | || | 0 NVIDIA A100-SXM4-80GB On | 00000000:00:05.0 Off | 0 | | N/A 30C P0 60W / 400W | 3493MiB / 81920MiB | 0% Default | | | | Disabled | ------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------- | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | || | 0 N/A N/A 1813 G /usr/lib/xorg/Xorg 70MiB | | 0 N/A N/A 1946 G /usr/bin/gnome-shell 78MiB | | 0 N/A N/A 11197 C /Home/Documents/BentoML/demo/bin/python 3328MiB| ---------------------------------------------------------------------------------------當(dāng) Service 正在處理推理請(qǐng)求時(shí)你會(huì)看到 Python 進(jìn)程對(duì)應(yīng)的行出現(xiàn)顯著的 GPU 內(nèi)存占用如上例的3328MiBGPU-Util也會(huì)隨負(fù)載波動(dòng)。限制 GPU 可見性CUDA_VISIBLE_DEVICES如果不想讓 Service 使用機(jī)器上的全部 GPU可以設(shè)置環(huán)境變量CUDA_VISIBLE_DEVICES用 GPU 的 ID通常從 0 開始編號(hào)限定可見設(shè)備CUDA_VISIBLE_DEVICES0—— 只暴露第一張 GPUCUDA_VISIBLE_DEVICES1,2—— 暴露第二、第三張 GPU。設(shè)置后框架與 BentoML Service 都只能“看見”列表中的設(shè)備設(shè)備索引也會(huì)按可見列表重新編號(hào)例如只暴露1,2時(shí)應(yīng)用內(nèi)訪問cuda:0實(shí)際對(duì)應(yīng)物理 GPU 1。這一機(jī)制適合在同一臺(tái)機(jī)器上隔離多個(gè)推理服務(wù)或配合 Kubernetes 等編排系統(tǒng)按需注入可見設(shè)備。進(jìn)階workers × GPU 的多進(jìn)程并行BentoML Service 默認(rèn)只有一個(gè) worker 進(jìn)程但可以通過workers參數(shù)啟動(dòng)多個(gè)。每個(gè) worker 有唯一的worker_index從 1 開始計(jì)數(shù)結(jié)合bentoml.server_context.worker_index - 1即可把不同 GPU 分配給不同 worker實(shí)現(xiàn)“每個(gè) worker 獨(dú)占一張卡”的經(jīng)典多卡推理布局import bentoml bentoml.service( resources{gpu: 2}, workers2 ) class MyService: def __init__(self): import torch cuda torch.device(fcuda:{bentoml.server_context.worker_index-1}) model models.resnet18(pretrainedTrue) model.to(cuda)該示例中worker 1worker_index 1使用 GPU 0worker 2worker_index 2使用 GPU 1。為什么是減 1因?yàn)閣orker_index是 1 起始的進(jìn)程編號(hào)而硬件設(shè)備索引是 0 起始的兩者相差 1。這個(gè)“一卡一進(jìn)程”的模式能最大化并行度、提升吞吐并降低單次推理耗時(shí)更多關(guān)于 workers、cpu_count取值與 GPU 分配組合的細(xì)節(jié)參見 parallelize-requests.rst。小結(jié)與最佳實(shí)踐清單把 GPU 推理跑通 BentoML核心是“聲明 → 安裝 → 透傳 → 驗(yàn)證”四步聲明bentoml.service(resources{gpu: N})寫明 GPU 數(shù)量云部署時(shí)追加gpu_type指定型號(hào)合法值見GpuLiteralType安裝pip install torch或pip install tensorflow[and-cuda]或通過Image.python_packages(...)在 Bento 構(gòu)建期裝入依賴特殊驅(qū)動(dòng)需求用base_image/system_packages/run定制透傳BentoCloud 部署按resources自動(dòng)分配實(shí)例自管 Docker 需安裝 NVIDIA Container Toolkit 并用--gpus all或--device掛載 GPU驗(yàn)證watch -n 1 nvidia-smi觀察進(jìn)程顯存占用多卡隔離用CUDA_VISIBLE_DEVICES多 worker 場景用worker_index - 1逐卡分配。按這套流程無論是單卡快速驗(yàn)證、多卡多模型隔離還是分布式推理、云上按型號(hào)選實(shí)例都能在 BentoML 的聲明式框架內(nèi)穩(wěn)定落地。贊分享模型推理服務(wù)人工智能后端大模型MLOpsLLMOps【免費(fèi)下載鏈接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!項(xiàng)目地址https://gitcode.com/gh_mirrors/be/BentoML點(diǎn)擊查看免費(fèi)下載相關(guān)推薦gh_mirrors/all/allsky樹莓派無線天文相機(jī)系統(tǒng)的終極入門指南gh_mirrors/all/allsky樹莓派無線天文相機(jī)系統(tǒng)的終極入門指南 allsky是一個(gè)開源的樹莓派無線天文相機(jī)系統(tǒng)它能幫助天文愛好者輕松構(gòu)建屬于FLUX.1-dev-Controlnet-Union環(huán)境配置指南從CUDA到Python依賴安裝FLUX.1 dev Controlnet Union環(huán)境配置指南從CUDA到Python依賴安裝 你還在為環(huán)境配置焦頭爛額 深度學(xué)習(xí)環(huán)境配置往往成為開發(fā)者30倍加速FlagEmbedding Faiss GPU實(shí)戰(zhàn)指南從安裝到多卡部署30倍加速FlagEmbedding Faiss GPU實(shí)戰(zhàn)指南從安裝到多卡部署 你是否還在為百萬級(jí)向量檢索速度慢而困擾當(dāng)CPU索引需要10秒返回結(jié)果人工智能RAG大模型NLP模型評(píng)測上一篇解決OpenInterpreter本地模型執(zhí)行難題從報(bào)錯(cuò)到流暢運(yùn)行的完整指南下一篇如何永久保存微信聊天記錄WeChatMsg為你打造個(gè)人專屬的數(shù)字記憶寶庫創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 BentoML GPU 推理配置指南：從資源聲明、CUDA 依賴安裝到多卡部署
模型推理服務(wù)人工智能后端大模型MLOpsLLMOps【免費(fèi)下載鏈接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!項(xiàng)目地址https://gitcode.com/gh_mirrors/be/BentoML點(diǎn)擊查看免費(fèi)下載BentoML 為需要 GPU 資源的推理 Service 提供了簡潔的配置與部署路徑只需在bentoml.service裝飾器中通過resources聲明 GPU 數(shù)量甚至指定 GPU 型號(hào)再配合正確的 CUDA 依賴安裝與容器/云平臺(tái)運(yùn)行時(shí)設(shè)置即可將模型推理服務(wù)跑在 GPU 上。讀完本文你將掌握單卡與多卡場景下的 Service 編寫方式、BentoCloud 與 Docker 兩種部署形態(tài)的 GPU 分配方法以及用CUDA_VISIBLE_DEVICES精確控制 GPU 可見性的實(shí)戰(zhàn)技巧。聲明 GPU 資源Service 層的資源規(guī)格在使用 GPU 跑推理之前第一步是讓 BentoML 知道你的 Service 需要多少 GPU。這一步通過bentoml.service(resources{...})完成resources 是聲明在 Service 上的“資源需求單”在本地運(yùn)行時(shí)它會(huì)約束進(jìn)程可用的設(shè)備在云平臺(tái)部署時(shí)它會(huì)作為實(shí)例選型的依據(jù)。單卡場景把模型放到 cuda:0當(dāng)機(jī)器上只有一張 GPU 時(shí)PyTorch、TensorFlow 等框架默認(rèn)使用cuda:0也可直接寫作cuda。以 PyTorch 為例加載完權(quán)重后調(diào)用.to(cuda:0)即可把模型搬到 GPU 上。完整的 BentoML Service 示例如下import bentoml import os bentoml.service(resources{gpu: 1}) class MyService: # 使用 Hugging Face 模型 model_path bentoml.models.HuggingFaceModel(org_name/model_id) # 使用 Model Store 或 BentoCloud 中的模型 # model_path bentoml.models.BentoModel(model_name:latest) def __init__(self): import torch # 指定權(quán)重文件的精確路徑 weights_file os.path.join(self.model_path, weight.pt) self.model torch.load(weights_file).to(cuda:0)這里有兩個(gè)值得注意的細(xì)節(jié)bentoml.models.HuggingFaceModel(org_name/model_id)與bentoml.models.BentoModel(model_name:latest)都返回模型引用Service 內(nèi)通過os.path.join(self.model_path, ...)拿到權(quán)重文件在本地/容器內(nèi)的真實(shí)路徑。二者在源碼中均屬于Model抽象基類見 src/_bentoml_sdk/models/base.py區(qū)別在于前者從 Hugging Face Hub 解析模型后者從 BentoML Model Store 或 BentoCloud 解析已注冊(cè)模型。resources{gpu: 1}聲明了 1 個(gè) GPU 需求是后續(xù)一切 GPU 分配邏輯的起點(diǎn)。多卡場景指定設(shè)備或跨卡分布多 GPU 機(jī)器上每張 GPU 都有從 0 開始的索引cuda:0、cuda:1、cuda:2…。你可以把不同模型放到不同 GPU 上實(shí)現(xiàn)“一卡一模型”的隔離調(diào)度import bentoml import os bentoml.service(resources{gpu: 2}) class MultiGPUService: # 加載 Hugging Face 模型 model1_path bentoml.models.HuggingFaceModel(org_name/model1_id) model2_path bentoml.models.HuggingFaceModel(org_name/model2_id) # 使用 Model Store 或 BentoCloud 中的模型 # model_path bentoml.models.BentoModel(model_name:latest) def __init__(self): import torch # 指定權(quán)重文件的精確路徑 weights_file1 os.path.join(self.model1_path, weight1.pt) weights_file2 os.path.join(self.model2_path, weight2.pt) self.model1 torch.load(weights_file1).to(cuda:0) # 使用第一張 GPU self.model2 torch.load(weights_file2).to(cuda:1) # 使用第二張 GPU如果目標(biāo)是“同一個(gè) worker 使用多張 GPU 做分布式推理”則需借助框架自身的分布式原語PyTorch 提供torch.nn.DataParallel與torch.nn.parallel.DistributedDataParallelTensorFlow 則對(duì)應(yīng)其分布式訓(xùn)練/推理 API。這類場景通常還要求結(jié)合 BentoML 的 workers 機(jī)制詳見下文。resources 的源碼定義gpu 與 gpu_type 字段resources并不是一個(gè)“魔法字典”它由 BentoML 的ResourceSchema嚴(yán)格校驗(yàn)。查看 src/_bentoml_sdk/service/config.py 可以發(fā)現(xiàn)它包含以下字段字段取值類型說明cpuint/float/str數(shù)字按核數(shù)解釋1 1 核0.5 半核字符串可帶單位如100m表示 100 毫核memoryint/float/str數(shù)字按 Gi 解釋1 1 GiB字符串可帶單位如512Mi、2Gigpu正浮點(diǎn)數(shù)申請(qǐng)的 GPU 數(shù)量文檔示例中通常為整數(shù)1、2gpu_type枚舉字面量GPU 型號(hào)標(biāo)注如nvidia-l4、nvidia-tesla-a100主要作為部署到 BentoCloud 時(shí)的實(shí)例類型推薦依據(jù)tpu_type枚舉字面量TPU 型號(hào)如v4-2x2x1、v5p-2x2x2其中g(shù)pu_type的合法值被定義為GpuLiteralType字面量聯(lián)合當(dāng)前倉庫中覆蓋了nvidia-b200、nvidia-gb200、nvidia-tesla-h100、nvidia-tesla-a100、nvidia-a100-80gb、nvidia-a10g、nvidia-l4、nvidia-tesla-t4、nvidia-tesla-v100等 NVIDIA 型號(hào)以及amd-mi300x、amd-mi325x、amd-mi355x等 AMD 型號(hào)。寫錯(cuò)型號(hào)會(huì)在 Service 配置校驗(yàn)階段TypeAdapter(ServiceConfig).validate_python(...)見 config.py被直接攔截。GPU 部署從本地開發(fā)到容器與云平臺(tái)聲明好資源后還需要保證運(yùn)行時(shí)環(huán)境里真的裝有帶 CUDA 能力的深度學(xué)習(xí)框架以及 GPU 能被容器/平臺(tái)正確透傳。BentoML 的部署路徑主要有三條本地 pip 安裝、BentoCloud 托管、自管 Docker。用 pip 安裝帶 CUDA 的 PyTorch / TensorFlowBentoML 官方推薦直接通過pip安裝 PyTorch 或 TensorFlow 及其 CUDA 依賴?yán)碛捎袃牲c(diǎn)包體積最小只安裝真正需要的組件不額外引入無關(guān)驅(qū)動(dòng)文件兼容性更好框架發(fā)布版會(huì)自動(dòng)匹配正確的 CUDA 版本避免手工對(duì)齊 CUDA 版本號(hào)。本地開發(fā)環(huán)境的安裝命令pip install torch pip install tensorflow[and-cuda]構(gòu)建 Bento 時(shí)把框架依賴寫進(jìn)Image的python_packages或放進(jìn)獨(dú)立的requirements.txt再通過requirements_file()引入?yún)⒁?runtime-environment.rstimport bentoml my_image bentoml.images.Image(python_version3.11) \ .python_packages(torch, tensorflow[and-cuda]) bentoml.service(imagemy_image) class MyService: # Service implementation如果默認(rèn)鏡像無法滿足需求還可以通過base_image參數(shù)指定自定義 Docker 基礎(chǔ)鏡像用system_packages安裝系統(tǒng)級(jí)依賴、用run執(zhí)行自定義命令——這三者正是“定義運(yùn)行時(shí)規(guī)格”的核心手段完整方法清單見 runtime-environment.rst。也就是說CUDA 驅(qū)動(dòng)與庫的安裝方式完全可控既可以直接信任pip安裝的框架自帶 CUDA 運(yùn)行時(shí)也可以在自定義基礎(chǔ)鏡像層面定制驅(qū)動(dòng)版本。部署到 BentoCloud按 GPU 型號(hào)選實(shí)例在 BentoCloud 上部署時(shí)把gpu和gpu_type一起寫進(jìn)resources平臺(tái)便會(huì)據(jù)此分配對(duì)應(yīng)規(guī)格的 GPU 實(shí)例bentoml.service( resources{ gpu: 1, # 分配的 GPU 數(shù)量 gpu_type: nvidia-l4 # BentoCloud 上的具體 GPU 型號(hào) } ) class MyService: # Service implementation查詢你的 BentoCloud 賬號(hào)下可用的實(shí)例類型運(yùn)行$ bentoml deployment list-instance-types Name Price CPU Memory GPU GPU Type cpu.1 * 500m 2Gi cpu.2 * 1000m 2Gi cpu.4 * 2000m 8Gi cpu.8 * 4000m 16Gi gpu.t4.1 * 2000m 8Gi 1 nvidia-tesla-t4 gpu.l4.1 * 4000m 16Gi 1 nvidia-l4 gpu.a100.1 * 6000m 43Gi 1 nvidia-tesla-a100list-instance-types對(duì)應(yīng) CLI 實(shí)現(xiàn)中的list_instance_types函數(shù)見 src/bentoml_cli/deployment.py它會(huì)調(diào)用云客戶端查詢實(shí)例類型列表——這也是上面gpu_type取值要“對(duì)號(hào)入座”的原因。Service 就緒后一條命令即可完成部署bentoml deploy .更完整的部署步驟參見 create-deployments.rst。自管 DockerNVIDIA Container Toolkit 與 GPU 透傳自管部署時(shí)需要先安裝NVIDIA Container Toolkit含 Docker CE 與nvidia-docker的配套安裝容器才能訪問宿主機(jī)的 NVIDIA GPU。先用bentoml containerize構(gòu)建鏡像然后運(yùn)行在所有可用 GPU 上docker run --gpus all -p 3000:3000 bento_image:latest也可以用device選項(xiàng)精確指定要掛載的設(shè)備docker run --gpus all --device /dev/nvidia0 \ --device /dev/nvidia-uvm --device /dev/nvidia-uvm-tools \ --device /dev/nvidia-modeset --device /dev/nvidiactl docker-args驗(yàn)證 GPU 是否真的在工作nvidia-smi在另一個(gè)終端運(yùn)行nvidia-smi并每秒刷新可以確認(rèn) BentoML Service 是否正在占用 GPU# 每秒刷新一次輸出 watch -n 1 nvidia-smi示例輸出關(guān)鍵信息進(jìn)程列表里能看到你的 BentoML Python 進(jìn)程以及它占用的顯存Every 1.0s: nvidia-smi ps49pl48tek0: Mon Jun 17 13:09:46 2024 Mon Jun 17 13:09:46 2024 --------------------------------------------------------------------------------------- | NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 | |------------------------------------------------------------------------------------- | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | || | 0 NVIDIA A100-SXM4-80GB On | 00000000:00:05.0 Off | 0 | | N/A 30C P0 60W / 400W | 3493MiB / 81920MiB | 0% Default | | | | Disabled | ------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------- | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | || | 0 N/A N/A 1813 G /usr/lib/xorg/Xorg 70MiB | | 0 N/A N/A 1946 G /usr/bin/gnome-shell 78MiB | | 0 N/A N/A 11197 C /Home/Documents/BentoML/demo/bin/python 3328MiB| ---------------------------------------------------------------------------------------當(dāng) Service 正在處理推理請(qǐng)求時(shí)你會(huì)看到 Python 進(jìn)程對(duì)應(yīng)的行出現(xiàn)顯著的 GPU 內(nèi)存占用如上例的3328MiBGPU-Util也會(huì)隨負(fù)載波動(dòng)。限制 GPU 可見性CUDA_VISIBLE_DEVICES如果不想讓 Service 使用機(jī)器上的全部 GPU可以設(shè)置環(huán)境變量CUDA_VISIBLE_DEVICES用 GPU 的 ID通常從 0 開始編號(hào)限定可見設(shè)備CUDA_VISIBLE_DEVICES0—— 只暴露第一張 GPUCUDA_VISIBLE_DEVICES1,2—— 暴露第二、第三張 GPU。設(shè)置后框架與 BentoML Service 都只能“看見”列表中的設(shè)備設(shè)備索引也會(huì)按可見列表重新編號(hào)例如只暴露1,2時(shí)應(yīng)用內(nèi)訪問cuda:0實(shí)際對(duì)應(yīng)物理 GPU 1。這一機(jī)制適合在同一臺(tái)機(jī)器上隔離多個(gè)推理服務(wù)或配合 Kubernetes 等編排系統(tǒng)按需注入可見設(shè)備。進(jìn)階workers × GPU 的多進(jìn)程并行BentoML Service 默認(rèn)只有一個(gè) worker 進(jìn)程但可以通過workers參數(shù)啟動(dòng)多個(gè)。每個(gè) worker 有唯一的worker_index從 1 開始計(jì)數(shù)結(jié)合bentoml.server_context.worker_index - 1即可把不同 GPU 分配給不同 worker實(shí)現(xiàn)“每個(gè) worker 獨(dú)占一張卡”的經(jīng)典多卡推理布局import bentoml bentoml.service( resources{gpu: 2}, workers2 ) class MyService: def __init__(self): import torch cuda torch.device(fcuda:{bentoml.server_context.worker_index-1}) model models.resnet18(pretrainedTrue) model.to(cuda)該示例中worker 1worker_index 1使用 GPU 0worker 2worker_index 2使用 GPU 1。為什么是減 1因?yàn)閣orker_index是 1 起始的進(jìn)程編號(hào)而硬件設(shè)備索引是 0 起始的兩者相差 1。這個(gè)“一卡一進(jìn)程”的模式能最大化并行度、提升吞吐并降低單次推理耗時(shí)更多關(guān)于 workers、cpu_count取值與 GPU 分配組合的細(xì)節(jié)參見 parallelize-requests.rst。小結(jié)與最佳實(shí)踐清單把 GPU 推理跑通 BentoML核心是“聲明 → 安裝 → 透傳 → 驗(yàn)證”四步聲明bentoml.service(resources{gpu: N})寫明 GPU 數(shù)量云部署時(shí)追加gpu_type指定型號(hào)合法值見GpuLiteralType安裝pip install torch或pip install tensorflow[and-cuda]或通過Image.python_packages(...)在 Bento 構(gòu)建期裝入依賴特殊驅(qū)動(dòng)需求用base_image/system_packages/run定制透傳BentoCloud 部署按resources自動(dòng)分配實(shí)例自管 Docker 需安裝 NVIDIA Container Toolkit 并用--gpus all或--device掛載 GPU驗(yàn)證watch -n 1 nvidia-smi觀察進(jìn)程顯存占用多卡隔離用CUDA_VISIBLE_DEVICES多 worker 場景用worker_index - 1逐卡分配。按這套流程無論是單卡快速驗(yàn)證、多卡多模型隔離還是分布式推理、云上按型號(hào)選實(shí)例都能在 BentoML 的聲明式框架內(nèi)穩(wěn)定落地。贊分享模型推理服務(wù)人工智能后端大模型MLOpsLLMOps【免費(fèi)下載鏈接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!項(xiàng)目地址https://gitcode.com/gh_mirrors/be/BentoML點(diǎn)擊查看免費(fèi)下載相關(guān)推薦gh_mirrors/all/allsky樹莓派無線天文相機(jī)系統(tǒng)的終極入門指南gh_mirrors/all/allsky樹莓派無線天文相機(jī)系統(tǒng)的終極入門指南 allsky是一個(gè)開源的樹莓派無線天文相機(jī)系統(tǒng)它能幫助天文愛好者輕松構(gòu)建屬于FLUX.1-dev-Controlnet-Union環(huán)境配置指南從CUDA到Python依賴安裝FLUX.1 dev Controlnet Union環(huán)境配置指南從CUDA到Python依賴安裝 你還在為環(huán)境配置焦頭爛額 深度學(xué)習(xí)環(huán)境配置往往成為開發(fā)者30倍加速FlagEmbedding Faiss GPU實(shí)戰(zhàn)指南從安裝到多卡部署30倍加速FlagEmbedding Faiss GPU實(shí)戰(zhàn)指南從安裝到多卡部署 你是否還在為百萬級(jí)向量檢索速度慢而困擾當(dāng)CPU索引需要10秒返回結(jié)果人工智能RAG大模型NLP模型評(píng)測上一篇解決OpenInterpreter本地模型執(zhí)行難題從報(bào)錯(cuò)到流暢運(yùn)行的完整指南下一篇如何永久保存微信聊天記錄WeChatMsg為你打造個(gè)人專屬的數(shù)字記憶寶庫創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考