LocalAI本地部署用Docker五分鐘跑起來【免費下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是開源的本地AI推理服務。你想在自己機器上跑大模型對話、語音轉(zhuǎn)寫、圖像生成又不想讓數(shù)據(jù)經(jīng)過任何云廠商它解決的就是這件事。不用買顯卡、不用注冊賬號、不用開通任何云服務。下面按步驟把它跑起來五分鐘就夠。裝起來前提只有一個裝了Docker。跑CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-ti分配終端并保持stdin打開你能直接看到啟動日志之后也能重進容器--name local-ai容器命名退出后用docker start -i local-ai就能拉起來-p 8080:8080把容器內(nèi)API服務端口映射到本機8080有N卡的話加一個--gpus all、把鏡像tag換成latest-gpu-nvidia-cuda-12即可其余不變。鏡像里默認只有核心模型需要某個推理引擎backend比如llama.cpp時會按需自動拉取對應的獨立鏡像——不用的后端不會裝。整條路徑就是下面這張圖拉鏡像、起服務、挑模型、發(fā)第一個API調(diào)用。改兩行配置鏡像可以從模型庫gallery直接拉取預配置好的模型用自己本地的.gguf文件大模型常見的量化格式時則在模型文件同目錄放一個yaml最小配置就三行backend: llama-cpp mmap: true context_size: 8192參數(shù)改它干嘛context_size上下文窗口長度長對話總被截斷就調(diào)大mmap內(nèi)存映射模型文件由系統(tǒng)按需換入數(shù)據(jù)省內(nèi)存大模型卡頓時試試關掉backend換推理引擎如llama-cpp、vllm、transformers跑通第一個對話服務起來后API是OpenAI兼容的——把任意OpenAI SDK的地址改成http://localhost:8080就能用。第一次調(diào)用會自動拉取并加載模型耐心等一兩分鐘curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: llama-3.2-1b-instruct:q4_k_m, messages: [{role: user, content: 用一句話打個招呼}] }返回里content字段出現(xiàn)模型回復文本比如content: 你好隨時可以開始。就是通了。瀏覽器直接打開http://localhost:8080還有一個內(nèi)置的Web界面可以不經(jīng)API直接對話下一步往哪走想換模型gallery/ 里是現(xiàn)成的預配置模板也可以用local-ai run從模型倉庫或Hugging Face拉任意模型。想接Web前端8080的內(nèi)置界面先用著自己的應用走OpenAI兼容API接口清單在 docs/content/features/。想多模態(tài)語音轉(zhuǎn)寫、TTS、圖像生成都在同一個服務的同一套API下不用另起組件。想多機跑分布式模式PostgreSQL NATS組多節(jié)點推理見 docs/content/features/distributed-mode.md?？ㄗ×司头?docs/content/getting-started/基本都有答案。【免費下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 LocalAI本地部署：用Docker五分鐘跑起來
LocalAI本地部署用Docker五分鐘跑起來【免費下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是開源的本地AI推理服務。你想在自己機器上跑大模型對話、語音轉(zhuǎn)寫、圖像生成又不想讓數(shù)據(jù)經(jīng)過任何云廠商它解決的就是這件事。不用買顯卡、不用注冊賬號、不用開通任何云服務。下面按步驟把它跑起來五分鐘就夠。裝起來前提只有一個裝了Docker。跑CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-ti分配終端并保持stdin打開你能直接看到啟動日志之后也能重進容器--name local-ai容器命名退出后用docker start -i local-ai就能拉起來-p 8080:8080把容器內(nèi)API服務端口映射到本機8080有N卡的話加一個--gpus all、把鏡像tag換成latest-gpu-nvidia-cuda-12即可其余不變。鏡像里默認只有核心模型需要某個推理引擎backend比如llama.cpp時會按需自動拉取對應的獨立鏡像——不用的后端不會裝。整條路徑就是下面這張圖拉鏡像、起服務、挑模型、發(fā)第一個API調(diào)用。改兩行配置鏡像可以從模型庫gallery直接拉取預配置好的模型用自己本地的.gguf文件大模型常見的量化格式時則在模型文件同目錄放一個yaml最小配置就三行backend: llama-cpp mmap: true context_size: 8192參數(shù)改它干嘛context_size上下文窗口長度長對話總被截斷就調(diào)大mmap內(nèi)存映射模型文件由系統(tǒng)按需換入數(shù)據(jù)省內(nèi)存大模型卡頓時試試關掉backend換推理引擎如llama-cpp、vllm、transformers跑通第一個對話服務起來后API是OpenAI兼容的——把任意OpenAI SDK的地址改成http://localhost:8080就能用。第一次調(diào)用會自動拉取并加載模型耐心等一兩分鐘curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: llama-3.2-1b-instruct:q4_k_m, messages: [{role: user, content: 用一句話打個招呼}] }返回里content字段出現(xiàn)模型回復文本比如content: 你好隨時可以開始。就是通了。瀏覽器直接打開http://localhost:8080還有一個內(nèi)置的Web界面可以不經(jīng)API直接對話下一步往哪走想換模型gallery/ 里是現(xiàn)成的預配置模板也可以用local-ai run從模型倉庫或Hugging Face拉任意模型。想接Web前端8080的內(nèi)置界面先用著自己的應用走OpenAI兼容API接口清單在 docs/content/features/。想多模態(tài)語音轉(zhuǎn)寫、TTS、圖像生成都在同一個服務的同一套API下不用另起組件。想多機跑分布式模式PostgreSQL NATS組多節(jié)點推理見 docs/content/features/distributed-mode.md?？ㄗ×司头?docs/content/getting-started/基本都有答案。【免費下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考