1. 這份白皮書到底在講什么1.1 從標(biāo)題拆解核心信息先把標(biāo)題拆開看?！靶酒瑢ｎ}四”說明這是一個系列報告的第四篇前三篇大概率分別覆蓋了國產(chǎn)AI芯片的硬件架構(gòu)、制程工藝、市場格局等方向到了第四篇才落到“軟件生態(tài)”上。這個排序本身就傳遞了一個信號硬件層面的差距正在被逐步拉近但軟件生態(tài)才是真正卡脖子的那一環(huán)。“2025年國產(chǎn)AI芯片軟件生態(tài)白皮書”這個定語很關(guān)鍵。它不是某一家廠商的產(chǎn)品手冊而是以“白皮書”的形式對整個國產(chǎn)AI芯片軟件生態(tài)做全景式梳理。白皮書這種文體通常包含幾個固定模塊產(chǎn)業(yè)背景、技術(shù)架構(gòu)分析、生態(tài)現(xiàn)狀調(diào)研、典型玩家盤點、趨勢研判、以及面向開發(fā)者和決策者的建議。它面向的讀者不是純學(xué)術(shù)圈而是產(chǎn)業(yè)從業(yè)者、技術(shù)選型決策者、投資機(jī)構(gòu)分析師以及正在做國產(chǎn)化適配的工程師。“附PDF下載”則說明這份報告的傳播方式以電子文檔為主方便在技術(shù)社區(qū)、企業(yè)內(nèi)部分享和傳閱。結(jié)合熱搜詞里大量出現(xiàn)的“pdf下載”“pdf解析”“pdf轉(zhuǎn)word”等詞可以判斷這類報告的獲取和二次處理需求非常旺盛。1.2 為什么軟件生態(tài)是國產(chǎn)AI芯片的勝負(fù)手打個比方。芯片硬件好比是高速公路的路面和車道軟件生態(tài)則是上面的交通規(guī)則、加油站、服務(wù)區(qū)、導(dǎo)航系統(tǒng)。路修得再寬如果沒有配套的服務(wù)體系車跑不起來或者跑起來效率極低。國產(chǎn)AI芯片過去幾年的困境就在這里——單卡算力指標(biāo)看著不錯但開發(fā)者拿到手之后發(fā)現(xiàn)框架適配不全、算子庫缺失、調(diào)試工具簡陋、文檔稀爛、社區(qū)沒人回答問題。一個典型的場景某算法團(tuán)隊想把訓(xùn)練好的PyTorch模型部署到國產(chǎn)推理卡上。理想情況下應(yīng)該有一套類似CUDA生態(tài)里TensorRT那樣的工具鏈能自動做圖優(yōu)化、算子融合、量化壓縮然后一鍵部署。但現(xiàn)實往往是你得手動改模型結(jié)構(gòu)、替換不支持的算子、自己寫適配層折騰兩周可能還沒跑通。這中間的摩擦成本就是軟件生態(tài)不成熟帶來的直接代價。這份白皮書要解決的就是把這個“摩擦成本”的現(xiàn)狀講清楚哪些環(huán)節(jié)已經(jīng)打通了哪些還在補課開發(fā)者當(dāng)下能用的方案是什么未來一兩年會往哪個方向走。1.3 適合誰來讀這份報告如果你是在做AI推理部署的工程師這份報告能幫你快速了解主流國產(chǎn)芯片的軟件棧成熟度避免選型時踩坑。如果你是企業(yè)技術(shù)負(fù)責(zé)人正在評估國產(chǎn)化替代方案報告里的生態(tài)對比和遷移成本分析可以直接作為決策參考。如果你是學(xué)生或剛?cè)胄械拈_發(fā)者想了解國產(chǎn)AI芯片到底能不能用、好不好用這份報告能給你一個不帶濾鏡的行業(yè)真實圖景。即便你暫時不涉及國產(chǎn)芯片報告里關(guān)于“軟件生態(tài)如何從零搭建”的方法論對理解整個AI基礎(chǔ)設(shè)施的演進(jìn)邏輯也有幫助。畢竟英偉達(dá)的CUDA生態(tài)也不是一天建成的它踩過的坑、走過的路國產(chǎn)玩家正在以更快的速度重走一遍。2. 白皮書的核心框架與關(guān)鍵結(jié)論2.1 報告的整體結(jié)構(gòu)拆解根據(jù)這類行業(yè)白皮書的慣常編排邏輯以及標(biāo)題中“軟件生態(tài)”這個核心限定詞可以合理推斷報告的主體內(nèi)容會圍繞以下幾個板塊展開。第一塊是產(chǎn)業(yè)背景與政策驅(qū)動。這部分會梳理國產(chǎn)AI芯片面臨的外部環(huán)境變化包括供應(yīng)鏈壓力、數(shù)據(jù)安全合規(guī)要求、以及各行業(yè)國產(chǎn)化替代的時間表。它回答的是“為什么現(xiàn)在必須做軟件生態(tài)”這個問題。第二塊是軟件棧的技術(shù)架構(gòu)分析。這是報告的技術(shù)核心。一個完整的AI芯片軟件棧通常分為四層最底層是驅(qū)動和運行時往上是編譯器與算子庫再往上是AI框架適配層最頂層是面向應(yīng)用的工具鏈和解決方案。報告會逐層分析國產(chǎn)玩家在各層的覆蓋情況和成熟度。第三塊是主流玩家生態(tài)盤點。國內(nèi)做AI芯片的廠商不少但每家走的軟件路線差異很大。有的選擇兼容CUDA生態(tài)讓開發(fā)者幾乎零成本遷移有的堅持自建全套工具鏈追求長期自主可控還有的走開源路線試圖用社區(qū)力量加速生態(tài)建設(shè)。報告會對這些路線做對比分析。第四塊是開發(fā)者調(diào)研與痛點匯總。這部分通常來自問卷或訪談反映一線開發(fā)者在使用國產(chǎn)芯片軟件時的真實反饋。哪些工具好用、哪些文檔缺失、哪些bug長期沒修這些信息比廠商宣傳材料有價值得多。第五塊是趨勢研判與建議?；谇懊娴姆治鰣蟾鏁o出未來一到兩年的生態(tài)演進(jìn)判斷以及面向廠商、開發(fā)者和決策者的行動建議。2.2 幾個值得關(guān)注的核心判斷雖然無法逐頁翻閱報告原文但結(jié)合行業(yè)公開信息和熱搜詞中透露的信號有幾個判斷大概率是報告的重點結(jié)論。第一個判斷國產(chǎn)AI芯片軟件生態(tài)正處于“從能用向好用過渡”的關(guān)鍵階段。過去兩年主要玩家的軟件棧已經(jīng)完成了從“完全跑不通”到“基本能跑通”的跨越。主流AI框架的適配、常用算子的覆蓋、基礎(chǔ)工具鏈的搭建這些從零到一的工作基本做完了?，F(xiàn)在的挑戰(zhàn)是從一到十性能優(yōu)化、穩(wěn)定性提升、開發(fā)體驗改善。第二個判斷兼容與自研的路線分化會持續(xù)存在但邊界在模糊。早期走兼容路線的廠商被質(zhì)疑“沒有核心技術(shù)”走自研路線的被抱怨“遷移成本太高”?，F(xiàn)在的情況是兼容派在兼容層之下也在做自研優(yōu)化自研派也開始提供遷移工具降低門檻。兩條路線在向中間靠攏。第三個判斷推理場景的軟件成熟度顯著高于訓(xùn)練場景。訓(xùn)練對算力規(guī)模、通信帶寬、框架完整度的要求極高國產(chǎn)芯片在訓(xùn)練場景的軟件支持還有明顯短板。但推理場景相對碎片化對單卡極致性能的依賴沒那么強國產(chǎn)軟件棧在這個領(lǐng)域更容易做出可用性。第四個判斷開源社區(qū)正在成為生態(tài)建設(shè)的重要變量。幾家國產(chǎn)芯片廠商已經(jīng)將部分工具鏈開源試圖通過社區(qū)協(xié)作加速bug修復(fù)和功能補齊。這個策略的效果還有待觀察但方向值得肯定。2.3 報告里可能被忽略的細(xì)節(jié)大多數(shù)人在讀這類報告時容易只盯著“誰家芯片算力高”“誰家生態(tài)排名第一”這類結(jié)論性信息。但真正有實操價值的往往是那些藏在附錄或案例里的細(xì)節(jié)。比如報告可能會提到某個廠商的算子庫在特定數(shù)據(jù)類型上的精度問題。這種信息在廠商官方文檔里通常不會寫但對做量化部署的工程師來說至關(guān)重要。再比如報告可能會對比不同廠商的模型遷移工具在實際項目中的耗時差異這種一手?jǐn)?shù)據(jù)比任何宣傳都有說服力。還有一個容易被忽略的點是版本兼容性。AI芯片的軟件棧迭代很快驅(qū)動版本、編譯器版本、框架版本之間的兼容矩陣如果沒搞清楚升級一個組件可能導(dǎo)致整個環(huán)境崩潰。報告如果包含這方面的版本管理建議價值會非常高。3. 軟件生態(tài)的四個關(guān)鍵層面拆解3.1 驅(qū)動與運行時最底層但最要命驅(qū)動和運行時是軟件棧的地基。這一層出問題上面所有東西都白搭。國產(chǎn)AI芯片在這一層的常見問題包括驅(qū)動安裝流程復(fù)雜、對操作系統(tǒng)內(nèi)核版本有嚴(yán)格限制、多卡通信的穩(wěn)定性不足、以及運行時對內(nèi)存的管理策略不夠精細(xì)。我見過一個真實案例某團(tuán)隊在測試某國產(chǎn)推理卡時發(fā)現(xiàn)單卡跑得好好的模型加到四卡做張量并行就頻繁報錯。排查了一周才發(fā)現(xiàn)是驅(qū)動里多卡通信的某個參數(shù)默認(rèn)值不合理需要手動改配置文件。這種問題在英偉達(dá)生態(tài)里幾乎不會遇到因為CUDA的默認(rèn)配置經(jīng)過了海量場景的驗證。國產(chǎn)驅(qū)動缺的就是這種“被無數(shù)人踩過”的積累。報告如果對各家驅(qū)動成熟度做了評級建議重點關(guān)注“多卡穩(wěn)定性”和“長時間運行穩(wěn)定性”這兩個維度。單卡跑個demo誰都能跑真正上生產(chǎn)環(huán)境連續(xù)跑72小時不出問題才是硬指標(biāo)。3.2 編譯器與算子庫性能差距的主要來源編譯器負(fù)責(zé)把上層框架的模型圖轉(zhuǎn)換成芯片能執(zhí)行的指令算子庫則提供了各種基礎(chǔ)運算的實現(xiàn)。這兩塊直接決定了模型跑得快不快。國產(chǎn)芯片在算子覆蓋度上常用的卷積、矩陣乘、激活函數(shù)這些基本都支持了。但在一些特殊算子上比如某些變體的注意力機(jī)制、自定義的歸一化層就可能缺失或者性能很差。這時候開發(fā)者要么等廠商更新要么自己寫算子。自己寫算子又涉及到對芯片架構(gòu)的理解門檻很高。編譯器方面圖優(yōu)化能力是核心。好的編譯器能自動做算子融合、內(nèi)存復(fù)用、指令調(diào)度把硬件利用率拉高。國產(chǎn)編譯器在這方面的自動化程度普遍還有提升空間很多時候需要開發(fā)者手動干預(yù)。報告里如果有各家算子庫的覆蓋度對比表以及典型模型如ResNet、BERT、LLaMA的編譯優(yōu)化效果數(shù)據(jù)那會是非常實用的參考。3.3 AI框架適配層開發(fā)者的第一接觸點大多數(shù)開發(fā)者不會直接跟驅(qū)動和編譯器打交道他們用的是PyTorch、TensorFlow、PaddlePaddle這些框架?？蚣苓m配層做得好不好直接決定了開發(fā)者的第一印象。目前國產(chǎn)芯片的框架適配主要有三種模式。第一種是插件式在原生框架里加一個后端插件開發(fā)者代碼基本不用改。第二種是分支式維護(hù)一個框架的定制版本開發(fā)者需要切換到特定分支。第三種是轉(zhuǎn)換式先把模型導(dǎo)出成中間格式再轉(zhuǎn)換成芯片能跑的格式。插件式對開發(fā)者最友好但維護(hù)成本高框架升級時適配層要跟著改。轉(zhuǎn)換式最靈活但多了一步轉(zhuǎn)換調(diào)試起來麻煩。報告應(yīng)該會分析不同適配模式的優(yōu)劣以及各廠商的選擇。3.4 工具鏈與解決方案決定生產(chǎn)效率的關(guān)鍵工具鏈包括性能分析工具、調(diào)試工具、模型壓縮工具、部署工具等。這些工具不直接參與計算但決定了開發(fā)者能不能快速定位問題、優(yōu)化性能。國產(chǎn)芯片在工具鏈上的短板比較明顯。性能分析工具往往只能看到粗粒度的耗時沒法像Nsight那樣深入到指令級別。調(diào)試工具在遇到精度問題時很難快速定位是哪一層算子出了偏差。模型壓縮工具對量化精度的控制也不夠精細(xì)。不過也有做得好的地方。部分廠商針對特定場景提供了端到端的解決方案比如智慧城市里的視頻分析、工業(yè)質(zhì)檢里的缺陷檢測開發(fā)者拿過來改改就能用。這種“場景化工具包”的思路比通用工具更容易做出差異化。4. 開發(fā)者遷移的真實成本與應(yīng)對策略4.1 從CUDA遷移到國產(chǎn)平臺要改多少東西這是所有考慮國產(chǎn)化替代的團(tuán)隊最關(guān)心的問題。答案取決于你的模型復(fù)雜度和對性能的要求。如果只是跑一個標(biāo)準(zhǔn)模型做推理比如ResNet-50做圖像分類遷移工作量可能只有一兩天。因為主流國產(chǎn)芯片的框架適配層已經(jīng)內(nèi)置了這些常見模型的支持你只需要把設(shè)備從cuda改成對應(yīng)的設(shè)備名重新編譯一下就行。但如果你的模型有自定義算子或者用了比較新的網(wǎng)絡(luò)結(jié)構(gòu)工作量就會陡增。自定義算子需要重寫新結(jié)構(gòu)可能觸發(fā)編譯器的bug性能調(diào)優(yōu)更是需要反復(fù)試驗。這種情況下遷移周期可能以周甚至月為單位。報告里如果有遷移工作量的分級評估比如按模型類型、算子復(fù)雜度、性能要求來劃分會非常有參考價值。4.2 遷移過程中的五個常見坑第一個坑是精度對齊。同樣的模型在GPU上跑出來的結(jié)果和國產(chǎn)芯片上跑出來的結(jié)果可能有細(xì)微差異。大多數(shù)情況下這種差異在可接受范圍內(nèi)但如果你的應(yīng)用對精度極其敏感就需要做逐層對比找出偏差來源。第二個坑是內(nèi)存管理。國產(chǎn)芯片的顯存管理策略和GPU不同有些在GPU上能跑的大batch在國產(chǎn)芯片上會OOM。需要重新調(diào)整batch size和梯度累積策略。第三個坑是多卡通信。如果你的模型需要多卡并行國產(chǎn)芯片的通信庫在穩(wěn)定性和性能上可能和NCCL有差距。建議先用小規(guī)模驗證通信的正確性再逐步擴(kuò)大規(guī)模。第四個坑是版本鎖定。國產(chǎn)軟件棧的版本兼容性管理還不夠完善升級一個組件可能導(dǎo)致其他組件不工作。建議在項目開始時就把所有組件的版本固定下來不要輕易升級。第五個坑是文檔滯后。國產(chǎn)芯片的文檔更新速度往往跟不上軟件迭代速度你遇到的問題可能官方文檔里根本沒有。這時候需要直接找廠商的技術(shù)支持或者在開發(fā)者社區(qū)里求助。4.3 降低遷移成本的實用策略最有效的策略是分層遷移。不要一上來就把整個訓(xùn)練流程搬到國產(chǎn)平臺上。先把推理部分遷過去驗證效果。推理跑通了再把數(shù)據(jù)預(yù)處理遷過去。最后再考慮訓(xùn)練。另一個策略是保持雙軌運行。在遷移期間GPU環(huán)境和國產(chǎn)環(huán)境并行維護(hù)用同一套測試用例驗證兩邊的一致性。這樣即使國產(chǎn)環(huán)境出問題也不會影響業(yè)務(wù)連續(xù)性。還有一個策略是優(yōu)先遷移對性能不敏感的任務(wù)。比如離線批處理、定時任務(wù)這些對延遲要求不高國產(chǎn)芯片即使性能差一些也能接受。等軟件生態(tài)更成熟了再把核心任務(wù)遷過去。5. 生態(tài)建設(shè)中的常見問題與排查思路5.1 模型轉(zhuǎn)換失敗怎么排查模型轉(zhuǎn)換是遷移過程中最容易出問題的環(huán)節(jié)。常見癥狀包括轉(zhuǎn)換過程直接報錯、轉(zhuǎn)換成功但推理結(jié)果不對、轉(zhuǎn)換后性能遠(yuǎn)低于預(yù)期。排查的第一步是確認(rèn)模型本身沒有動態(tài)控制流。很多國產(chǎn)芯片的編譯器對動態(tài)圖的支持有限如果模型里有if-else分支或者循環(huán)次數(shù)不固定的結(jié)構(gòu)轉(zhuǎn)換很容易失敗。解決辦法是先用torch.jit.trace或類似工具把模型固定成靜態(tài)圖。第二步是檢查算子支持列表。把模型里的算子列出來和廠商提供的支持列表逐一比對。不支持的算子需要找替代實現(xiàn)或者聯(lián)系廠商添加支持。第三步是精度對比。如果轉(zhuǎn)換成功但結(jié)果不對用逐層對比的方式找出第一層出錯的算子。通常問題出在量化操作或者特殊的歸一化層上。5.2 性能不達(dá)預(yù)期怎么優(yōu)化性能問題比正確性問題更難排查因為影響因素太多。建議按以下順序逐一排除。先看是不是內(nèi)存瓶頸。用廠商提供的性能分析工具查看顯存占用和內(nèi)存帶寬利用率。如果顯存占用接近上限或者帶寬利用率很高說明瓶頸在內(nèi)存訪問上。優(yōu)化方向是減少中間張量的存儲、使用更高效的數(shù)據(jù)布局。再看是不是計算瓶頸。如果計算單元的利用率很低說明算子實現(xiàn)效率不高或者圖優(yōu)化沒做好。可以嘗試手動融合算子、調(diào)整線程塊大小、使用廠商提供的高性能算子庫。最后看是不是調(diào)度問題。多卡場景下如果卡間負(fù)載不均衡整體性能會被最慢的卡拖累。需要檢查數(shù)據(jù)切分策略和通信模式。5.3 常見問題速查表問題現(xiàn)象可能原因排查方向解決思路驅(qū)動安裝失敗內(nèi)核版本不兼容查看驅(qū)動文檔的系統(tǒng)要求升級或降級內(nèi)核或使用廠商提供的DKMS包模型轉(zhuǎn)換報錯存在動態(tài)控制流檢查模型是否有if/loop用trace固定靜態(tài)圖或改寫模型結(jié)構(gòu)推理結(jié)果偏差大量化精度損失逐層對比輸出調(diào)整量化策略對敏感層保持浮點多卡訓(xùn)練不穩(wěn)定通信庫bug查看通信日志降低通信頻率或換用其他并行策略性能遠(yuǎn)低于預(yù)期算子未優(yōu)化用profiler定位熱點替換為廠商優(yōu)化算子或手動調(diào)優(yōu)顯存溢出內(nèi)存管理策略不同查看顯存占用曲線減小batch size或使用梯度檢查點版本升級后崩潰組件版本不兼容檢查版本兼容矩陣回退到之前穩(wěn)定的版本組合5.4 幾個容易被忽視的實操心得第一個心得在項目初期就建立版本管理規(guī)范。把驅(qū)動、編譯器、框架、算子庫的版本號記錄在一個文件里每次環(huán)境變更都更新。國產(chǎn)軟件棧的版本兼容性還在完善中這個習(xí)慣能幫你省下大量排查時間。第二個心得善用廠商的技術(shù)支持渠道。國產(chǎn)芯片廠商對客戶的技術(shù)支持通常比英偉達(dá)更積極因為他們在搶生態(tài)。遇到解決不了的問題直接提工單或者拉群溝通往往比自己在網(wǎng)上搜效率高得多。第三個心得關(guān)注開發(fā)者社區(qū)的活躍度。一個芯片的軟件生態(tài)好不好看它的開發(fā)者社區(qū)就知道了。如果社區(qū)里問題沒人回答、bug長期不修說明廠商投入不夠。反過來如果社區(qū)活躍、官方響應(yīng)快即使當(dāng)前功能還不完善也值得投入。6. 從白皮書看國產(chǎn)AI芯片軟件生態(tài)的演進(jìn)方向6.1 短期看兼容長期看標(biāo)準(zhǔn)未來一到兩年國產(chǎn)AI芯片軟件生態(tài)的主旋律仍然是兼容。兼容CUDA的編程模型、兼容主流AI框架的接口、兼容常用的工具鏈。這是降低開發(fā)者遷移成本最直接的方式。但長期來看兼容只是手段不是目的。真正的生態(tài)成熟需要形成自己的標(biāo)準(zhǔn)。比如在編譯器中間表示、算子接口定義、模型交換格式等方面如果能形成一套被廣泛接受的標(biāo)準(zhǔn)國產(chǎn)芯片之間就能實現(xiàn)一定程度的互操作開發(fā)者的選擇成本會大幅降低。報告里如果有關(guān)于標(biāo)準(zhǔn)建設(shè)的討論值得仔細(xì)讀。這關(guān)系到未來五年國產(chǎn)AI芯片能不能從“各自為戰(zhàn)”走向“生態(tài)協(xié)同”。6.2 云邊端的分化與協(xié)同AI芯片的應(yīng)用場景正在分化。云端訓(xùn)練和推理追求極致性能邊緣端追求低功耗和實時性終端設(shè)備追求極致的能效比。不同場景對軟件棧的要求差異很大。云端軟件棧需要支持大規(guī)模分布式訓(xùn)練、復(fù)雜的模型并行策略、高吞吐的推理服務(wù)。邊緣端軟件棧需要支持模型壓縮、量化部署、低延遲推理。終端軟件棧則更關(guān)注極簡的運行時和極低的功耗。國產(chǎn)芯片廠商需要根據(jù)自身定位選擇重點突破的場景。試圖一套軟件棧通吃云邊端的做法在資源有限的情況下很難做好。報告如果對各家廠商的場景定位做了分析可以幫助讀者判斷哪家的軟件棧更適合自己的需求。6.3 開源能否成為破局點開源是國產(chǎn)AI芯片軟件生態(tài)建設(shè)的一個重要變量。通過開源廠商可以借助社區(qū)力量加速bug修復(fù)和功能補齊同時也能吸引更多開發(fā)者了解和試用自己的平臺。但開源不是萬能藥。如果開源的項目缺乏維護(hù)、文檔不全、社區(qū)運營跟不上反而會損害廠商聲譽。成功的開源項目需要持續(xù)的投入包括代碼維護(hù)、issue響應(yīng)、文檔更新、社區(qū)活動等。目前國產(chǎn)AI芯片領(lǐng)域的開源項目還處于早期階段有些項目開源了核心組件但周邊工具沒跟上有些項目開源后更新頻率很低。報告如果對開源項目的活躍度做了評估可以作為判斷廠商生態(tài)建設(shè)決心的參考。6.4 開發(fā)者體驗將成為核心競爭力硬件性能的差距在縮小軟件體驗的差距在放大。當(dāng)幾家的芯片在算力上都能滿足需求時開發(fā)者會選哪家答案很可能是選那個讓我少加班的那家。開發(fā)者體驗包括很多方面安裝是否簡單、文檔是否清晰、報錯信息是否友好、調(diào)試工具是否好用、社區(qū)是否活躍、問題響應(yīng)是否及時。這些看似瑣碎的細(xì)節(jié)累積起來就是巨大的體驗差異。國產(chǎn)芯片廠商過去更關(guān)注硬件指標(biāo)的比拼現(xiàn)在需要把更多精力放在開發(fā)者體驗上。畢竟芯片是給人用的開發(fā)者用得不爽再高的算力也是白搭。這份白皮書的價值不僅在于它梳理了現(xiàn)狀更在于它把“軟件生態(tài)”這個容易被忽視的維度放到了聚光燈下。硬件決定下限軟件決定上限。國產(chǎn)AI芯片能走多遠(yuǎn)很大程度上取決于軟件生態(tài)能建多好。