色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

從 Issue 到 PR 合入:HCCL 開源貢獻全流程實戰(zhàn)指南

從 Issue 到 PR 合入:HCCL 開源貢獻全流程實戰(zhàn)指南 在昇騰設備上做分布式訓練時HCCLHuawei Collective Communication Library就是那個藏在底層、負責多卡和跨節(jié)點梯度同步的集合通信庫。很多做模型訓練的同學用過它但真正參與過它開發(fā)的并不多。這篇東西我想從一個貢獻者的視角把從提 Issue 到 PR 合入的完整鏈路拆開講一遍包括什么樣的 Issue 會被維護者認真看、PR 怎么寫才不用來回折騰十輪、CI 掛了先查哪里、以及 code review 時那些不好意思問出口的潛規(guī)則。如果你已經有 C/C 或 Python 基礎想找一個有真實落地場景的開源項目練手HCCL 其實是個比想象中更友好的選擇。這篇文章會從項目背景、Issue 規(guī)范、環(huán)境準備、PR 流程、CI 調試到合入后的收尾工作逐步帶你把整套流程走通。哪怕你還沒碰過集合通信只要愿意讀代碼、愿意跑測試也能找到自己可以下手的位置。1. 項目畫像先搞清楚 HCCL 到底是什么1.1 它在分布式訓練棧里的位置在聊怎么給 HCCL 貢獻代碼之前先花點時間把項目本身講清楚。HCCL 是昇騰 AI 加速卡上的集合通信庫對標的是 GPU 生態(tài)里的 NCCL。訓練大模型時數(shù)據(jù)并行是最常見的并行策略每張卡算完自己那一份梯度之后需要把梯度同步到所有卡上這個同步動作就是靠集合通信庫來完成的。AllReduce、AllGather、ReduceScatter 這些通信原語就是 HCCL 對外提供的核心能力。你可以把它理解成快遞系統(tǒng)里的分揀中心每張卡都往里面投遞自己的梯度包裹分揀中心負責按照規(guī)則重新打包再派送給所有卡。如果分揀中心效率低整個訓練任務都會卡在等待上。這也是為什么集合通信庫的性能優(yōu)化如此重要——哪怕只提升 10% 的通信效率在大規(guī)模訓練里節(jié)省的時間成本都是非常可觀的。對貢獻者來說這個位置意味著兩件事一是你寫的代碼會被真實的高性能計算場景使用改動的影響面很直觀二是它涉及的知識面比較寬包括操作系統(tǒng)、網絡協(xié)議、硬件拓撲、并發(fā)編程但每個方向都不是說你要成為專家才能參與很多任務其實是在已有代碼框架上做增量優(yōu)化和修補。1.2 代碼倉庫和模塊劃分HCCL 的源碼可以通過公開代碼托管平臺獲取常見的路徑是在 Gitee 或 GitHub 上搜索相關組織下的 HCCL 倉庫。拿到源碼之后你會發(fā)現(xiàn)它并不是一個特別龐大的項目但目錄結構劃分得很清晰。核心內容一般集中在通信算子的實現(xiàn)、設備管理、拓撲發(fā)現(xiàn)、傳輸鏈路這幾個模塊里。從新人的角度我建議先不要把精力放在底層傳輸鏈路上那個模塊涉及到對硬件驅動的理解排查問題的門檻很高。相對友好的切入點是集合通信算子的上層邏輯、工具腳本、文檔注釋和測試用例。比如你看到某個算子在特定數(shù)據(jù)大小下性能異常順著調用鏈往下查可能定位到的是內存分配策略或者同步等待邏輯的問題這種問題的修復往往只涉及幾百行代碼但對于理解整個項目幫助極大。順便說一句HCCL 的代碼風格整體比較規(guī)整大量使用 C 特性但也保留了不少 C 風格的接口設計。原因很簡單這個庫需要被上層框架比如 PyTorch 的適配層通過 C 接口調用所以對外 API 用 C 接口更穩(wěn)定內部的實現(xiàn)則用 C 來保證開發(fā)效率。1.3 貢獻前的能力準備先潑一盆冷水給 HCCL 貢獻代碼不是會寫 Python 調幾個框架就行的事情。它需要一定的 C/C 功底至少要能讀懂指針、引用、模板這些基礎概念理解多線程和鎖的用法以及具備通過日志和調試工具排查問題的經驗。但也不用被嚇住因為項目里不只是代碼一種貢獻形式。文檔修正、示例代碼、測試補充、Issue 復現(xiàn)驗證這些都是非常有價值的貢獻方式。尤其對于第一次參與開源的人來說從文檔和測試入手熟悉了整個流程之后再碰核心代碼是曲線比較平滑的一條路。環(huán)境方面如果你手頭有昇騰設備那當然是最好的可以本地復現(xiàn)并驗證性能改動。如果沒有也可以貢獻一些不依賴硬件的代碼邏輯優(yōu)化或者在 CI 環(huán)境里去跑測試。只不過需要提前說明的是HCCL 的很多測試是依賴真實硬件環(huán)境的純軟件模擬環(huán)境只能覆蓋一部分功能這個限制對所有貢獻者都一樣不是你一個人的問題。2. 從一條合格 Issue 開始2.1 Issue 不是吐槽區(qū)我見過很多新手在 GitHub/Gitee 上提 Issue開頭就是“訓練報錯了求大佬看看”然后附一張模糊的截圖沒有版本號沒有日志沒有復現(xiàn)步驟。這種 Issue 基本不可能得到有效的回復——不是維護者不熱情而是信息不足以定位問題。高質量開源協(xié)作的第一步是學會提一條合格的 Issue。一個合格的 HCCL Issue必須包含幾個核心要素問題現(xiàn)象、復現(xiàn)步驟、環(huán)境信息、日志信息?,F(xiàn)象描述要準確比如“在 8 卡環(huán)境執(zhí)行 AllReduce 時當數(shù)據(jù)量為 512MB 時性能比預期低 30%”就比“訓練很慢”有用得多。復現(xiàn)步驟要可操作別人按你的步驟能走通。環(huán)境信息包括操作系統(tǒng)版本、CANN 版本、HCCL 版本、固件驅動版本、卡型號和拓撲。日志信息則是運行時的報錯輸出、HCCL 日志通常由環(huán)境變量控制開關以及必要的堆棧信息。有人可能會覺得我提個 Issue 而已還需要整理這么多東西嗎換個角度想如果你是那個需要花半小時甚至更久去復現(xiàn)問題的維護者你希望看到什么樣的報告將心比心把信息整理清楚本身就是對維護者勞動的尊重。2.2 一份能加速處理的 Issue 長什么樣我以一個真實的 bug 類 Issue 為例給你拆解一下模板要素標題[Bug] AllReduce 在數(shù)據(jù)量為 256MB 時觸發(fā)段錯誤 環(huán)境信息 - 操作系統(tǒng)Ubuntu 20.04.6 LTS - CANN 版本8.0.RC1 - HCCL 版本v1.8.1 - 固件驅動24.1.rc1 - 硬件4 張 Atlas 訓練卡單機單卡環(huán)形互聯(lián) 復現(xiàn)步驟 1. 編譯 examples/allreduce_benchmark參數(shù)配置如下省略具體參數(shù) 2. 設置 HCCL_LOGFILE/tmp/hccl.log 環(huán)境變量 3. 啟動測試程序數(shù)據(jù)量設置為 256MB 4. 觀察程序退出碼 期望行為正常完成集合通信并輸出正確結果。 實際行為程序在通信初始化階段崩潰退出碼 -11堆棧顯示在拓撲發(fā)現(xiàn)模塊具體報錯粘貼。 日志片段 粘貼關鍵日志避免貼整個文件這個模板的信息密度很高維護者拿到手可以直接開始復現(xiàn)。值得注意的一點是“數(shù)據(jù)量為 256MB 時崩潰128MB 或 512MB 時正?!边@種信息非常關鍵因為它能幫助維護者快速縮小問題范圍——可能涉及內存池分配策略、通信緩沖區(qū)的邊界條件或者某個特定數(shù)據(jù)分片邏輯。另外如果問題涉及性能最好附上基線數(shù)據(jù)和實測數(shù)據(jù)的對比說明是在什么條件測的。性能問題比崩潰問題更難處理因為它可能和網絡拓撲、CPU 頻率、PCIe/NVLink/HCCS 鏈路狀態(tài)都有關沒有數(shù)據(jù)的性能 Issue 基本等于大海撈針。2.3 Issue 里的溝通禮儀Issue 提完之后你可能會遇到幾種情況。一種是維護者很快回復“能否提供更多信息”這時你需要及時補充一種是長時間沒人回復這并不一定代表你的問題不重要可能是維護者比較忙也可能是你的 Issue 確實缺少必要信息還有一種情況是有人回復了但是給了一個和你預期不一樣的解釋方向。在 Issue 評論區(qū)溝通要保持專業(yè)和耐心。不要用“這東西怎么這么難用”這種抱怨語氣直接陳述技術問題就好。如果某個對話已經偏離主題可以禮貌地提醒對方回到問題本身。如果維護者要求你驗證某個修復補丁盡量第一時間去跑然后把結果反饋到評論區(qū)——這是建立信任的過程。這里還有一個很容易踩的坑在 Issue 里貼完整的大文件日志。幾萬行的日志會把真正有用的錯誤信息淹沒掉正確做法是先用 grep 過濾掉無關內容只保留報錯前后的關鍵幾十行并在日志片段外簡要標注每部分可能表示的含義。維護者每天要處理大量 Issue信息越聚焦你的問題被解決的優(yōu)先級就越高。3. 從 Issue 到開發(fā)計劃3.1 怎么篩選適合自己的任務不是所有 Issue 都需要你寫代碼。HCCL 的項目維護者通常會給 Issue 打標簽比如 good first issue、help wanted、bug、enhancement 等。如果你是第一次參與建議優(yōu)先找 good first issue 或者文檔增強類的任務這類任務的技術依賴少評審要求相對寬松能幫你把整個工具鏈跑通。篩選任務的時候有幾點經驗可以分享。首先看 Issue 的創(chuàng)建時間——太老的問題可能已經沒人關注你做了也可能不被接受。其次是看評論區(qū)的活躍度如果維護者在此前已經給過一些方向性建議說明這個問題是被認可的你可以在此基礎上展開。第三是評估影響范圍盡量選那些改動文件不超過 10 個、核心邏輯相對獨立的問題。以 HCCL 為例一個對新人比較友好的任務是“補充某個通信原語在異常輸入下的錯誤碼檢查”這種改動通常只需要在 API 入口增加參數(shù)校驗邏輯清晰、影響面可控。相比之下“優(yōu)化某拓撲下 AllReduce 的帶寬利用率”這種任務雖然很有吸引力但往往需要你深入理解硬件拓撲和網絡通信機制調試周期很長不建議拿來做第一個 PR。3.2 認領任務與溝通方式找到合適的 Issue 之后不要直接悶頭開始寫代碼。正確的做法是先在這個 Issue 下面評論說明你想認領這個任務并簡單描述你打算怎么解決。好處有三個一是避免和其他貢獻者撞車讓別人知道這個任務有人在做二是維護者會給你反饋如果方案有問題可以及時調整避免白干三是有溝通記錄作為依據(jù)后續(xù)你提交 PR 時維護者更容易建立上下文。在評論認領任務時可以簡單描述你的技術背景和計劃時間線比如“我熟悉 C 和內存管理計劃兩周內完成修復并提交 PR”。這種信息能打消維護者對新人執(zhí)行力的顧慮。但要注意一旦你承諾了時間線最好能真的推進如果有意外延期也應該及時在 Issue 里同步而不是一直沉默。另外一個小技巧認領任務后可以先把相關代碼讀一遍在評論里提出你的初判。比如“經排查問題出現(xiàn)在 topology.c 中的設備發(fā)現(xiàn)邏輯可能和 PCIe 鏈路寬度檢測有關”。即使這個判斷不完全正確維護者也會覺得你是真的在做事而不是隨便占個坑。3.3 本地開發(fā)環(huán)境搭建開發(fā)環(huán)境搭建是很多新手真正卡住的地方。我的建議是分兩步走先搞定能在本地完成的工作讀代碼、編譯、跑靜態(tài)檢查再解決需要硬件資源的工作跑真實通信測試。HCCL 的代碼構建一般依賴 Linux 環(huán)境、GCC 編譯器、CMake 和 Python 工具鏈。拿到源碼后按 README 的說明安裝好依賴依次執(zhí)行配置、編譯、安裝這幾個步驟即可。在配置階段有幾個選項比較重要比如是否啟用測試代碼、日志等級、調試符號等。如果你是做功能開發(fā)而非性能調優(yōu)建議打開調試符號和更詳細的日志輸出方便定位問題。沒有昇騰硬件的情況下依然可以完成編譯驗證但鏈接階段可能會缺少某些底層庫。這種情況下一個可行的替代方案是只編譯與你改動相關的模塊做語法級別的驗證然后把完整的驗證寄托在 CI 上。這個過程雖然不那么順暢但很多開源項目的貢獻者都是這樣工作的——本地環(huán)境不完全匹配CI 反而成了最終裁判。綁定硬件環(huán)境的測試跑不了還有一個折中方案編寫針對純軟件邏輯的單元測試。比如某個函數(shù)負責解析環(huán)境變量、計算通信緩沖區(qū)大小或者維護內部狀態(tài)這種邏輯完全可以在宿主機上寫單元測試跑起來。HCCL 中這一類可以脫離硬件驗證的代碼比你想象的多得多這也是很多新人能夠遠程貢獻的主要原因。4. 寫 PR不只是把代碼推上去4.1 分支與提交規(guī)范代碼開發(fā)完成后提交 PR 的第一步是在遠端倉庫創(chuàng)建自己的分支。分支命名建議遵循一定的規(guī)范比如用 fix/ 開頭表示 bug 修復用 feature/ 表示新功能用 docs/ 表示文檔變更。這樣維護者從分支名就能快速判斷改動的性質。分支創(chuàng)建好之后開發(fā)過程中的 commit 信息也要講究。我見過很多 PR 里一個 commit 寫了 800 行改動信息只是“fix bug”這種提交歷史基本沒有可讀性。更好的做法是遵循 Conventional Commits 規(guī)范在提交信息里用簡短的類型前綴說明改動類別比如 feat: 新功能、fix: 修復問題、test: 測試相關、docs: 文檔修改。同時一個 commit 盡量只做一件事把邏輯上獨立的修改拆成多個 commit方便 reviewer 逐個審查。Git 操作層面有幾個建議。一是經常拉取主分支的最新代碼及時 rebase 以減少合并沖突二是在提交信息中用祈使句開頭比如 Fix double free in comm buffer而不是 Fixing 或 Fixed三是提交信息正文可以簡單寫清楚為什么做這個修改以及實現(xiàn)的思路但不要寫廢話。4.2 代碼風格與自檢清單在推上遠端之前先在自己的分支上做一輪自檢這種自檢能大幅提高 PR 通過率。以 C 代碼為例重點檢查以下幾項。第一命名是否規(guī)范。HCCL 這類底層庫對命名風格有嚴格要求變量名要能清晰表達含義避免 a、b、c 這種無意義命名函數(shù)和類的命名要符合項目既有風格不要一種模塊用駝峰、一種用下劃線至少在同一個文件里保持一致。第二邊界條件是否處理。比如你改了一個緩沖區(qū)分配邏輯是否考慮了 size 為 0 的情況是否考慮了內存對齊要求是否能處理分配失敗這些邊界條件往往是 bug 的溫床。第三是內存和資源管理。C/C 項目最常見的問題就是內存泄漏、雙重釋放、資源未釋放。如果你改動的代碼涉及動態(tài)內存分配仔細檢查每條路徑上資源是否都被正確釋放。對于不熟悉 C 內存管理的同學建議先讀幾遍項目里已有的分配釋放邏輯照葫蘆畫瓢比自由發(fā)揮更安全。第四日志是否恰當。HCCL 有自己的日志系統(tǒng)在關鍵路徑和錯誤分支上應該有合理的日志輸出方便線上問題排查。但日志也不能太多每個正常操作都打一條日志會把性能拖垮。第五測試是否充分。如果改動修復了某個 bug至少應該有一個能驗證該 bug 被修復的測試用例。對于性能優(yōu)化則需要附上優(yōu)化前后的基準測試結果。4.3 PR 描述怎么寫得讓 Reviewer 秒懂PR 描述是你和 reviewer 溝通的第一份材料它的質量直接決定了 review 的順暢程度。一份好的 PR 描述不需要長篇大論但必須覆蓋幾個核心信息這個 PR 解決什么問題、改動涉及哪些模塊、實現(xiàn)思路是什么、測試結果如何、是否有關聯(lián)的 Issue。一個比較實用的模板結構如下## 背景 2~3 句話說清楚為什么要做這個修改關聯(lián)的 Issue 編號 ## 改動內容 列出主要改動文件和每個文件的核心變更點 ## 實現(xiàn)思路 簡要說明采用的技術方案為什么選擇這個方案而不是其他方案 ## 測試驗證 本地測試、單測、CI 結果、性能對比數(shù)據(jù) ## 影響范圍 這個改動會影響哪些模塊或場景是否涉及接口變更、是否需要升級適配寫 PR 描述的時候要站在 reviewer 的角度去寫。reviewer 可能對你的改動上下文不熟悉你要用最短的時間讓他理解你在做什么、為什么這么做。不要直接拷貝 commit message 到 PR 描述里commit message 是給代碼歷史看的PR 描述是給人看的兩者內容可以有重疊但 PR 描述應該更完整、更有邏輯。還有一點PR 描述里提到的測試結果一定要真實可查不要編造數(shù)字。如果某個性能數(shù)據(jù)是在特定條件下測出來的要如實寫明測試環(huán)境和方法。reviewer 大概率會追著你問數(shù)據(jù)的來源如果數(shù)據(jù)站不住腳你的信譽會大打折扣。5. 過 CI 和 Code Review 的硬仗5.1 CI 跑哪些東西提交 PR 之后代碼會自動進入 CI 流程。HCCL 的 CI 通常包括編譯檢查、單元測試、靜態(tài)代碼掃描、以及依賴于硬件環(huán)境的集成測試。你不一定能看到所有 CI 階段但編譯檢查和靜態(tài)掃描基本每次都會觸發(fā)。CI 失敗是每個貢獻者都會遇到的事情第一次不用慌。最常見的失敗原因有三類編譯錯誤、代碼格式不符合規(guī)范、測試用例掛了。編譯錯誤比較直觀順著日志里報錯的文件和行號定位即可。格式問題則需要用項目指定的工具跑一遍自動格式化比如 clang-format 或 astyle 之類格式化完成后再提交。測試用例失敗的情況需要具體分析。如果在本地能復現(xiàn)那就按正常的調試流程走如果本地無法復現(xiàn)則可能是環(huán)境差異導致的此時可以在 PR 評論中說明情況并請求維護者協(xié)助查看 CI 日志。有些 CI 失敗是因為基礎設施不穩(wěn)定導致的偶發(fā)失敗比如網絡超時、資源調度延遲這種情況下重跑一次就過了但如果是你的代碼引起的重跑多少次都是失敗。想減少 CI 往返次數(shù)最好的辦法是在本地盡量復現(xiàn) CI 的檢查項。比如提前在本地跑單元測試、靜態(tài)檢查、格式化校驗確保這些過了再推代碼。CI 每失敗一次你的 PR 合入時間就延后一次而每個維護者一天能處理的 PR 數(shù)量是有限的。5.2 面對 review 意見的心態(tài)與技術準備Code review 是整個貢獻流程中壓力最大但也最有價值的環(huán)節(jié)。你的 PR 提交后維護者或社區(qū)成員會逐行查看代碼提出修改意見。這些意見可以是針對正確性的嚴重問題也可以是對變量命名的吹毛求疵甚至是對代碼風格的偏執(zhí)。先說一個最重要的心態(tài)建設review 意見不是針對你一個人的它是針對代碼本身的。看到“這里加個空指針檢查”這種意見不要興奮也不要失落把它當作一次技術方案打磨的過程就好。技術準備方面你要能區(qū)分不同性質的 review 意見。如果是正確性問題比如并發(fā)競爭、內存錯誤、邏輯漏洞這個沒有商量的余地務必認真修改。如果是風格和可讀性意見雖然不強制但建議盡量順從因為維護者比你更了解項目的歷史慣性和后續(xù)維護成本。如果是方案層面的討論比如“你為什么會選擇用自旋鎖而不是互斥鎖”這種意見開放度比較高你可以從實際場景和性能測試數(shù)據(jù)出發(fā)據(jù)理力爭前提是你的論證有數(shù)據(jù)支撐。有個經驗可以分享當你在 review 中修改代碼之后一定要在 PR 評論區(qū)回復每條意見的處理結果。常見的做法是直接用 GitHub/Gitee 的回復功能加一段“已修復見 commit xxxxxxx”或者“這個建議我不太認同原因是……”。每個意見都有交代reviewer 才能放心地在后續(xù) commit 中只關注新增的改動。5.3 反復修改與歷史清理除非你寫代碼真的行云流水否則一個 PR 經過多輪 review 修改是非常普遍的事情。每輪修改之后你需要在 PR 里追加新的 commit。這里有一個困擾很多新手的問題我改了一輪產生了 3 個新 commit歷史能清理嗎我的建議是分階段處理。在你的 PR 還沒有被 reviewer 大量關注之前可以用 git rebase 把多個小 commit 合并成幾個邏輯完整的 commit讓歷史保持整潔。但當 reviewer 已經在舊 commit 上留過言之后就不要再隨意 rebase 了因為那會讓 review 評論和代碼版本對不上反而增加溝通成本。這個階段你可以通過追加 commit 的方式表達等 PR 合入時平臺一般會默認用 squash merge 的方式把整個 PR 壓成一個 commit這樣最終歷史依然干凈。Git 操作上還有一個注意項rebase 時不要強推git push --force已經公開的 commit如果你用了一定要在 PR 評論里明確告知否則別人本地的分支會變得非?;靵y。更穩(wěn)妥的做法是先 fetch 主分支最新代碼然后 rebase 到最新再強推你的 PR 分支。5.4 合入前最后一道關卡簽署與自評很多開源項目在 PR 正式合入前還有一個輕量級的合規(guī)檢查常見的是貢獻者許可協(xié)議CLA和開發(fā)者原創(chuàng)證書DCO。HCCL 這類商業(yè)驅動的開源項目通常都在意這種合規(guī)問題因為它涉及代碼的版權歸屬和法律風險。如果合入前提示你需要簽署 CLA不要覺得麻煩這是一條一次性流程填一遍以后所有項目都能通用。DCO 的簽署則更簡單一般只需要在你的 commit message 尾部追加一行 Signed-off-by: 你的名字 郵箱表示你確認這些代碼是你寫的或者你有權提交這些代碼。很多新手一看到英文縮寫就以為很復雜其實整個流程五分鐘內就能完成。還有一個容易被忽略的步驟合入前自己最后讀一遍完整的 diff。尤其是改動后的文件從 Git 的 diff 視角再審視一次。你會發(fā)現(xiàn)很多平時注意不到的小問題,比如誤提交的調試代碼、多余的空白改動、臨時的日志輸出。自己先把這些問題清理干凈再讓維護者看到能少挨很多批。6. 合入之后與常見問題速查6.1 合入不是終點PR 合入之后很多人會覺得這件事結束了可以接著去做下一個任務。但從貢獻者的角度合入只是開始真正驗證你改動的時刻是在之后的一個月。首先你要關注合入后的 CI 情況。合入主分支并不意味著代碼完全沒問題穩(wěn)健的項目通常會在主分支上跑更長時間、更全面的回歸測試。如果這些測試發(fā)現(xiàn)你引入了回歸維護者會在你的 PR 討論里回復你或者新建一個 Issue 指向你的提交。其次你可以繼續(xù)保持對相關 Issue 的關注。如果你的改動修復了某個用戶報告的 bug可以留意用戶側有沒有反饋“這個修復有效”或“問題仍然存在”的信息。如果問題仍然存在你需要重新打開 Issue 繼續(xù)排查這也是開源社區(qū)協(xié)作的正常節(jié)奏。另外作為一個已經合入過代碼的貢獻者你已經有資格去 review 別人的 PR 了。這是一個很好的學習機會——你會發(fā)現(xiàn)坐在 reviewer 的位置上你會更加理解那些你曾經覺得煩瑣的規(guī)范其實都是項目質量和可維護性的保證。6.2 常見問題速查表下面整理了一些 HCCL 貢獻過程中常見的問題和排查方向是我以及身邊同事實際踩過的坑供你參考。問題現(xiàn)象可能原因排查思路本地編譯失敗報缺少頭文件依賴庫路徑未配置檢查 CANN 或驅動環(huán)境變量確認 LD_LIBRARY_PATH 是否正確CI 失敗全部失敗在編譯階段拉取代碼時未同步子模塊檢查倉庫是否用 --recurse-submodules 拉取或手動更新子模塊CI 失敗失敗在靜態(tài)掃描代碼格式不符合規(guī)范本地運行 clang-format 等格式化工具后重新提交本地單測通過CI 單測失敗環(huán)境差異或測試數(shù)據(jù)不同對比本地與 CI 的環(huán)境變量、依賴版本必要時在 PR 中請求維護者獲取 CI 日志性能優(yōu)化數(shù)據(jù)不佳方案與硬件拓撲不匹配嘗試在不同卡數(shù)、不同數(shù)據(jù)量下進行基準測試分析是否引入了不必要的同步無法在本地復現(xiàn) Issue 中的崩潰缺少日志開關或特定環(huán)境變量按 Issue 中提供的信息逐項核對尤其是數(shù)據(jù)量、拓撲和驅動版本PR 長期無人 review維護者繁忙或描述不清晰在 PR 評論區(qū)禮貌 維護者或補充測試數(shù)據(jù)和復現(xiàn)步驟讓問題更清晰6.3 幾條值得謹記的避坑心得做了一段時間 HCCL 貢獻之后有幾個踩過的坑讓我印象很深這里集中說一下。第一不要在 issue 里只問“怎么解決”而不提供任何上下文。一個好的問題應該讓人感覺你已經讀過代碼、有自己的猜測只需要別人幫你確認方向。我在社區(qū)里看到過的最高效的一次提問是一個貢獻者直接貼出了他定位到的代碼行號并附上了他對問題的分析維護者只回了一句“你的判斷是對的修吧”這比來回追問五六輪高效太多。第二不要在一個 PR 里同時修多個不相關的問題。多個問題混在一起reviewer 很難評估風險。一個 PR 解決一個問題是開源協(xié)作的基本契約。如果你發(fā)現(xiàn)代碼里另外有一個 bug請新建一個 Issue 或者再開一個 PR不要塞到當前這個里。第三不要忽視文檔的力量。代碼改動如果涉及對外行為的變化比如環(huán)境變量語義變更、接口參數(shù)調整、日志輸出變化一定同步更新相關文檔。你維護的不只是代碼還有這個項目的可理解性。很多 PR 因為文檔沒有同步更新而被要求返工這種事情完全可以提前避免。第四不要在 rebase 的過程中引入重復的改動。很多新手在 rebase 主分支時因為沖突解決不當把主分支的代碼又復制了一份到自己分支里導致 diff 里出現(xiàn)大量無關改動。遇到這種情況建議用 git diff 對比主分支和自己分支的差異檢查是否只保留了你想要改動的文件。最后再說一點參與開源項目不是一個零和博弈。你可能提交的第一個 PR 會被拒絕會被告知設計欠妥甚至會被人說“這個思路根本不對”。這些都很正常很多資深開發(fā)者當年的第一個 PR 也是被反復打回來的。關鍵是你能從反饋里學到東西而不是被打擊之后就放棄。如果你手頭有昇騰設備又有興趣深入了解分布式訓練底層的通信邏輯可以試著從跑通官方 benchmark 開始然后自己設置一些異常數(shù)據(jù)或者異常環(huán)境變量看看會發(fā)生什么。好奇心是最好的入口而 Issue 和 PR 只是把你對問題的理解轉化成最終代碼的載體。只要你能把一件事寫清楚、說清楚、改清楚開源社區(qū)的大門對你就是敞開的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久操婷婷| 人人看人人插| 91欧美性| 免费看黄视频亚洲网站| 91九九九逼| 欧美综合天天| 日韩人妻大香蕉| 欧美高清16| 国产后入精品| 亚洲欧美一区二区网址| 超碰人妻中文在线| 大香网站| 91精品久久久| 嗯嗯啊啊的视频| 国产白嫩漂亮KTV在线| 久久直播国产| PMv在线观看| 成人AV素股で擦久久| 女人天堂av在线播放| 一区二区三区在线资源| 国产极品99热在线播放69| 人妻一区二区三区熟女| 九区国产| silk lablo在线观看一区二区| 成人八戒网站| 久久精品国产99精品亚洲蜜... | 人人操人人搞人人草| 国产精品天美传媒| 久热久一区二区三区| 日韩欧美字幕亚洲一区二区| 欧美亚洲清纯| 91九久| 亚洲欧洲国产综合av| 亚洲天堂男人网| 成人在线视频一区| 综合天天网| 国产精品一区二区三区,亚洲综合| 天天日天天干少妇日| 97久久国产精品| 激情五月天网站| 日韩免费三级黄片电影| 一二三四视频中文字幕在线看| 极品国产内射| 秋霞一级视频在线观看免费| 人妻丰满熟妇一区二区三| 欧在线一二区| 日韩性爱长视频免费| 亚洲丝袜综合| 丰满人妻aA一区二区三区| 美女骚尻视频| 97中文字幕色| 台湾肥佬网一区二区三区| 天堂射| 色综合加勒比四四季| 成人欧美一区二区三区黑人一| 少妇无码av专区线| 飘花国产午夜精品不卡| 国产高清MV操逼视频| 亚洲αv一区二区三区| 韩国黄片aaaa| 超碰人人色| 免费人成在线观看网站品爱网| 中文字幕天堂在线| 99热这里都是精品| 国精品一区二区三| 久久欧美1卡2卡3| 在线播放成人网站| 97久久久精品| 美女性91| 成人午夜小视频手机在线看| 五月色网| 日本少妇va7777| 久久鲁夜| 操逼日韩无码| 啪啪免费| 天堂资源站| 美欧老女人97| 亚洲一区二区中文字幕| 日本三级小说中文字幕| 天天澡天天爽日日av| 色第一页| 欲色综合| 热思思免费视频| 超碰九7| 日本人妻中文字幕| 欧美在线观看综合国产| 欧美另类综合久久| 激情婷婷丁香网| 国产专区路线| 91nbbbbbb| 日韩无码一区二区三区| 强奸乱伦亚洲第一页| 91av一区二区在线观看| 97五月天| 蜜臀一二三区| 黄色片,com| 特污免视频| 欧美狠狠操| 91无码人妻精品一区二区三区蜜桃| 亚洲天堂一二| 另类TS人妖一区二区三区 | 91婷婷伊人狠人| 黑人性欧美| 小视频玖玖| 97午夜剧场日韩| 日韩欧美~中文字| 少妇啪啪自拍| 91网站18在线| 精品国产人成在线| 国产午夜视频| 秋霞一集毛片观看| 欧美白嫩女HD| 97资源视频| 一区中文字幕二区日韩| yiqicaoav| 欧美日日操| 久久鲁夜| 欧洲一级性爱视频在线观看| 欧美内射少妇| 久久9视频| a片在线播放| 五月天激情婷婷| 91伊人大香蕉| 台湾一区国产高清在线| 中文字幕视频在线观看一区二区| 免费观看网黄| 激情综合五月| 精品中文一区二区| 国产精品区在线12p| 久极品在线观看| 久久春色| 婷婷五月天无码 | 97色干| 啊啊啊啊啊舒服| 综合操逼| 四虎免费在线播放| 日本大片日本一区二区免费高清| 一级做受视频免费是看美女| 欧美 牲| 日本熟女不卡视频| 欧美日韩国产成人高清| 夜夜骑天天燥| 五月激情综合网| 亚洲激情视频| 绑缚麻绳人妻寝取完整版| 26uuu国产成人综合| 97视频在线视频| 最新国产精品久久精品| 精品午夜福利导航| 大香蕉综合在线| 激情五月综合网| 美女裸体无遮挡永久免费观看网站| 天天日日本| 性爱精品一区| 久久久久9999| 久久久久久久久久久久欧美日| 国产AV毛片| 99热欧美| 中文无线日韩一区| 久久发布国产伦子伦精品| 国产不良强奸视频免费看| 美女淫穴| 色99视频| 国产精品制服丝袜清纯唯美| 五月天伊人网| 日本一区二区成人在线| 亚洲AV不卡在线观看尤物| 国产真实野战在线视频| 一本色道无码DVD中文字幕| 美女淫穴| 1000部熟女视频在线观看| 欧美日韩一干二干| 天操天操夜操夜月月年年操操| 国产日本久久免费精品| 激情五月婷婷| 男人的亚洲天堂| 成人精品在线| 强奸乱伦Av网| 亚洲欧洲综合av在线| 操久久久久| 约操熟妇| 男女性无套 免费九一| 欧美在线第五页| 少妇免费视频| 长长久久88视频| 午夜精品探花| 欧美成人四级在线播放| 国产精品精品系列在线观看| 97色欧洲| 国产精品电| 欧美情色男人的天堂| 中文字幕一区av| 日韩欧美国产高清视频| 日韩美女操b| 国产免费一区2区3区| 蜜桃传媒视频第一区入口在线看| 91精品婷婷国产综合久久竹菊| 麻豆60秒| 六月婷激情福利天堂69| 亚洲男人天堂2019| 婷婷中文字幕| 五月丁香啪啪啪| 亚洲中文字幕三级在线| 91oumei| 超碰成人国产| 天天淫人人妻日日色| 婷婷五月影院| 日本超碰在线国产一区| 有码人妻系列| 激情终合网| AV丝袜东京热| com 首页 18岁 禁区 女优 免费 精选 同城| 美日韩在线不卡人妻| 人妻一区视频| 亚洲色图欧美色图综合| 在线欧美亚洲| 亚洲人妻在线精品| 97在线观看| 啊啊嗯嗯好爽| 秋霞成人一级在线观看| 美女国产一区二区久久| 东亚亚洲无码高清| 亚洲欧美精品福利在线| 亚洲成人网站在线观看| 日韩国语字幕| 色婷婷综合久久久久中文一区二区| 91色碰| 在线天堂999| 欧美精品久久久久久久丰满| 91黑丝露脚| 青青操青娱乐| 好舒服视频| 亚洲自拍小说| 先锋精品av色鲁| 亚州国产精品乱| 欧美九九爱| 淫乱图区 | 日韩人人精品| 99av| 超碰视97中文| 久久东京热久久| 精品人成视频在线观看| 色欲无码人妻日韩欧美精品| 五月天婷婷基地| 麻豆视频test| 天天干人人乐| 隔壁邻居波多野结衣中文字幕| 日本性爱网址| xxx亚洲午夜天堂| 国产1727欧美| 一起草高清无码| 岛国片国产成人亚洲播放| 久操热| 亚洲吊色| 天天爽爽爽爽| 久久亚洲日韩国产欧| 久久久无码视频| 国产午夜福利专区综合| 亚洲色诱惑| 情色五月天久久久| 亚洲中文丝袜美腿诱惑字幕| 黄色AAAAAAAAAAA大片| 久久久久免费少妇| 色图四区| 亚洲成人美女无吗| 亚洲综合性感在线| 亚洲小说视频| 大香蕉丝袜一级片| 熟女激情综合网| 天天搞在线综合网| 亚洲s在线观看| 亚洲精品黄码久久久久| 亚洲一级特黄大片在线播放91| 中文字幕人妻丝袜| 亚洲少妇自拍中文字幕懂色| 玖玖玖玖精品国产剧情| 精品97久久综合| 国产强奸乱伦第1页| 手机看片1025| 美女91av| xxx0国产在线播放| 大乔未久88一区| 日本在线观看网址| 日韩精品.久久精品.AV女优.天美传媒| 五月丁香综合| 蜜区区视频79| 天天拍天天操| 亚洲人久久久久日| 国产精品一二三区福利| 天美麻豆一区二区三区| 精品久久人妻成人网| 丝袜无码a片| 欧美精品成人一区二区在线观看 | 国产精品女aA片爽爽视频| 色臀AV| 日韩A优精品在线观看| 五月丁香综合| 91丨人妻丨国产丨丝袜| 九九色综合| 亚洲熟女av中文字幕| 色五月婷婷网| 在线不欧美| 思思热在线| henhen91| 丝袜内射| 一个国产在线综合网站| 亚洲激情天堂网| 自拍偷拍亚洲熟女妇人精品| 中文字幕十五区| 操逼国产免费| 久艹99| 高清在线偷拍自拍视频| 精品传媒在线一区| 麻豆天美制片厂网站视频| 亚洲天堂在线怕怕视频| 国产日韩色综合| 极品色社| 9丨亚洲一区二区在线| 91色伦综合| 成人性爱高清视频免费看| 久久久精| 91伊人影视综合| 国产福利在线视频网站| AV中文字幕三四五| a人欧美综合天堂麻豆| 狼狼色丁香久久婷婷综合五月| 国产第二页| 99热自拍| 岛国在线免费视频| 99精品无码| a男人的天堂| 一级特级aaaa毛片免费观看 | 97碰久久| 九九自拍伦理| 91久久精品蜜臀| 国产精品蜜臀久久久久无码AV| 国产AV人人夜夜澡人人爽麻豆| 韩国一级做A片免费的| 亚洲综合在线第一页| 久草婷婷| renqi久久久久久久久久久久| 国产精品成人久久一区二区三区| 另类图片五月天| 亚洲av总站| 亚州色图欧美| 狠狠操天天干| 熟女视频久久| 免费的很黄很污的全部视频| 后入国产| 97欧美日韩精品| 欧美天堂超碰97| 五月天婷婷欧美三区| 日韩精品碰碰| 精品国产91内射久久| 亚洲素人综合| 色婷婷久久综合超碰| 五月综合视频| 国产精品国产拍高清AV| 国产精品永久免费10000| 另类欧美色| 嗯嗯嗯啊啊啊干死我吧| 成人老鸭窝人人在线视频| 色综合九九| 久久精品店| 一本色道久久天天射天天干| 97国产超碰| 国产97色在线 | 亚洲| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 亚洲高清欧美总合| 色淫网站优优视频| 玖玖爱视频网站| 久久精品成人一区二区三区蜜臀| 韩日精品福利视频一区不卡在线免| 精品国产乱码久久久久久影片| 亚洲一区二区中文字幕| 国产精品探花视频| 日韩操逼性鲍| 亚洲日韩在线a不卡99精品| 一牛影视久久久一区二区三区| 日韩综合成人免费视频| 涩综合导航| 欧美色青| 啊啊啊不要好疼视频| 国产午夜激片Av毛片不卡| 亚洲春色欧美激情自拍| 日韩欧美性吧婷婷乱伦大香蕉 | 久久嫩草| henhen91| 男人的天堂2018| 欧美亚洲91| 97视频在线看| 国产女s强制榨精视频| 成人五月天丁香激情综合| 欧美亚洲综合高清在线| 精品无码久久久久久久杏吧| 男女激烈网站最新| 日本操嫩b网| 欧美另类综合久久| www.夜夜操| 香蕉在线一区二区三区| 大香蕉伊人网WWWn0n| 麻豆av一区二区三区| 97欧美精品综合| 伊人一区二区三区| 风间由美日韩欧美久久| 欧美日韩97| 在线日韩日本亚洲国产| 日本性爱欧美性爱| 国产版a级片直播在线| 十八禁视频网站| 亚洲天堂电影网99999| 91中出在线| 亚洲情色欧美| 插穴性爱视频在线观看| 丁香五月激情综合| 色婷婷婷五月天激情四射| 久久偷偷色综合蜜桃| 色网亚洲人| 久久婷婷电影网| 久干9操| 色噜噜婷婷| 欲色影视综合吧| 日本一区二区不卡| 狠狠入| 人人操人人爽人人操人人| 最新亚洲人成网站在线影院| 91操人| 婷婷五月天无码| 日日不卡av| AV在线性爱| 99婷婷| 亚洲吊色| 久久97| 国产动漫操逼视频| 久久爱超碰网| 久久AV无码AV| 久操婷婷| 五月天亚洲网| 亚洲一区二区久久久久| 91麻豆天美国产欧美| 日本顶级天天操狠狠操夜夜操中文字幕 | 日韩国产在线观看av| 五月天婷婷综合网| 一二视频神马久久传媒| 精品日韩中文在线| 久久综合精品一区二区三区| 亚洲精品无码少妇久久| 蜜桃精久三区| 亚洲无992tv| 亚洲图片偷拍视频区| 蜜臀久久在线视频| 成人一道本免费视频| 久久精彩免费视频| 久啪视频| 一区在线国产播放| 一本大道久| 黄色AAAAA欧美| 久久久久久九九九九-美女久久久久久久-成人AV | 欧美国产有色电影| 92性色国产午夜福利在线661| 午夜婷婷| 丰满人妻-区二区三区免费看| 日韩国产欧美伦理在线| 一区二区三区男女操逼黄色小电影| 成人情色综合网| 亚洲欧洲日韩国产自在线| 日韩欧美水蜜桃人妻| 视频一区二区三区精品| 欧美老妇女内射网址| 999久久久免费精品国产牛牛| 天天流夜夜操| 激情欧美97| 五月天开心网| 欧洲人妻视频| 91丨国产丨白浆| 91视频综合网| 老汉网| 久操com| 黄久在线| 婷婷综合视频| 亚洲欧美首页| 五月天色电影| 国产自产一区视频在线| 九久久精品| 精品人妻美妇91job| 久久精品国产97欧美精品亚洲 | 超碰公开久久网| 日本成人在线不卡一区二区三区| 99re3这里只有精品| 一级岛国大片| 丝袜天堂网| 99激情视频| 亚洲美女AV无码| 欧美97日韩| 2019久久久久久久久福利| 天天躁狠狠躁av| 日本护士高潮| 亚洲天堂精品日韩电影| 大香蕉欧美国产日韩高潮| 人妻精品一区二区在线| 神马麻豆福利院| 99啪啪视频| 国产精品蜜乳AV| 视频二区美腿制服人妻欧美| 丝袜喷水在线| 囯产乱伦一区二区三女 | 小草三级久久观看| 久操网线| 激情婷婷综合久久| 国产女主播视频在线观看| 欧洲色色| 日va操| 91色拍| 激情小说亚洲图片| 天天操av懂色| 999国产精品999| 视频国产成人精品日本亚洲18| 伦在线97| 熟妇最新先锋一二三区| 欧美性爱伊人| 国产精品盗摄 偷窥盗摄| 日韩本不卡视频在线观看 | 校园春色亚洲色图| 欧美色日| 最新亚洲风情电影| 亚码激情| 欧美日韩999| 天天综合网日韩7799| 啊啊啊啊啊啊好多水| 熟女一区二区三区四区| 亚州春色| 78p欧美| 日本在线一二| 青青草天天亲夜夜操网| 色官网色综合| 国产最火爆久久国产网站网站| 亚洲无码一区成人免费午夜| 亚洲色综网| 人妻少妇精品久久久| 天天干2019| 色999亚洲人成色| 麻豆啪啪啪视频| 国产精品视频麻豆入口| 亚洲人体视频在线观看| 亚洲天天在线| 伊人操| 超碰色97| 久久久久99999| 成人青青草原伊人| 操婷婷逼| 粉嫩av平台| 男人的午夜天堂| 99少妇| 久操网无码在线| 岛国黄片网站| 97精品一区二区视频| 亚洲综合五月天| 欧美在线天堂| 色综合天天爱去电影网| 青草精品视频一日本久久久久网站| 97精选久久| 少妇内射视频| 亚洲91射| 中国91AV| 久夜视频| 亚欧高清| 370p日韩欧美亚洲精品| 日韩激情啪啪啪| 蜜乳AV一区| 美中日韩无码| 9l视频自拍9l九色成人| 色色国产| 欧美亚洲丝袜美女电影| 九一精品牛牛一区二区| 久久久穴999| 丰满少妇一区二区三区免费看| 激情文学小说一区二区| 一本久久久精品| 久久久久久加勒比| 国产偷人伦激情在线观看| 国产毛片毛片4p懂色| 久久国产在线一区二区| 尤物网址| 超碰狠狠操| 色性荡荡荡荡视频| 亚洲凸凹超碰成人| 欲香欲色综合天天伊人| 一区在线精品中文字幕| 日本东京热加勒比久久| 美女被艹尤物视频| 欧美熟爽综合| 久草热制服丝袜在线观看 | 日本精品不卡一二三区| 婷婷久月| 国产综合久久久鬼色| 风骚少妇视频中文字幕| 亚洲黄色AV电影| 无码精品久久| 九九RE视频在线精品| 青青操97| 哑洲在线| www熟女乱伦com| 99久久精品国产高潮| 欧洲综合视频| 亚洲91射| 亚洲图片日本AⅤ欧美在线| 精品一二三区久久AAA片| 超碰97欧美在线| 色97综合中文字幕| 无码一区免费在线不卡| 日韩精品一区二区三区色欲| 国产精品色哟哟| 三级色影综合网| 黄片com.| 天天舔九色婷婷| 好爽视频在线观看视频| 睡产熟女乱伦| 97操B| 91超碰人人| 三级网站超变态精品| 欧苏综合色综合| 麻豆传媒一区二区在线观看| 日韩三级伊人| 99久热| 亚洲图片 激情小说| 粉嫩av在线| 亚洲欧美精品福利在线| av东京热男人的天堂| 日韩欧美亚洲自拍偷拍| 久久草大香蕉| 在线 欧美 亚洲| 亚洲国产一区二区入口| 96精品久久久久中文字幕| 天天干人人乐| 97超碰免费人人性爱| 香蕉黄色一级视频| 精品少妇人妻一区二区三区| 欧美资源| 久久久久人妻| 青青免费在线视频一区| 69一区二区三区 | 久久精品一区二区三区不卡| 青青草久久| 97视频在线观看网站| 国产在线激情视频| 91精品丝袜久久久久久无码人妻| 久久久男人的天堂| 水多多映视AV| 99久久久无码| 欧美人与动性人交a| 亚洲91极品| 国产97在线 | 亚洲| 屌逼麻豆| 男人天堂网址| 日本日日色视频| 翔田千里无码中出中文字幕| 75大香蕉| 手机在线A片| 丰满人妻一区二区中文| 色噜噜人妻丝袜a∨先锋影| 精品国产乱码久久久久久日本公司| 日韩色欲久久一二三四区| 国产精品探花视频| AV天堂电影网| 亚洲熟伦熟妇AV无码春色| 67194无码不卡| 欧美日韩黄片精品在线| 欧美少妇性乱| 国产视频一区二区免费| 日韩精品午夜操呦呦不卡影院| 色色五月婷婷| 国产精品com| 日本大香蕉| 婷婷中文网| 亚洲色人阁| 日韩AV色图| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 日日爽熟女| 天堂精品在线| 翔田千里AⅤHD无码| 欧洲精品欧洲精品| 99操99| 不卡av免费在线网址| 91爱看| 一区二区娱乐网站| 天天干天天舔| 日日爽熟女| 欧美综合第一| 国产精品久久久三级无码| 国产久久久久久| 日本五十路在线| 九九九九九九九精品视频| 久久精品人人做人人看| 久久久9 9 9精品| 久久色激情一区二区三区| 乱伦av麻豆| 淫荡网址| 综合色久欲| 欧美亚洲20p| 日韩av乱伦| 五月激情在线| 天天插夜夜操| 亚洲色图欧美色图另类图片| 久久久专区| 96精品在线| 日韩激情啪啪| 亚洲精品白浆高清久久久久久| 999色欧美中文字幕| 精品亚洲俞拍视频一区| 九九99精品视频在线观看| 日本欧美韩国国产在线| 美女久久久久久久久久久| 精品一二三区女同| 青青草十区九区爱夜| 99无码视频| 日韩丝袜二区| 国产精品无码久久久久2025| 久久只有精品| 九九九一二三| com 首页 18岁 禁区 女优 免费 精选 同城 | 激情文学欧美| 蜜色网色哟哟| 久久久九97| 亚洲天堂99| 欧美成人一区二区三区在线播放| 欧美大波激情xxxx| 呦呦一区| 91亚洲网| 精品国产乱码久久| 精品传媒在线一区| 熟女少妇一区二区三区| 久久中文字幕女同性恋一区| 亚洲涩涩| 国产乱人妻精品入口| 色鬼在线综合| 欧美激情超碰777| 高清不卡一二三区视频......| 桃色五月天| 色色无码| 你操综合| 台欧久久精品视频| 啊啊啊好湿国产一二| 色婷婷aV一区二区三区麻豆综合| 在线 制服丝袜中出 人妻| 日本高清久久| 嗯啊不要啊在线 | 福利五区| 69久久| 欧美丝袜中文字幕07在线| 91天堂丝袜美腿| 亚洲图片视频小说| 超碰99在线| 亚洲在线欧美| 色综合国产在线观看| 尹人免费观看视频在线| 天天日天天干天天色| 黄色激情电影在线观看| 亚乱色| 九九碰九九爱97| 超碰亚洲欧美日韩无| 亚洲熟女综合| 天天综合麻豆视频| 人妻丰满熟妇av无码区蜜桃| 蜜臀久久99精品久久久久电影| 99久久99九九99九九九| 丁香七月婷婷| 九月丁香婷婷色| 久久久久久九| 免费一级欧美片片线观看| 大香蕉黄色一区| 欧美1727免费观看视频| 老熟女熟妇| 蜜臀无码一区二区| 超碰色97| 一级片在线观看高清无码| 思思性爱| 97国产色综合| 亚洲欲| 欧美天天综合网版| 国产精品一区av在线| 中文字幕日本久久| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 婷婷超| 精品国产丝袜一区二区三区乱码 | 国产精品一区二区三区在线| 国产无码久久高清| 人、人、摸,人、人、草| 日韩乱码av| 精品无码一区二区人妻久久蜜桃| 色臀AV| 国产亚洲精品av一区| 9久超碰| 久久久久久少妇| 亚洲影院成人| 九九aV| 超碰这里只有精品| 黄页av| hd成人一区二区在线| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 操日韩第| 亚 欧 美 综合| 97天天插| 国产一区在线观看无码AV| 清柠毛片| 国产精品一区二区麻豆| 国产av激情无码久久天堂| 丁香五月天激情| 嗯嗯啊啊啊啊轻点视频| 国产91福利小视频在线观看| 这里都是精品在线观看| 综合av影片| 久久在线观看免费视频| 人妻中文在线| 加勒比久久av| 性爱边摸边日免费AV| 蜜臀精品1区2区| 搡老女人老熟女91老熟女综合网| 1禁看欧美黄片免费看| 九月AV| 亚洲九九九| 开心激情婷婷| 东京热,男人的天堂| 久久av成人无码免费| 欧美久久久15P| 免费岛国一级片| 97香焦色区| 婷婷五月天激情四射| 久久久性少妇| 成人乱人伦一区二区| 厕所偷拍在线| 大JI巴好深好爽又大又粗视频| 日本九九九九| 欧美性色欧美| 日本3级一区二区免费| 啊啊啊在线看| 国产精品久久伊人| 超碰在线日韩一区| 五月天色图| 在线天堂资源亚洲| 精品国产一区二区三区av在线资源| 凹凸 69堂 在线播放| 亚洲激情AV| 日韩色香| www四虎| 操啊国产| 男人的天堂在线| 美女国产一区二区久久| 亚洲天堂少妇| www.天天干| 成·人免费午夜在线观看| 国产久久视频| 被男人添B超爽视频| 亚洲性感丝袜诱惑在线观看| 色综合久久88色综合久久天天| 日日干夜夜欢| 日本免费一区二区不卡| 蜜臀操逼黄色视频操的好爽| 美女上床网站| 亚洲天堂综合AV| 高清有码一区二区| 欧美97视频| 日韩去日本高清在| 人人妻人人玩人人澡人人爽| 嗯啊不要啊啊在线观看视频| 翔田千里一区二区三区奶水| 国产精品3| 色色色网站| 亚洲欧美国产va在线播放频| 97超碰久| 99色在线视频| 亚洲欧美日韩制服另类| 中文字幕在线2| 丁香激情网| 翔田千里Av在线| 欧美激情一| 蜜桃臀 后入 一区 二区 三区 在线| 三级精品三级在线观看| 天操天操夜操夜月月年年操操| 欧美色色色| 久操操AV电影| 国际精品久久久| 午夜性| 久久香蕉影院| 国产精品女生av| 久久久久久久久久久久97 | 婷婷丁香激情| 中文字幕第23区| 亚洲黑丝在线| 久久久免费的精品| 日韩欧无码一区二区三区免费不卡 | 九九九九一级| 97玖玖人妻| 日韩欧美国产高清视频| 牛牛AV人人夜夜澡人人爽| 国产又长又大又粗的视频| 强上我不卡卡| 久久色情| 新视频sss国产| 天天操天天舔| 亚洲资源网| 极品少妇久久久| 国产精品老师| 国产后入内射| 天天精品| 久艹免费| 国产25页| 国产视频一区二区在线| 天天日天天干天天整| 99re免费视频精品全部| 色九久| 久久↗↗| 无码人妻精品一区二区三区九九| 色性综合| 中文字幕成人| 日韩黄色一区二区三区| 天天干天天燥| 国产精品无码成人精品| 9Ⅰ超碰| 啪啪啪男女亚洲中文字幕99| Aa东京男人的天堂| 污污污8888| 秋霞男人网| 9久久9综合| 天天色悠悠激情| 艹我哪美一区无码| 色吧五月| 五月天婷婷基地| 成人黑料社久久| 国产99久久99热这里只有精品15 | 歐美一級亂黃99在綫精品| 国产精品一区二区黄片| 熟女色综合久久| 欧美日韩一区二区三区四区蜜桃| 国产亚洲精品久久久久小| 白丝被操91| 精品美女少妇一区二区| 亚洲综合99999| 欧亚第一综合网| 黄总AV色图| 91艹逼精品| 目产99999久久999| AV99热18这里只有精品| 综合色拍| 欧美人人天天网| 亚洲精品黑丝| 亚洲美腿丝袜香蕉影视欧美成人| 久久久96精品| 亚洲综合嫩| 91天天综合日韩欧美| 久久久久久久九九九九| 蜜臀久久99精品久久久电影| 熟女探花啪啪| 日韩高清黄片| 日人妻视频91| 激情五月婷婷综合| 久久这里都是精品| 夜夜騷av、一區二區| 欧美伦乱爱| 国产乱不卡| 亚州男人天堂| 蜜乳视频网站| 国产久久av| 爱做久久久久久| Julia在线播放亚洲久久| 亚洲情色五月天| 欧美性爱一区二区三区四区| 亚洲综合贴图91| 91成人精品| 91网九色蝌蚪操熟女| 欧美精品成人在线播放| 亚洲欧美国产其他二区| 久久久98网站免费视频| 91在线色| 91狠狠狠| 欧美人与动性人交a| 日韩国产乱子伦App| 五月丁香激情综合网| 尤物av网站| 亚洲欧美天| 色综合一本| 日本日皮视频逼| 啊啊啊啊啊在线观看网址| 97超视频在线观看| 欧美大的香蕉有线电视视频| 日本αv| 天天影视之亚洲综合网| 色综合天天爱去电影网| 久久精品国产AV一区二区三区| 国产美女高潮叫床视频| 九九久久首页| 色噜噜人妻av中文字幕| 国产精品久久妻无码网站| 91粉嫩萝控精品福利网站_精品影音先锋国| 又大又白奶子| 99热18这里只有精品| 亚洲精品97| 丁香五月激情综合国产| 日日夜夜国产综合| 人妻精品一区二区三区| 国产精品自拍xxxx| 久久色激情一区二区三区| 干妹子| 亚洲国产一区二区入口| 国产不卡精品91| 69久久| 国产综合永久精品日韩鬼片| 色婷婷综合久久久久中文一区二区| 人妻精品一区一区三区蜜桃91| 人人操,人人插| 五月婷婷综合网| 精品二区三四区五电影 | 加勒比无码毛片| 国产高清免费不卡av| 日韩内射视频| 亚州男人天堂| 天天色播| 综合大香蕉美。| 日本免费一级AAA大片器 | 亚洲精品97久久| www.人人cao| 丰满人妻一区| 亚洲阿v天堂无码z2018| 天色综合网| av激情亚洲五月天| 激情综合五月天| 久热精品在线| 亚洲精品乱码久久久久久蜜桃麻豆 | 伊人国产AV| 色久桃花影院在线观看| 夜夜人妻爽| 精品国产无码中文| 97se综合网| 日韩精品在线放| 91亚洲青青草原精品1区| 亚洲天堂男人天堂网| 色综合五月天| 青草成人免费视频一COm| 婷婷六月色开| 日韩人妻无码不卡网站| 亚洲人妻AV| 亚洲色图A| 久久久无码国精品无码三区三区| 亚洲第一视频 欧美风情 日韩| 欧美一区二区三区日韩| 亚洲综合色图欧美| 久热无码| 亚洲天堂男人的天堂| 99久久com免费视频′| 美女被啪到深处抽搐视频| 美女尤物福利视频| 国产成人在线观看网址| 偷窥自拍亚洲色图| 欧州一区二区三区四区| 欧洲亚洲人妻无码中字久久三区四区| 91性高朝久久久久久久久| 久久久久久中文版| 中文字幕交换人妻| 夜夜无码| 鲁鲁色综合网| 欧美激情视频在线一区| 91爱看| 日本岛国黄色网址| 久久久久久九| 夜夜操av亚洲一区二区| 黄色激情电影在线观看| 欧美精品,四区。五区| 色五月综合| 男人的天堂2018| 亚洲综合99999| 亚洲第一在线视频| 91精片| 老女人老91妇女老热女| 国产精品亚洲美女久久久久| 亚洲在饯| 色欲色香天天天综合网www-亚洲综合国| 亚洲最新中文字幕免费| 97欧美综合网| 第二页中文字幕| 日韩不卡a级视频专区| 高清孕妇孕交 交| 大香蕉在线免| 99视频自拍| 国产精品白丝在线播放| 天天干夜夜| 夜夜狼人妻| 国产日本久久免费精品| 黑人娇小av在线播放| 日韩色女精品| 狼人综合婷婷激情四射 | 国产精品视频在线观看| 国产少妇高潮| 蜜臀久久99精品久久久久久久久| 国产精品露脸在线观看| 综合网亚洲在线| 美日韩在线不卡人妻| 91精品国产长腿丝袜美女| 97精品国产97久久久| 精品国产丝袜一区二区三区乱码 | 九色97| 激情干在线| 26uuu成人影片| 清纯唯美第一页| 亚洲青色欧美| 欧美日韩性感| 超碰人人超在线观看| 亚洲影院无码在线| 校园春色第一页| 韩国毛片一区二区三区| 91色黑人少妇| renqi久久久久久久久久久久| 乱伦图一区| 蜜乳AV免费观看| 中文字幕三四五区| 97欧美色| 偷拍色图| 久久久久久中文版| av婷婷色网| 91麻豆天美国产欧美日| 噜噜吧,噜噜色,噜噜| 永久免费发布性爱网| 欧美成熟性爱精品| 男人的午夜天堂| 天堂网亚洲区手机版| 玖玖爱在线视频免费观看| 国产无马在线| 97综合| 99re这里只有| 老熟女综合网| 亚洲日韩97| 91青青在线视频| 亚洲图片 激情小说| 精品一区二区麻豆| 亚洲蜜臀懂色| 欧美日韩电影一区二区| 久久久久久大| 97国产精品国| 神马久久久久眼| 亚洲色图激情小说| 夜夜嗨一区二区| 天天色综合图片| 精品 码产区一区二-1080P高清在线www-B029AV| 中文自拍欧美影视| 99精品成人免费看| 亚洲欧美激情在线视频| 国产精品免费视频不卡| 青青操轻轻| av资源在线播放天堂| 国产精品国产拍高清AV| 成人AV在线电影| 色色99| 熟女日韩| 日韩少妇丰满亚洲| 色色综合97| 中国黄色特级精品一区二区三区片| 日本一久是| 久久久久久久久久久精| 国内一级精品| 欲香欲色| 欧美性爱18观看| 亚洲精品国产熟女久久久久久|