【導(dǎo)語騰訊網(wǎng)平團(tuán)隊(duì)宣布開源UCL-MPComm通信庫(kù)并將其作為transport接入Mooncake TENT。該通信庫(kù)針對(duì)AI Memory池化場(chǎng)景的數(shù)據(jù)傳輸需求深度優(yōu)化能實(shí)現(xiàn)高性能通信且性能提升顯著。】UCL-MPComm接入Mooncake TENT性能提升顯著騰訊網(wǎng)平團(tuán)隊(duì)開源的UCL-MPComm通信庫(kù)將作為一種傳輸引擎接入Mooncake TENT。它能實(shí)現(xiàn)零拷貝傳輸性能提升30%、非零拷貝傳輸性能最高提升5倍。這一提升對(duì)于數(shù)據(jù)中心內(nèi)大規(guī)模計(jì)算節(jié)點(diǎn)間的數(shù)據(jù)傳輸意義重大能極大提高數(shù)據(jù)傳輸效率。自研引擎打底后續(xù)將持續(xù)開源組件UCL-MPComm底層基于自研UCL-Engine通信引擎騰訊網(wǎng)平后續(xù)還將持續(xù)開源更多基于UCL-Engine的高性能通信組件。這顯示了騰訊在通信技術(shù)領(lǐng)域的持續(xù)投入和技術(shù)積累有望為行業(yè)帶來更多的技術(shù)創(chuàng)新和發(fā)展。三大優(yōu)化策略攻克傳輸瓶頸在UCL-MPComm中騰訊網(wǎng)平團(tuán)隊(duì)實(shí)現(xiàn)了獨(dú)立于業(yè)務(wù)線程的全局通信引擎并采用了三大優(yōu)化策略。一是NUMA感知拓?fù)浒l(fā)現(xiàn)初始化時(shí)探測(cè)機(jī)器拓?fù)涿鞔_網(wǎng)卡所屬NUMA避免跨區(qū)繞路消除“跨區(qū)總線”瓶頸。二是多網(wǎng)卡動(dòng)態(tài)負(fù)載均衡實(shí)時(shí)追蹤網(wǎng)卡負(fù)載將數(shù)據(jù)塊調(diào)度到最空閑的網(wǎng)卡建鏈時(shí)“快卡配快卡、慢卡配慢卡”充分利用網(wǎng)絡(luò)資源。三是Two-Stage通信流水線通過預(yù)建“中轉(zhuǎn)倉(cāng)”讓CPU拷貝與分塊RDMA相互重疊、流水推進(jìn)在非零拷貝場(chǎng)景下性能提升最高5倍且接口能與零拷貝接口在協(xié)議層無縫互通。編輯觀點(diǎn)騰訊開源UCL-MPComm通信庫(kù)是通信技術(shù)領(lǐng)域的一次重要突破其性能提升和優(yōu)化策略將為數(shù)據(jù)中心通信帶來新的變革持續(xù)開源計(jì)劃也將推動(dòng)行業(yè)技術(shù)進(jìn)步。