做網(wǎng)絡的人尤其是搞存儲和HPC的應該都聽過RoCE的大名。RDMA技術(shù)能把數(shù)據(jù)從網(wǎng)卡直接拷進應用內(nèi)存省掉內(nèi)核協(xié)議棧的開銷延遲能壓到微秒級。但話又說回來RoCE的“學習門檻”其實不在協(xié)議本身而在硬件——要真機實驗你得有支持RDMA的網(wǎng)卡還得配套交換機做無損網(wǎng)絡這套設備下來沒幾萬塊搞不定。很多朋友就是卡在第一步命令都沒見過環(huán)境先把我勸退了。Soft-RoCE就是用來解決這個問題的。它在內(nèi)核層面用軟件模擬了RDMA網(wǎng)卡讓你在普通機器、普通網(wǎng)卡上就能跑完整的RDMA命令。我最早接觸Soft-RoCE是因為要給一個存儲項目做性能預研但機房只有千兆網(wǎng)卡沒辦法只能用軟件方案先把手上的代碼邏輯理一遍。用下來的感受是真實RoCE的很多坑它不一定踩得到但RDMA的基本操作、編程接口、排查思路它全都能練。這篇文章就把我從零搭建Soft-RoCE環(huán)境的完整過程寫出來包括原理、步驟、還有我踩過的那些坑希望能幫你省點試錯時間。1. RDMA與Soft-RoCE的核心原理拆解1.1 為什么需要軟件模擬環(huán)境RoCE全稱是RDMA over Converged Ethernet它分兩個版本。RoCEv1跑在以太網(wǎng)的二層走的是以太網(wǎng)類型號0x8915要求收發(fā)兩端在同一個二層網(wǎng)絡里不能跨VLAN和子網(wǎng)。RoCEv2把UDP頭加進來了用UDP端口4791目的IP和目的端口都正常走三層路由這樣就能跨子網(wǎng)通信但隨之而來的是對網(wǎng)絡丟包的容忍度更低需要DCQCN或者ETS這類擁塞控制機制來配合。無論哪個版本底層都依賴網(wǎng)卡硬件來執(zhí)行DMA操作、解析報文、管理QP狀態(tài)機。Soft-RoCE也叫SoftRoCE、RXE是Linux內(nèi)核里的一個軟件驅(qū)動它在驅(qū)動層實現(xiàn)了RoCE的軟件模擬。大概思路是內(nèi)核把RDMA操作轉(zhuǎn)化為普通的內(nèi)核網(wǎng)絡包收發(fā)再通過以太網(wǎng)驅(qū)動把數(shù)據(jù)發(fā)出去。對應用層來說它看到的就是一個完整的RoCE網(wǎng)卡支持ibv_query_device、ibv_create_qp等verbs接口也支持ibv_devinfo、rxe_cfg這些管理工具。只是這些操作最終不是由專用硬件完成而是由CPU來模擬。這層模擬的意義在于它把RDMA的“軟件棧”和“硬件依賴”解耦了。你在用Soft-RoCE的時候操作的是完整的verbs API調(diào)用的是真實的libibverbs庫體驗和真機幾乎一致。區(qū)別在于性能Soft-RoCE的帶寬受限于CPU和普通網(wǎng)卡的能力延遲也遠高于真實RoCE。但對于學習RDMA編程、調(diào)通RDMA CM連接、驗證業(yè)務邏輯這些場景它完全能勝任。1.2 Soft-RoCE在內(nèi)核中的工作機制理解Soft-RoCE的工作機制其實對排查問題特別有幫助。我拆成幾個層面來講。驅(qū)動層驅(qū)動代碼在drivers/infiniband/hw/rxe/下注冊成一個IB設備。這個設備本身不依賴任何專用硬件它綁定一個現(xiàn)有的以太網(wǎng)設備比如eth0或者ens3。綁定后內(nèi)核里就能看到rxe0這樣的設備名。數(shù)據(jù)路徑發(fā)送數(shù)據(jù)時應用調(diào)用ibv_post_send把WQEWork Queue Element投遞到SQSend Queue。Soft-RoCE驅(qū)動從SQ里取出WQE把里面的數(shù)據(jù)封裝成RoCE報文再通過綁定的以太網(wǎng)設備發(fā)送出去。接收方向相反以太網(wǎng)設備接收到RoCE報文驅(qū)動解析后創(chuàng)建對應的接收WQE通過CQCompletion Queue通知應用。狀態(tài)管理每個QP都有狀態(tài)機從RESET到INIT、RTR、RTS最后到SQD、SQE、ERROR。Soft-RoCE驅(qū)動完整實現(xiàn)了這整套狀態(tài)轉(zhuǎn)換邏輯所以你在真機上遇到的QP狀態(tài)異常問題在Soft-RoCE里也能復現(xiàn)。這個機制帶來的一個實際好處是你可以在同一臺機器上用兩個rxe設備做本機通信測試。比如eth0綁成rxe0eth1綁成rxe1rxe0和rxe1之間就能跑RDMA的read、write、send操作不需要第二臺機器。這對學習RDMA編程特別友好寫完代碼本機就能自測。2. 環(huán)境準備這步?jīng)Q定你后面順不順2.1 硬件與內(nèi)核版本要求Soft-RoCE對硬件的要求其實很低但有一些硬性門檻需要注意。內(nèi)存至少2GB磁盤20GB以上這些基本都能滿足。CPU沒有特殊要求但如果是虛擬機里跑建議至少2核因為數(shù)據(jù)路徑全走CPU核太少跑iperf會明顯吃力。網(wǎng)卡方面普通千兆網(wǎng)卡就行不要求支持RDMA。我自己就在一臺KVM虛擬機里跑通過KVM的虛擬網(wǎng)卡virtio也能正常綁定rxe設備。內(nèi)核版本是個關(guān)鍵點。Soft-RoCE在4.14內(nèi)核之前問題比較多4.14之后才逐漸穩(wěn)定。如果是老內(nèi)核推薦至少升到4.14最好能用4.19或5.x系列。內(nèi)核里需要支持INFINIBAND、INFINIBAND_SOFT_ROCE驅(qū)動還要有RDMA_RXE相關(guān)的模塊。檢查方法很簡單確認內(nèi)核版本后再看模塊和配置。很多發(fā)行版默認沒有把Soft-RoCE編進內(nèi)核需要單獨裝驅(qū)動包。Ubuntu從18.04開始linux-modules-extra包里有rxe相關(guān)模塊CentOS需要在7.7以上版本才比較完善。2.2 必須裝好的用戶態(tài)工具鏈光有內(nèi)核模塊還不夠還需要rdma-core工具集。它提供的是用戶態(tài)庫和管理命令包括但不限于以下內(nèi)容ibv_devinfo查看RDMA設備信息rdma link管理rdma設備、查看狀態(tài)rxe_cfgSoft-RoCE專用配置工具用于綁定以太網(wǎng)設備和rxe模塊perftest里面是ib_write_bw、ib_read_lat這些帶寬和延遲測試工具ibpingIB網(wǎng)絡連通性測試工具裝這些工具的方式不同的系統(tǒng)有區(qū)別。Ubuntu和Debian兩個包就搞定。CentOS和RHEL需要epel倉庫。裝完之后可以用ibv_devinfo驗證用戶態(tài)是否正常連接內(nèi)核模塊跑一次就能看到rxe設備信息。還有一個容易漏的組件是uverbs模塊。用戶態(tài)程序通過/dev/infiniband/uverbs設備訪問內(nèi)核驅(qū)動這個設備文件是udev自動創(chuàng)建的。如果發(fā)現(xiàn)裝完rdma-core后沒有這個設備文件大概率是內(nèi)核模塊沒加載成功。3. Soft-RoCE環(huán)境搭建實操從零到能跑通ib_write_bw3.1 完整搭建步驟與命令記錄下面把我實際操作中驗證過的步驟完整列出來。用Ubuntu系統(tǒng)演示CentOS的差異點會在關(guān)鍵處補充說明。第一步確認內(nèi)核支持先看內(nèi)核版本uname -r我的測試機器是5.4.0沒問題。如果版本太低建議先升級內(nèi)核再繼續(xù)。然后檢查相關(guān)模塊是否存在modprobe rdma_rxe lsmod | grep rxe如果modprobe沒有報錯說明內(nèi)核已經(jīng)把模塊編進去了。第二步安裝用戶態(tài)工具Ubuntu系統(tǒng)直接apt update apt install -y rdma-core perftest infiniband-diags裝完之后確認命令存在ibv_devinfo -v rxe_cfg -hCentOS/RHEL系列需要先加epel倉庫yum install -y epel-release yum install -y rdma-core perftest infiniband-diags第三步加載內(nèi)核模塊并綁定設備用modprobe加載模塊后要為Soft-RoCE綁定一個物理網(wǎng)卡。有兩種方式我推薦用現(xiàn)代的方式直接用rdma link命令創(chuàng)建rxe設備。# 查看當前rdma設備 rdma link show # 綁定ens3到rxe模塊 rdma link add rxe0 type rxe netdev ens3 # 確認rxe0創(chuàng)建成功 rdma link show如果這一步報錯“Could not create device”先查dmesgdmesg | tail -50常見原因是sysfs權(quán)限問題或者rxe模塊沒有正確注冊。老版本的工具還需要用rxe_cfg新版本已經(jīng)統(tǒng)一到rdma命令下了這點注意區(qū)分。第四步配置IP地址RoCEv2是需要IP層通信的每個rxe設備需要分配IP地址。這里的IP地址應該配置在物理網(wǎng)卡上rxe設備會自動復用。比如物理網(wǎng)卡ens3配置了192.168.1.10那么rxe0的IP也是192.168.1.10。單機雙設備自測的時候需要給兩對網(wǎng)卡配好不同網(wǎng)段的IP。比如ens3配192.168.1.10ens4配192.168.2.10它們分別綁rxe0和rxe1。第五步驗證設備狀態(tài)ibv_devinfo -d rxe0正常輸出會顯示設備支持的各種能力包括端口狀態(tài)PORT_ACTIVE、最大QP數(shù)、最大MR大小等。再跑一次連通性測試# 機器1上執(zhí)行 ibping -S -o 192.168.1.10 # 機器2上執(zhí)行 ibping -c 1000 -C 1 -S 192.168.1.10輸出會顯示往返延遲和丟包情況。第六步跑一次帶寬測試用perftest工具組的ib_write_bw驗證實際帶寬# 服務端 ib_write_bw -d rxe0 -s 65536 # 客戶端 ib_write_bw -d rxe0 -s 65536 192.168.1.11如果看到正常的吞吐數(shù)據(jù)說明環(huán)境已經(jīng)全部打通。3.2 本機雙rxe設備自測方案沒有第二臺機器的話可以在一臺機器上配兩個rxe設備讓它們互相通信。先把兩個物理網(wǎng)卡belonging到不同網(wǎng)段然后分別創(chuàng)建rxe設備rdma link add rxe0 type rxe netdev ens3 rdma link add rxe1 type rxe netdev ens4物理接口配置ip addr add 192.168.1.10/24 dev ens3 ip addr add 192.168.2.10/24 dev ens4 ip link set ens3 up ip link set ens4 up然后跑ib_write_bw的時候服務端監(jiān)聽在rxe0上客戶端用rxe1去連接192.168.2.10# 終端1服務端 ib_write_bw -d rxe0 -s 65536 # 終端2客戶端 ib_write_bw -d rxe1 -s 65536 192.168.2.10這種自測方式特別適合調(diào)試RDMA代碼改完邏輯不用兩臺機器同步完全本地就能驗證。3.3 內(nèi)核參數(shù)和配置文件優(yōu)化網(wǎng)卡中斷和內(nèi)存鎖限制會影響Soft-RoCE的性能和穩(wěn)定性。建議把這兩個內(nèi)核參數(shù)調(diào)一下。提升內(nèi)存鎖上限RDMA操作需要鎖定內(nèi)存區(qū)域默認限制太低會導致注冊MR失敗。在/etc/security/limits.conf里加上* soft memlock unlimited * hard memlock unlimited改完重新登錄才會生效。關(guān)閉網(wǎng)卡offload部分網(wǎng)卡的特性比如LRO、GRO會干擾RoCE報文解析建議關(guān)閉。用ethtool操作ethtool -K ens3 gro off gso off tso off如果網(wǎng)卡支持還可以關(guān)lroethtool -K ens3 lro off調(diào)整系統(tǒng)XDPMCpuSoft-RoCE的數(shù)據(jù)路徑走的是內(nèi)核軟中斷網(wǎng)卡的RX隊列中斷盡量綁定到不同CPU上避免單核跑滿限制性能。網(wǎng)卡多隊列結(jié)合RPS配置在判斷性能瓶頸時可以重點關(guān)注。這些配置本身是通用的調(diào)優(yōu)手段Soft-RoCE環(huán)境下能改善CPU開銷真實RoCE網(wǎng)卡下同樣適用。4. 實操過程全記錄一次完整的Soft-RoCE連通測試4.1 從零開始完整跑通一次RDMA通信我用兩臺Ubuntu 20.04虛擬機做演示物理網(wǎng)卡分別是ens3IP配置如下節(jié)點A192.168.1.10/24節(jié)點B192.168.1.11/24兩臺機器都沒有RDMA硬件只有virtio虛擬網(wǎng)卡。整個搭建過程耗時約15分鐘。加載模塊并創(chuàng)建rxe設備modprobe rdma_rxe rdma link add rxe0 type rxe netdev ens3用ibv_devinfo確認設備狀態(tài)。節(jié)點A的輸出中端口狀態(tài)是PORT_ACTIVE這就對了。如果狀態(tài)是PORT_DOWN說明物理網(wǎng)卡鏈路有問題或者IP沒配好。然后測試連通性。節(jié)點B先啟動ibping服務端ibping -S -o 192.168.1.11節(jié)點A發(fā)起pingibping -c 100 -C 1 -S 192.168.1.11100個包全通平均延遲在0.2ms左右。這個延遲數(shù)值看看就好別當真實RoCE延遲參考Soft-RoCE的延遲參數(shù)沒有生產(chǎn)參考價值只能驗證連通性。接著跑帶寬。節(jié)點Bib_write_bw -d rxe0 -s 65536節(jié)點Aib_write_bw -d rxe0 -s 65536 192.168.1.11實測千兆網(wǎng)卡下的帶寬在940MB/s左右接近純軟件轉(zhuǎn)發(fā)的極限。換小包測試比如-s 64帶寬會掉到幾十MB/s這是因為小包場景下CPU要處理更多報文Soft-RoCE的CPU開銷非常明顯。這也印證了一個結(jié)論Soft-RoCE看功能、看流程不要看性能數(shù)字。4.2 數(shù)據(jù)路徑分析報文是怎么走的跑一次ib_write_bw在節(jié)點A上抓包能看到報文的流轉(zhuǎn)過程。tcpdump -i ens3 -nn udp port 4791正常能看到UDP端口4791的雙向報文這就是RoCEv2的通信端口。我嘗試用tcpdump抓v1的RoCE報文如果報文類型是0x8915需要過濾ether proto 0x8915才能看到。Soft-RoCE默認跑RoCEv2除非特別配置這在抓包驗證時要注意。再深一層用rdma res show qp查看QP狀態(tài)rdma res show qp輸出會顯示當前活躍的QP的LQPNLocal QP Number、狀態(tài)、以及對端的IP和QP號。這個命令在排查連接問題時特別好用正常狀態(tài)應該是RTS。如果在跑測試的同時觀察CPU占用top輸出中會有大量軟中斷的CPU占用。這再次證實數(shù)據(jù)路徑走的是內(nèi)核協(xié)議棧所有RDMA操作都由CPU承擔。4.3 多節(jié)點場景的配置差異兩臺以上節(jié)點之間的搭建方式完全一樣每臺機器各自綁rxe設備、配IP即可。需要注意的是所有節(jié)點要在同一個二層網(wǎng)絡內(nèi)且IP要能互通。如果涉及跨子網(wǎng)需要確保路由可達但RoCEv2支持三層路由只是需要額外排查防火墻是否放行UDP 4791端口。物理機上如果裝了firewalld或者ufw記得放行ufw allow 4791/udp # 或者關(guān)掉防火墻 systemctl stop firewalld很多網(wǎng)絡問題其實不是RDMA配置的問題是防火墻把UDP 4791擋了。排查順序建議是先ping通IP再測UDP端口最后看RDMA命令的輸出。5. 常見問題與排查技巧實錄5.1 qp創(chuàng)建失敗與GID索引問題這個是我遇到過最高頻的問題。RDMA程序在連接對端的時候需要查詢本地設備的GIDGlobal Identifier索引代碼里經(jīng)常硬編碼用gid_index3但Soft-RoCE設備上的GID索引數(shù)量和順序跟真實網(wǎng)卡不一樣。報錯信息一般是ibv_create_qp failed或者gid index 3 out of range解決辦法是先用ibv_devinfo -v查看設備的GID表ibv_devinfo -d rxe0 -v | grep -A5 GID然后把代碼里的gid_index改成實際存在的索引。在Soft-RoCE環(huán)境里IPv4對應的GID一般出現(xiàn)在前幾個索引里比如0和1。更隱蔽的問題是綁定rxe設備后修改物理網(wǎng)卡的IP地址GID表會刷新。之前能跑的程序可能突然報GID錯誤這時重新查詢GID索引并修改程序即可。5.2 rxe設備狀態(tài)一直DOWNrdma link show里看到rxe0狀態(tài)是DOWN但物理網(wǎng)卡明明UP。這個問題的根源通常是IP配置。Soft-RoCE設備的狀態(tài)跟物理網(wǎng)卡的IP綁定有關(guān)。檢查ens3是否配置了有效IPip addr show ens3還有一種情況是物理網(wǎng)卡處于DOWN狀態(tài)ip link set ens3 up如果IP和物理網(wǎng)卡都沒問題嘗試重新添加rxe設備rdma link del rxe0 rdma link add rxe0 type rxe netdev ens3注意不是所有內(nèi)核版本都支持del操作不支持就直接重啟網(wǎng)絡服務再重新添加。5.3 本機自測時連接失敗用兩個rxe設備本機自測客戶端連不上服務端或者連接后被重置。這通常是路由問題。檢查本機路由確保發(fā)往對端IP的報文走對了網(wǎng)卡。ip route get 192.168.2.10如果路由不對可能是內(nèi)核的rp_filter反向路徑過濾在干擾。關(guān)閉它sysctl -w net.ipv4.conf.ens4.rp_filter0 sysctl -w net.ipv4.conf.all.rp_filter0自測場景下直接關(guān)閉所有網(wǎng)卡的rp_filter是省事做法。生產(chǎn)環(huán)境不建議這么干但在練習環(huán)境里完全沒問題。5.4 內(nèi)存注冊失敗的排查跑perftest報MR注冊失敗ibv_reg_mr failed: Operation not permitted注意這個“Operation not permitted”不是權(quán)限問題是內(nèi)存鎖限制到了。檢查limits.conf的配置確認ulimit -l輸出ulimit -l輸出應該是unlimited如果不是就是你剛才改的limits.conf沒生效重新登錄shell再試。如果是systemd服務里面跑RDMA程序光改limits.conf不夠還要在服務的unit文件里加LimitMEMLOCKinfinity。這個細節(jié)容易漏用systemd管理守護進程時報錯先想到這個。5.5 性能異常低的排查思路Soft-RoCE性能低是正常的但低到離譜比如幾十MB/s就得排查了。先確認網(wǎng)卡協(xié)商速率是不是正常千兆關(guān)掉LRO/GRO后重新測試檢查CPU有沒有被IRQ打滿用mpstat看軟中斷占比確認測試工具參數(shù)是否合理比如-s 65536大數(shù)據(jù)包不要用默認的小包我之前遇到過一次性能特別差排查半天發(fā)現(xiàn)是虛擬機管理程序開啟了流量整形限速在100Mbps。這種外部因素在虛擬化環(huán)境下特別多排查時把物理網(wǎng)絡的因素一起考慮進去。5.6 問題速查表現(xiàn)象可能原因排查步驟rdma link add報錯模塊未加載或權(quán)限不足modprobe rdma_rxe檢查dmesg設備狀態(tài)DOWN物理網(wǎng)卡未UP或未配IPip link set upip addr addibv_devinfo看不到設備rdma-core版本過低升級rdma-core版本QP創(chuàng)建失敗GID索引無效查詢GID表調(diào)整代碼連接失敗防火墻攔截UDP 4791放行方向或關(guān)閉防火墻內(nèi)存注冊失敗memlock限制ulimit -l檢查改limits.conf自測連接失敗rp_filter干擾關(guān)閉反向路徑過濾性能異常低offload沒關(guān)或外部限速關(guān)閉GRO/LRO檢查物理鏈路6. 進階技巧與典型應用場景6.1 用Soft-RoCE調(diào)試RDMA程序RDMA編程入門最難的就是調(diào)試。真實RoCE環(huán)境下程序崩潰一次可能就把網(wǎng)卡搞到異常狀態(tài)影響整個集群。Soft-RoCE在虛擬機里隨便折騰crash了重啟虛擬機就行。調(diào)試的時候有幾個技巧用ibv_devinfo看設備能力。很多RDMA程序的報錯源于對設備能力假設錯誤。比如程序假設設備支持原子操作但Soft-RoCE早期版本對原子操作支持不完整。先用ibv_devinfo確認設備能力再寫代碼。用rdma res show命令查運行時狀態(tài)。這個命令能看到當前所有QP、MR、CQ的狀態(tài)。程序異常退出后用這個命令確認資源是否被正確清理。用tcpdump抓包定位問題。從抓包里能清楚看到握手過程走到哪一步失敗是連接建立失敗還是數(shù)據(jù)發(fā)送失敗。tcpdump在Soft-RoCE下的意義比在真實RoCE下大得多因為真實RoCE網(wǎng)卡上抓包經(jīng)常抓到的是加密或者摘要過的內(nèi)容。6.2 用Soft-RoCE搭建學習測試平臺Soft-RoCE最適合的場景就是做RDMA學習平臺。有幾點設計建議用虛擬機快照保存干凈的基準環(huán)境。搭建一次之后實驗做完就回滾幾秒鐘回到初始狀態(tài)。同一套環(huán)境可以跑不同OS版本。宿主機上開多個虛擬機分別用Ubuntu、CentOS、Rocky測試同一段程序?qū)Ρ炔煌到y(tǒng)間行為的差異。配合容器使用。在容器里跑RDMA程序宿主機綁定rxe設備后容器用host網(wǎng)絡模式直接訪問。容器拆了重建對環(huán)境沒有任何影響。我自己為了寫RDMA的示例代碼搭了3個虛擬機的環(huán)境一個是Ubuntu、一個是CentOS、一個是Debian。三個環(huán)境代碼完全一樣行為有差異的地方很快就暴露出來這對理解不同發(fā)行版的差異幫助很大。6.3 Soft-RoCE不是萬能的性能差異的清醒認知Soft-RoCE可以做很多事但有些事它確實做不了不能用Soft-RoCE測真實業(yè)務的性能。它跑出來的延遲和帶寬數(shù)據(jù)沒有參考價值CPU開銷又高性能指標是純軟件模擬的結(jié)果與真實硬件有天壤之別。不能驗證無損網(wǎng)絡特性。RoCE的核心優(yōu)勢之一是利用無損網(wǎng)絡實現(xiàn)Zero-Copy收包Soft-RoCE完全沒有PFCPriority Flow Control等無損網(wǎng)絡機制這方面的行為差異大。不能模擬網(wǎng)卡硬件卸載能力。比如多流哈希、動態(tài)連接追蹤等網(wǎng)卡特性Soft-RoCE都沒有。你只能在代碼邏輯層面理解RDMA硬件相關(guān)的優(yōu)化點無法在這里驗證。這些認知很重要。Soft-RoCE解決的是“從無到有”的問題讓你先跑起來、先學通API、先理解流程后續(xù)在真機上做性能驗證和調(diào)優(yōu)才有基礎。7. 寫在最后的一個實用小建議搭建Soft-RoCE環(huán)境這件事說簡單也簡單幾條命令的事說麻煩也麻煩模塊加載、GID索引、防火墻策略、內(nèi)核參數(shù)每個環(huán)節(jié)都可能卡一下。我個人的體會是如果你剛開始學RDMA與其糾結(jié)在一臺昂貴但沒配置好的真機上不如先用Soft-RoCE把代碼跑通、把QP狀態(tài)機玩熟、把ibv_verbs的API都過一遍這個過程里積累的調(diào)試經(jīng)驗不會白費換到真實硬件上依然有效。最后分享一個很多人不知道的小技巧rdma link show的輸出中rxe設備的link layer顯示是Ethernet而真實RoCE網(wǎng)卡顯示的是InfiniBand或者Ethernet取決于具體型號。如果你在一個環(huán)境里同時有Soft-RoCE和真實網(wǎng)卡用這個字段就能一秒?yún)^(qū)分當前操作的是模擬設備還是硬件設備排查問題時非常省事。