絡(luò)設(shè)備安裝與調(diào)試指南：VLAN規(guī)劃、鏈路聚合與驗(yàn)收排查)
1. 先想清楚一次靠譜的網(wǎng)絡(luò)設(shè)備上架到底包含哪些活“網(wǎng)絡(luò)設(shè)備安裝與調(diào)試”這八個(gè)字很多人第一反應(yīng)是插上電、連上網(wǎng)線、進(jìn)后臺(tái)點(diǎn)幾下就完事。我在實(shí)際項(xiàng)目里見(jiàn)過(guò)太多這樣的場(chǎng)景機(jī)柜門(mén)一關(guān)燈是綠的用戶也說(shuō)能上網(wǎng)結(jié)果三個(gè)月后業(yè)務(wù)一擴(kuò)加一臺(tái)服務(wù)器就開(kāi)始丟包一查發(fā)現(xiàn)當(dāng)初的地址池只規(guī)劃了半個(gè)C段VLAN全堆在一個(gè)廣播域里鏈路是一條單線跑滿。這類(lèi)問(wèn)題的根源幾乎都不在調(diào)試那一步而在于一開(kāi)工就沒(méi)有把“安裝與調(diào)試”當(dāng)成一個(gè)完整的工程來(lái)做。我理解的網(wǎng)絡(luò)設(shè)備安裝與調(diào)試是把一堆散裝硬件通過(guò)物理安裝、線纜敷設(shè)、地址與策略規(guī)劃、設(shè)備參數(shù)配置、分段驗(yàn)證這一整套動(dòng)作變成一張可管理、可擴(kuò)展、可排查的網(wǎng)絡(luò)。涉及的設(shè)備通常包括接入交換機(jī)、核心或匯聚交換機(jī)、路由器或防火墻、無(wú)線控制器與AP、光模塊與配套的機(jī)柜供電。它解決的核心問(wèn)題是讓數(shù)據(jù)在正確的路徑上、以穩(wěn)定的速率、按預(yù)期的權(quán)限流動(dòng)并且在出問(wèn)題時(shí)能被快速定位。這套活兒適合誰(shuí)看剛?cè)胄械木W(wǎng)絡(luò)運(yùn)維、做弱電集成的工程人員、中小企業(yè)的IT兼崗、以及準(zhǔn)備自己動(dòng)手搭一套辦公網(wǎng)的技術(shù)負(fù)責(zé)人都能從下面這些細(xì)節(jié)里挑到能直接用的東西。我特別反感一種做法把調(diào)試當(dāng)成“試出來(lái)”。改一個(gè)參數(shù)ping一下通了就收工不通再改回來(lái)。這種工作方式在設(shè)備少的時(shí)候看著效率高設(shè)備一多就會(huì)變成災(zāi)難因?yàn)槟愀静恢朗悄膫€(gè)變量起了作用。所以后面我寫(xiě)的所有內(nèi)容都建立在一個(gè)前提上——先有規(guī)劃再有配置最后有驗(yàn)證。這三步的順序顛倒返工成本至少翻三倍。2. 開(kāi)工前的功課現(xiàn)場(chǎng)勘察與規(guī)劃表2.1 機(jī)柜、供電與散熱的現(xiàn)場(chǎng)確認(rèn)清單設(shè)備還沒(méi)到貨我就得先去現(xiàn)場(chǎng)看一遍。這一步很多新人會(huì)跳過(guò)覺(jué)得“機(jī)柜不就在那兒?jiǎn)帷苯Y(jié)果設(shè)備上架當(dāng)天才發(fā)現(xiàn)機(jī)柜深度只有600mm而交換機(jī)的走線空間需要800mm或者機(jī)柜里只有一個(gè)8位PDUPoE交換機(jī)加AP的功耗直接頂?shù)缴舷蕖，F(xiàn)場(chǎng)勘察我一般按下面這幾項(xiàng)過(guò)一遍每項(xiàng)都寫(xiě)進(jìn)記錄里不到現(xiàn)場(chǎng)絕不憑想象畫(huà)圖?？辈祉?xiàng)具體確認(rèn)內(nèi)容不確認(rèn)的后果機(jī)柜尺寸深度、寬度、可用U位、前后開(kāi)門(mén)方向設(shè)備裝不進(jìn)或無(wú)法走線供電PDU位數(shù)、插座制式、是否雙路、UPS容量PoE滿載跳閘、斷電無(wú)保護(hù)散熱進(jìn)出風(fēng)方向、空調(diào)出風(fēng)位置、機(jī)柜風(fēng)扇夏季高溫導(dǎo)致設(shè)備降頻重啟接地機(jī)柜接地排、接地線徑雷擊與靜電風(fēng)險(xiǎn)故障率上升布線通道橋架走向、穿墻孔位、弱電井位置線纜長(zhǎng)度超標(biāo)、施工返工這里面最容易被忽視的是風(fēng)道方向。接入交換機(jī)一般是前后風(fēng)道或者側(cè)進(jìn)側(cè)出如果機(jī)柜里同時(shí)裝了服務(wù)器服務(wù)器的熱風(fēng)正好吹到交換機(jī)的進(jìn)風(fēng)口夏天機(jī)房溫度一上來(lái)交換機(jī)風(fēng)扇就會(huì)長(zhǎng)期高轉(zhuǎn)速壽命明顯縮短。我遇到過(guò)一次一整柜的接入交換機(jī)在七八月份頻繁掉線最后查出來(lái)不是設(shè)備問(wèn)題是機(jī)柜前后裝反了熱風(fēng)在柜內(nèi)循環(huán)。供電這塊我習(xí)慣留余量。PoE交換機(jī)的功率預(yù)算不是把所有AP的標(biāo)稱(chēng)功耗加起來(lái)就完事要乘以一個(gè)冗余系數(shù)。經(jīng)驗(yàn)算法是PoE總預(yù)算 ≥單臺(tái)AP峰值功耗 × AP數(shù)量 攝像頭數(shù)量 × 單臺(tái)峰值功耗× 1.3比如20臺(tái)AP單臺(tái)峰值12W8臺(tái)攝像頭單臺(tái)峰值8W那么總需求約為 (240 64) × 1.3 ≈ 395W。選一臺(tái)370W PoE預(yù)算的交換機(jī)就不夠了得上更大預(yù)算的型號(hào)或者把負(fù)載拆到兩臺(tái)設(shè)備上。這個(gè)計(jì)算在采購(gòu)階段就要做等設(shè)備上架了才發(fā)現(xiàn)功率不夠只能加一臺(tái)PoE注入器現(xiàn)場(chǎng)難看還多一個(gè)故障點(diǎn)。2.2 IP地址與VLAN規(guī)劃一張表定生死我見(jiàn)過(guò)的最省事也最坑人的規(guī)劃就是全網(wǎng)一個(gè)192.168.1.0/24。省事是因?yàn)椴挥孟肟尤耸且驗(yàn)橐坏┯性O(shè)備發(fā)廣播風(fēng)暴全公司一起斷。規(guī)劃這件事我建議在Excel里拉一張表把所有VLAN、網(wǎng)段、網(wǎng)關(guān)位置、DHCP由誰(shuí)發(fā)、用途寫(xiě)清楚這張表以后就是排查問(wèn)題的地圖。下面這種粒度是我認(rèn)為夠用的VLAN ID名稱(chēng)網(wǎng)段網(wǎng)關(guān)設(shè)備用途備注10MGMT10.10.10.0/24核心交換機(jī)設(shè)備帶外管理禁止業(yè)務(wù)終端接入20OFFICE10.10.20.0/23核心交換機(jī)辦公終端約500個(gè)地址30VOICE10.10.30.0/24核心交換機(jī)IP電話走語(yǔ)音優(yōu)先隊(duì)列40WIFI-GUEST10.10.40.0/24防火墻訪客無(wú)線隔離僅出外網(wǎng)50SERVER10.10.50.0/24核心交換機(jī)內(nèi)部服務(wù)器單獨(dú)ACL管控60CAMERA10.10.60.0/24核心交換機(jī)視頻監(jiān)控大流量單獨(dú)收斂99TRANSIT10.10.99.0/30—三層互聯(lián)點(diǎn)對(duì)點(diǎn)掩碼30規(guī)劃里有幾個(gè)原則我基本不會(huì)破管理網(wǎng)段必須獨(dú)立。管理VLAN和業(yè)務(wù)VLAN混在一起等于把設(shè)備的console口掛在公網(wǎng)上一個(gè)終端中毒就可能掃到交換機(jī)管理地址。網(wǎng)關(guān)統(tǒng)一下沉到核心或匯聚。接入交換機(jī)只做二層網(wǎng)關(guān)不分散。這樣跨VLAN流量路徑清晰ACL也只需要在少數(shù)幾臺(tái)設(shè)備上維護(hù)。預(yù)留擴(kuò)容空間。辦公網(wǎng)段用/23而不是/24就是因?yàn)榻K端增長(zhǎng)永遠(yuǎn)比你預(yù)估的快。等到地址耗盡再去改掩碼涉及改網(wǎng)關(guān)、改DHCP、改靜態(tài)配置是典型的半夜加班活。點(diǎn)對(duì)點(diǎn)互聯(lián)用/30。兩個(gè)設(shè)備之間只需要兩個(gè)可用地址用/24是浪費(fèi)也是隱患容易被誤配。這張表做完設(shè)備怎么配基本就定了。我一直覺(jué)得規(guī)劃階段多花兩小時(shí)調(diào)試階段能省兩天。3. 硬件安裝看起來(lái)最沒(méi)技術(shù)含量翻車(chē)最多3.1 上架、理線與標(biāo)簽的三條硬規(guī)矩硬件安裝這塊技術(shù)門(mén)檻確實(shí)不高但它是整個(gè)網(wǎng)絡(luò)穩(wěn)定性的地基。我總結(jié)下來(lái)有三條規(guī)矩違反了遲早出問(wèn)題。第一條設(shè)備上架必須留出散熱和維護(hù)空間。交換機(jī)之間不要緊貼著堆尤其是高密度接入交換機(jī)U位之間留半U(xiǎn)到1U的空隙熱量才有地方散。上架螺絲四顆都要擰我見(jiàn)過(guò)只擰前面兩顆的設(shè)備后部下沉光模塊插拔的時(shí)候整臺(tái)機(jī)器都在晃時(shí)間長(zhǎng)了端口虛焊。第二條光纖的彎曲半徑不能小于30mm。這條是硬指標(biāo)不是建議。光纖盤(pán)纖的時(shí)候要順著自然弧度走不能硬折成直角也不能用扎帶勒死。我見(jiàn)過(guò)一個(gè)機(jī)柜光纖被理線帶捆成一束垂下來(lái)看著特別整齊結(jié)果三個(gè)月后一條萬(wàn)兆鏈路開(kāi)始丟包光功率測(cè)試發(fā)現(xiàn)收光值比出廠時(shí)低了2dB拆開(kāi)一看光纖在綁扎處被壓出了一個(gè)肉眼幾乎看不見(jiàn)的彎。光纖這東西寧可看著亂一點(diǎn)也不能過(guò)度受力。第三條兩端都要有標(biāo)簽而且標(biāo)簽要能看懂。常見(jiàn)的錯(cuò)誤是只在一端貼標(biāo)簽或者標(biāo)簽寫(xiě)“交換機(jī)1口”這種沒(méi)有意義的信息。我的習(xí)慣是標(biāo)簽格式統(tǒng)一成“對(duì)端設(shè)備-對(duì)端端口-本端端口”比如CORE01-Gi0/1-ACC05-Gi0/24。這樣在配線架旁邊一看就知道這根線通向哪里排查的時(shí)候不用順著線爬。提示網(wǎng)線長(zhǎng)度同樣有硬限制銅纜信道總長(zhǎng)度不超過(guò)100米其中水平布線不超過(guò)90米兩端跳線各留5米。超過(guò)這個(gè)距離千兆可能勉強(qiáng)能通但誤碼率會(huì)上升表現(xiàn)為“能用但偶爾卡”。這種情況用測(cè)線儀測(cè)通斷是測(cè)不出來(lái)的必須用認(rèn)證測(cè)試儀測(cè)衰減和串?dāng)_。3.2 光模塊與網(wǎng)線的實(shí)操細(xì)節(jié)光模塊這塊坑主要集中在匹配和清潔上。單模模塊配單模跳線多模配多模這個(gè)基本常識(shí)大家都有。但實(shí)際現(xiàn)場(chǎng)經(jīng)常出現(xiàn)的問(wèn)題是收發(fā)方向搞反。一對(duì)光模塊一端的TX要接對(duì)端的RX交叉連接。很多跳線是雙芯的出廠時(shí)已經(jīng)做好交叉但如果是自己壓的或者用單芯跳線就要格外注意。判斷方法很簡(jiǎn)單插上之后端口燈不亮把兩根纖對(duì)調(diào)一下試試大概率就通了。清潔這件事必須單獨(dú)說(shuō)。光模塊端面和光纖接頭被手指碰一下或者放在口袋里帶上來(lái)端面就有一層油污肉眼看不見(jiàn)但收光功率會(huì)直接掉幾個(gè)dB。我的做法是隨身帶一盒無(wú)塵棉簽和專(zhuān)用清潔筆每根光纖插之前都擦一遍插上之后用光功率計(jì)讀一下收光值和模塊的接收靈敏度范圍對(duì)一下。比如一個(gè)典型的長(zhǎng)距單模模塊接收范圍可能是-3dBm到-20dBm實(shí)測(cè)如果是-2dBm說(shuō)明太強(qiáng)可能要加衰減器如果是-22dBm就已經(jīng)在臨界值附近鏈路不可靠。網(wǎng)線這邊除了長(zhǎng)度還有一個(gè)高頻錯(cuò)誤是線序。現(xiàn)在基本都是直通線兩端都按T568B打這個(gè)沒(méi)錯(cuò)。但做水晶頭的時(shí)候壓線鉗沒(méi)壓到底或者線芯沒(méi)頂?shù)剿ь^前端就會(huì)形成接觸不良。表現(xiàn)是鏈路時(shí)通時(shí)斷或者速率協(xié)商不到千兆。我現(xiàn)場(chǎng)驗(yàn)收會(huì)看交換機(jī)的端口錯(cuò)包統(tǒng)計(jì)如果某個(gè)口的CRC錯(cuò)誤計(jì)數(shù)在持續(xù)增長(zhǎng)第一個(gè)懷疑對(duì)象就是這根網(wǎng)線和水晶頭。4. 設(shè)備調(diào)試從帶外登錄到業(yè)務(wù)打通4.1 初始配置與帶外管理的正確打開(kāi)方式新設(shè)備開(kāi)箱第一件事不是插網(wǎng)線是接Console線。這個(gè)順序很重要因?yàn)樾略O(shè)備的管理地址是未知的有的出廠還開(kāi)著DHCP客戶端接上網(wǎng)絡(luò)可能會(huì)拿到一個(gè)莫名其妙的地址或者更糟和現(xiàn)網(wǎng)設(shè)備地址沖突。用Console線本地登錄波特率一般是96008位數(shù)據(jù)位無(wú)校驗(yàn)1位停止位這個(gè)參數(shù)記不住就查手冊(cè)別亂試。登錄進(jìn)去之后我一般按這個(gè)順序走一遍修改默認(rèn)管理員賬號(hào)和密碼密碼長(zhǎng)度和復(fù)雜度按規(guī)范來(lái)不要用設(shè)備型號(hào)當(dāng)密碼。配置設(shè)備名稱(chēng)、時(shí)區(qū)、NTP。NTP這件事一定要做日志時(shí)間戳不準(zhǔn)出故障的時(shí)候你連“先發(fā)生什么后發(fā)生什么”都判斷不了。配置管理VLAN和帶外管理地址。管理地址只允許管理網(wǎng)段訪問(wèn)這一點(diǎn)通過(guò)ACL或者管理接口的訪問(wèn)控制實(shí)現(xiàn)。關(guān)閉不用的端口或者劃到一個(gè)隔離VLAN里。空端口開(kāi)著有人插一根線進(jìn)來(lái)就是一個(gè)未經(jīng)授權(quán)的接入點(diǎn)。保存配置。這一步看著廢話但我真的見(jiàn)過(guò)調(diào)試完忘了保存一斷電全部回到出廠設(shè)置的。帶外管理的意思是即使業(yè)務(wù)網(wǎng)絡(luò)全掛了你還能從一條獨(dú)立通道登進(jìn)設(shè)備。對(duì)于核心設(shè)備我一般會(huì)額外配一個(gè)管理口接獨(dú)立的交換機(jī)或者至少保證管理VLAN的網(wǎng)關(guān)不依賴(lài)于這臺(tái)設(shè)備本身。有一次核心交換機(jī)因?yàn)榕渲缅e(cuò)誤導(dǎo)致CPU打滿SSH完全登不進(jìn)去最后是靠Console線現(xiàn)場(chǎng)救回來(lái)的那次之后我所有的核心設(shè)備都留了帶外通道。下面是一段典型的基礎(chǔ)配置片段命令風(fēng)格按通用CLI寫(xiě)具體語(yǔ)法各家有差異但邏輯是一致的# 基礎(chǔ)信息 hostname ACC05 clock timezone CST 8 ntp-service unicast-server 10.10.10.5 # 管理VLAN與地址 vlan 10 description MGMT interface Vlanif10 ip address 10.10.10.25 255.255.255.0 # 管理訪問(wèn)控制只允許管理網(wǎng)段 acl number 2000 rule 5 permit source 10.10.10.0 0.0.0.255 rule 10 deny user-interface vty 0 4 acl 2000 inbound authentication-mode aaa # 未使用端口隔離 interface GigabitEthernet0/0/1 shutdown4.2 VLAN、Trunk與鏈路聚合的配置要點(diǎn)VLAN劃分本身不難難的是Trunk鏈路的細(xì)節(jié)。接入交換機(jī)上聯(lián)到匯聚這條鏈路是Trunk要放行哪些VLAN、PVID設(shè)成什么這幾個(gè)參數(shù)必須和規(guī)劃表嚴(yán)格對(duì)應(yīng)。我先說(shuō)允許列表。Trunk口默認(rèn)可能放行所有VLAN這在實(shí)驗(yàn)室里方便在生產(chǎn)環(huán)境里是隱患。正確做法是只放行這臺(tái)接入交換機(jī)實(shí)際需要的VLAN。比如一臺(tái)接入交換機(jī)只接辦公終端和IP電話那就只放行VLAN 20和30其他一律剪掉。這樣做的好處是即使別的VLAN出了問(wèn)題廣播也不會(huì)順著Trunk擴(kuò)散過(guò)來(lái)。再說(shuō)PVID。PVID決定了不帶標(biāo)簽的幀進(jìn)入Trunk口時(shí)歸到哪個(gè)VLAN。很多設(shè)備默認(rèn)PVID是VLAN 1而VLAN 1通常又被當(dāng)作管理VLAN這就埋了一個(gè)雷如果某臺(tái)設(shè)備誤發(fā)了不帶標(biāo)簽的幀它會(huì)直接進(jìn)入管理VLAN。我的做法是把Trunk口的PVID改成一個(gè)不用的VLAN或者顯式地把native VLAN隔離掉。鏈路聚合是提升帶寬和冗余的常用手段兩條千兆捆成一條邏輯鏈路既擴(kuò)容又防單點(diǎn)故障。配置上有兩種模式靜態(tài)聚合和動(dòng)態(tài)聚合LACP。我的選擇是聚合模式適用場(chǎng)景優(yōu)點(diǎn)風(fēng)險(xiǎn)靜態(tài)聚合對(duì)端是服務(wù)器或舊設(shè)備不支持LACP配置簡(jiǎn)單兼容性好一端配置錯(cuò)誤時(shí)容易形成環(huán)路動(dòng)態(tài)LACP交換機(jī)之間互聯(lián)能協(xié)商檢測(cè)一端故障自動(dòng)剔除配置稍復(fù)雜需兩端都開(kāi)啟交換機(jī)之間互聯(lián)我基本都用LACP。配置時(shí)要注意聚合組內(nèi)所有成員口的速率、雙工、VLAN配置必須完全一致否則成員口可能無(wú)法加入聚合組。還有一個(gè)細(xì)節(jié)是負(fù)載均衡算法默認(rèn)的哈希方式可能是基于源MAC這樣單個(gè)大流量會(huì)話還是會(huì)跑在一條成員鏈路上。如果下游有存儲(chǔ)或者視頻流這類(lèi)大流量單會(huì)話業(yè)務(wù)要把哈希算法改成基于源目IP或者源目IP加端口的組合才能真正把流量分散開(kāi)。# 動(dòng)態(tài)鏈路聚合示例 interface Eth-Trunk1 mode lacp-static port link-type trunk port trunk allow-pass vlan 20 30 load-balance src-dst-ip interface GigabitEthernet0/0/23 eth-trunk 1 interface GigabitEthernet0/0/24 eth-trunk 14.3 路由、DHCP與安全策略的落地三層打通是調(diào)試階段最核心的環(huán)節(jié)。核心交換機(jī)上有各個(gè)VLAN的網(wǎng)關(guān)VLAN之間默認(rèn)是通的但實(shí)際業(yè)務(wù)往往需要管控。比如訪客VLAN不能訪問(wèn)服務(wù)器VLAN監(jiān)控VLAN只需要被指定的終端訪問(wèn)。這些通過(guò)ACL在網(wǎng)關(guān)接口上做方向性過(guò)濾。ACL這東西寫(xiě)錯(cuò)了比不寫(xiě)更危險(xiǎn)。我見(jiàn)過(guò)一條規(guī)則寫(xiě)成permit ip any any本意是先放行再收緊結(jié)果順序沒(méi)排好把所有限制都架空了。寫(xiě)ACL的原則是先具體后寬泛最后一條必須deny而且寫(xiě)完要在設(shè)備上看一下命中計(jì)數(shù)確認(rèn)規(guī)則真的在生效而不是只存在于配置里。DHCP的配置同樣有講究。地址池要和VLAN網(wǎng)段對(duì)應(yīng)網(wǎng)關(guān)和DNS要寫(xiě)對(duì)排除地址要把靜態(tài)配置的設(shè)備避開(kāi)。如果是無(wú)線AP通過(guò)DHCP獲取地址還要配置option 43告訴AP控制器的地址這一步漏了AP就會(huì)一直卡在“正在獲取IP”狀態(tài)。# DHCP地址池示例 ip pool OFFICE network 10.10.20.0 mask 255.255.254.0 gateway-list 10.10.20.1 dns-list 10.10.10.5 10.10.10.6 excluded-ip-address 10.10.20.1 10.10.20.10 lease day 7 # 訪客VLAN隔離示例 acl number 3000 rule 5 deny ip source 10.10.40.0 0.0.0.255 destination 10.10.50.0 0.0.0.255 rule 10 deny ip source 10.10.40.0 0.0.0.255 destination 10.10.20.0 0.0.1.255 rule 15 permit ip source 10.10.40.0 0.0.0.255 rule 20 deny ip interface Vlanif40 traffic-filter inbound acl 3000配置完這些不要急著宣布完工。我一般會(huì)先在一個(gè)VLAN里找兩臺(tái)終端互ping再?gòu)脑L客VLAN去ping服務(wù)器VLAN確認(rèn)該通的通、該斷的斷。這種“正反都測(cè)”的習(xí)慣能提前發(fā)現(xiàn)大部分ACL方向?qū)懛吹膯?wèn)題。4.4 無(wú)線部分的調(diào)試別當(dāng)成附屬品無(wú)線現(xiàn)在幾乎是辦公網(wǎng)的標(biāo)配但很多項(xiàng)目把它當(dāng)附屬品最后配完有線就完事無(wú)線體驗(yàn)一塌糊涂。無(wú)線調(diào)試的核心其實(shí)是兩件事信道規(guī)劃和功率控制。2.4G頻段只有1、6、11三個(gè)互不重疊的信道AP一密集就容易同頻干擾。我的做法是先把2.4G的AP數(shù)量控制住能上5G的終端盡量引導(dǎo)到5G。5G頻段信道多但要避開(kāi)雷達(dá)信道DFS尤其是在某些區(qū)域AP檢測(cè)到雷達(dá)信號(hào)會(huì)自動(dòng)切信道造成短暫斷連。室內(nèi)辦公場(chǎng)景我一般優(yōu)先選非DFS信道。功率方面很多人把AP功率開(kāi)到最大覺(jué)得信號(hào)強(qiáng)就是好。實(shí)際上功率越大覆蓋重疊越多終端在AP之間“粘”著不漫游走到另一個(gè)區(qū)域信號(hào)已經(jīng)很弱了還不斷開(kāi)體驗(yàn)反而差。正確做法是把功率調(diào)到一個(gè)適中值讓相鄰AP的覆蓋有適度重疊同時(shí)開(kāi)啟漫游相關(guān)的門(mén)限參數(shù)讓終端在信號(hào)變?nèi)鯐r(shí)主動(dòng)切換。AP上線之后我會(huì)拿手機(jī)走一圈重點(diǎn)測(cè)三個(gè)位置AP正下方、兩個(gè)AP交界處、最遠(yuǎn)的角落。交界處的漫游切換如果用著用著斷一下多半是功率或者漫游門(mén)限沒(méi)調(diào)好這個(gè)只能靠現(xiàn)場(chǎng)實(shí)測(cè)看圖紙是看不出來(lái)的。5. 驗(yàn)收與交付怎么證明這套網(wǎng)真的穩(wěn)5.1 分段驗(yàn)證法從物理層一路打到應(yīng)用層設(shè)備調(diào)完我從不直接說(shuō)“好了”。網(wǎng)絡(luò)這東西配置不報(bào)錯(cuò)不代表業(yè)務(wù)正常必須一層一層驗(yàn)證上去。我習(xí)慣按下面的順序走哪一層出問(wèn)題就停在哪一層排查不跳步。驗(yàn)證層級(jí)驗(yàn)證方法判斷標(biāo)準(zhǔn)物理層查看端口狀態(tài)、光功率、錯(cuò)包計(jì)數(shù)端口UP收光在范圍內(nèi)錯(cuò)包不增長(zhǎng)鏈路層查看MAC地址表、VLAN信息MAC學(xué)習(xí)正常VLAN劃分正確網(wǎng)絡(luò)層ping網(wǎng)關(guān)、ping跨網(wǎng)段地址通且延遲穩(wěn)定不丟包傳輸層大包不分片ping、帶寬打流測(cè)試1472字節(jié)以上不丟包帶寬接近線速應(yīng)用層實(shí)際業(yè)務(wù)訪問(wèn)、無(wú)線漫游測(cè)試業(yè)務(wù)可用漫游無(wú)感知斷連這里面我最看重的是大包測(cè)試。普通的ping默認(rèn)32字節(jié)只能證明鏈路通證明不了鏈路好。用ping -l 1472 -f這種不分片的大包去打能暴露MTU不匹配、鏈路質(zhì)量差的問(wèn)題。如果小包通大包不通八成是MTU或者分片配置的問(wèn)題如果大包丟包率高那就要回去看物理層和錯(cuò)包統(tǒng)計(jì)了。帶寬測(cè)試我會(huì)用打流工具在兩臺(tái)終端之間跑一下看看實(shí)際吞吐能不能接近鏈路標(biāo)稱(chēng)值。千兆鏈路實(shí)測(cè)跑到900Mbps以上算正常如果只有三四百兆可能是有其他流量干擾也可能是雙工協(xié)商有問(wèn)題或者鏈路聚合沒(méi)生效。5.2 配置備份與文檔交付這一步很多工程人員會(huì)省但它決定了這套網(wǎng)以后好不好維護(hù)。我的交付清單里固定包含三樣?xùn)|西配置文件、拓?fù)鋱D、地址與端口對(duì)照表。配置文件每臺(tái)設(shè)備導(dǎo)出一份文件名帶日期比如ACC05_20240612.cfg。不要只存在設(shè)備里設(shè)備壞了配置就沒(méi)了。我會(huì)在本地留一份再放一份到內(nèi)部的文檔系統(tǒng)里。配置變更之后及時(shí)更新備份這一點(diǎn)在多人維護(hù)的環(huán)境里尤其重要否則回滾的時(shí)候你會(huì)發(fā)現(xiàn)備份是三個(gè)月前的。拓?fù)鋱D不用畫(huà)得多精美但必須準(zhǔn)確標(biāo)清楚設(shè)備之間的連接關(guān)系、鏈路聚合、VLAN網(wǎng)關(guān)位置。地址與端口對(duì)照表就是前面那張規(guī)劃表的最終版調(diào)試過(guò)程中如果有調(diào)整一定要同步更新別讓文檔和現(xiàn)實(shí)兩張皮。注意交付文檔里不要寫(xiě)明文密碼。密碼可以單獨(dú)走密碼管理流程文檔里只寫(xiě)賬號(hào)和用途。這一點(diǎn)在小團(tuán)隊(duì)里經(jīng)常被忽略一個(gè)Excel表格傳來(lái)傳去最后誰(shuí)都知道核心設(shè)備的密碼。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 物理層與鏈路層的高頻坑網(wǎng)絡(luò)故障里我統(tǒng)計(jì)下來(lái)至少一半出在物理層和鏈路層而且這類(lèi)問(wèn)題最容易被誤判成“設(shè)備壞了”。下面這幾個(gè)是我遇到頻率最高的。端口頻繁up/down。先看是不是網(wǎng)線或水晶頭問(wèn)題換一根已知好的線試試再看是不是雙工協(xié)商不一致一端強(qiáng)制全雙工一端自協(xié)商就會(huì)出現(xiàn)這種抖動(dòng)。我的習(xí)慣是兩端都設(shè)成自協(xié)商除非有特殊需求不手工強(qiáng)制速率。某個(gè)VLAN內(nèi)終端互相不通但都能上網(wǎng)關(guān)。這種情況八成是接入交換機(jī)的端口VLAN劃分不一致或者Trunk沒(méi)放行這個(gè)VLAN。查一下MAC地址表看終端的MAC有沒(méi)有學(xué)到正確的端口和VLAN里。全網(wǎng)變慢CPU占用高。第一反應(yīng)是環(huán)路。檢查有沒(méi)有人私接了兩根線到同一個(gè)交換機(jī)或者把兩個(gè)墻面口用一根網(wǎng)線連起來(lái)了。環(huán)路的表現(xiàn)是MAC地址表頻繁漂移、廣播包暴漲、設(shè)備CPU飆升。應(yīng)急處理是把懷疑的端口先shutdown再逐步恢復(fù)定位。預(yù)防手段是在接入端口上開(kāi)啟環(huán)路檢測(cè)和BPDU保護(hù)邊緣端口收到BPDU就自動(dòng)關(guān)閉。光鏈路時(shí)通時(shí)斷。先測(cè)收光功率再看光模塊的型號(hào)和距離是否匹配。多模光纖跑長(zhǎng)距離、或者用錯(cuò)波長(zhǎng)都會(huì)導(dǎo)致鏈路不穩(wěn)定。還有一種是光纖接頭臟了這個(gè)前面說(shuō)過(guò)清潔之后往往立竿見(jiàn)影。6.2 網(wǎng)絡(luò)層與業(yè)務(wù)層的排查套路到了網(wǎng)絡(luò)層排查就要講方法了。我的習(xí)慣是從近到遠(yuǎn)、從自身到對(duì)端一層層縮小范圍。終端上不了網(wǎng)先看它有沒(méi)有拿到IP。ipconfig /all一看如果是169.254開(kāi)頭的地址說(shuō)明DHCP沒(méi)拿到問(wèn)題在DHCP或者鏈路。如果拿到了地址但ping不通網(wǎng)關(guān)查VLAN和網(wǎng)關(guān)配置。如果ping得通網(wǎng)關(guān)但上不了外網(wǎng)查路由和NAT。DNS問(wèn)題是最容易被誤判的。用戶說(shuō)“網(wǎng)斷了”實(shí)際是網(wǎng)頁(yè)打不開(kāi)但QQ能發(fā)消息。這種情況基本是DNS解析失敗不是網(wǎng)絡(luò)不通。讓用戶直接ping一個(gè)公網(wǎng)IP地址能通就說(shuō)明鏈路沒(méi)問(wèn)題問(wèn)題在DNS服務(wù)器或者終端DNS配置?？缇W(wǎng)段訪問(wèn)慢但同網(wǎng)段正常。這種要看路由路徑和ACL。有時(shí)候是流量繞了一大圈本來(lái)應(yīng)該在三層直連的結(jié)果走了一條低帶寬的鏈路。用tracert看一下路徑問(wèn)題一目了然。無(wú)線終端頻繁掉線尤其是在移動(dòng)過(guò)程中。除了前面說(shuō)的功率和漫游門(mén)限還要看是不是終端本身在2.4G和5G之間反復(fù)切換或者AP的接入數(shù)超了上限。這些在控制器的日志里都能看到。6.3 排查速查表現(xiàn)場(chǎng)排查的時(shí)候腦子容易亂我整理了一張順序表按這個(gè)走基本不會(huì)漏現(xiàn)象優(yōu)先檢查常用命令/手段端口燈不亮網(wǎng)線、光模塊、對(duì)端端口換線、換模塊、看端口狀態(tài)端口燈亮但不通VLAN劃分、端口shutdown查MAC表、查端口配置拿到169.254地址DHCP服務(wù)、鏈路可達(dá)性查DHCP池、查中繼配置能ping通IP不能開(kāi)網(wǎng)頁(yè)DNS配置nslookup、換DNS測(cè)試跨網(wǎng)段不通網(wǎng)關(guān)、路由、ACLtracert、查路由表、查ACL命中全網(wǎng)慢、丟包環(huán)路、廣播風(fēng)暴、帶寬打滿查MAC漂移、查端口流量無(wú)線信號(hào)強(qiáng)但慢同頻干擾、終端數(shù)過(guò)多改信道、降功率、看AP負(fù)載大包不通小包通MTU、分片大包ping測(cè)試、查接口MTU這張表不是萬(wàn)能的但它能保證你在慌亂的時(shí)候有個(gè)抓手不至于東一榔頭西一棒子。7. 幾條踩出來(lái)的經(jīng)驗(yàn)給準(zhǔn)備動(dòng)手的人設(shè)備裝完調(diào)試完我最想說(shuō)的是網(wǎng)絡(luò)工程里真正值錢(qián)的東西不是配置命令而是對(duì)“為什么會(huì)這樣”的理解。命令可以查手冊(cè)但為什么這個(gè)VLAN要單獨(dú)劃、為什么這條鏈路要做聚合、為什么這個(gè)口要設(shè)成邊緣端口這些判斷才決定了這張網(wǎng)半年后是不是還穩(wěn)。我踩過(guò)最貴的一個(gè)坑是在一個(gè)辦公項(xiàng)目里圖省事把管理VLAN和辦公VLAN放在同一個(gè)網(wǎng)段。當(dāng)時(shí)覺(jué)得省一個(gè)網(wǎng)段而已結(jié)果半年后一臺(tái)終端中了招瘋狂掃描內(nèi)網(wǎng)把交換機(jī)的管理地址也掃了個(gè)遍登錄日志爆滿差點(diǎn)鎖死。后來(lái)改規(guī)劃管理網(wǎng)段單獨(dú)拎出來(lái)加ACL才徹底安心。這件事讓我明白規(guī)劃階段省下的每一點(diǎn)事都會(huì)在后面某個(gè)時(shí)間點(diǎn)以更大的代價(jià)還回來(lái)。還有一個(gè)體會(huì)是關(guān)于文檔的。我以前也覺(jué)得文檔是給別人看的自己心里有數(shù)就行。直到有一次接手別人的項(xiàng)目機(jī)柜里線纜亂成一團(tuán)沒(méi)有任何標(biāo)簽配置里VLAN命名全是默認(rèn)的VLAN0010、VLAN0020我花了整整兩天才把網(wǎng)絡(luò)結(jié)構(gòu)摸清楚。從那以后我給自己定的規(guī)矩是標(biāo)簽和文檔是交付的一部分不是可選項(xiàng)。最后分享一個(gè)很實(shí)用的小習(xí)慣每次改動(dòng)配置之前先把當(dāng)前配置導(dǎo)出一份改完之后再導(dǎo)出一份兩份對(duì)比一下差異。這樣既能看到自己改了什么也能在出問(wèn)題時(shí)快速回滾。這個(gè)動(dòng)作只要一分鐘但能省掉很多個(gè)不眠之夜。網(wǎng)絡(luò)這行做久了會(huì)發(fā)現(xiàn)穩(wěn)不穩(wěn)不取決于你配置寫(xiě)得多漂亮而取決于你有沒(méi)有把那些不起眼的細(xì)節(jié)當(dāng)回事。 網(wǎng)絡(luò)設(shè)備安裝與調(diào)試指南：VLAN規(guī)劃、鏈路聚合與驗(yàn)收排查
1. 先想清楚一次靠譜的網(wǎng)絡(luò)設(shè)備上架到底包含哪些活“網(wǎng)絡(luò)設(shè)備安裝與調(diào)試”這八個(gè)字很多人第一反應(yīng)是插上電、連上網(wǎng)線、進(jìn)后臺(tái)點(diǎn)幾下就完事。我在實(shí)際項(xiàng)目里見(jiàn)過(guò)太多這樣的場(chǎng)景機(jī)柜門(mén)一關(guān)燈是綠的用戶也說(shuō)能上網(wǎng)結(jié)果三個(gè)月后業(yè)務(wù)一擴(kuò)加一臺(tái)服務(wù)器就開(kāi)始丟包一查發(fā)現(xiàn)當(dāng)初的地址池只規(guī)劃了半個(gè)C段VLAN全堆在一個(gè)廣播域里鏈路是一條單線跑滿。這類(lèi)問(wèn)題的根源幾乎都不在調(diào)試那一步而在于一開(kāi)工就沒(méi)有把“安裝與調(diào)試”當(dāng)成一個(gè)完整的工程來(lái)做。我理解的網(wǎng)絡(luò)設(shè)備安裝與調(diào)試是把一堆散裝硬件通過(guò)物理安裝、線纜敷設(shè)、地址與策略規(guī)劃、設(shè)備參數(shù)配置、分段驗(yàn)證這一整套動(dòng)作變成一張可管理、可擴(kuò)展、可排查的網(wǎng)絡(luò)。涉及的設(shè)備通常包括接入交換機(jī)、核心或匯聚交換機(jī)、路由器或防火墻、無(wú)線控制器與AP、光模塊與配套的機(jī)柜供電。它解決的核心問(wèn)題是讓數(shù)據(jù)在正確的路徑上、以穩(wěn)定的速率、按預(yù)期的權(quán)限流動(dòng)并且在出問(wèn)題時(shí)能被快速定位。這套活兒適合誰(shuí)看剛?cè)胄械木W(wǎng)絡(luò)運(yùn)維、做弱電集成的工程人員、中小企業(yè)的IT兼崗、以及準(zhǔn)備自己動(dòng)手搭一套辦公網(wǎng)的技術(shù)負(fù)責(zé)人都能從下面這些細(xì)節(jié)里挑到能直接用的東西。我特別反感一種做法把調(diào)試當(dāng)成“試出來(lái)”。改一個(gè)參數(shù)ping一下通了就收工不通再改回來(lái)。這種工作方式在設(shè)備少的時(shí)候看著效率高設(shè)備一多就會(huì)變成災(zāi)難因?yàn)槟愀静恢朗悄膫€(gè)變量起了作用。所以后面我寫(xiě)的所有內(nèi)容都建立在一個(gè)前提上——先有規(guī)劃再有配置最后有驗(yàn)證。這三步的順序顛倒返工成本至少翻三倍。2. 開(kāi)工前的功課現(xiàn)場(chǎng)勘察與規(guī)劃表2.1 機(jī)柜、供電與散熱的現(xiàn)場(chǎng)確認(rèn)清單設(shè)備還沒(méi)到貨我就得先去現(xiàn)場(chǎng)看一遍。這一步很多新人會(huì)跳過(guò)覺(jué)得“機(jī)柜不就在那兒?jiǎn)帷苯Y(jié)果設(shè)備上架當(dāng)天才發(fā)現(xiàn)機(jī)柜深度只有600mm而交換機(jī)的走線空間需要800mm或者機(jī)柜里只有一個(gè)8位PDUPoE交換機(jī)加AP的功耗直接頂?shù)缴舷蕖，F(xiàn)場(chǎng)勘察我一般按下面這幾項(xiàng)過(guò)一遍每項(xiàng)都寫(xiě)進(jìn)記錄里不到現(xiàn)場(chǎng)絕不憑想象畫(huà)圖?？辈祉?xiàng)具體確認(rèn)內(nèi)容不確認(rèn)的后果機(jī)柜尺寸深度、寬度、可用U位、前后開(kāi)門(mén)方向設(shè)備裝不進(jìn)或無(wú)法走線供電PDU位數(shù)、插座制式、是否雙路、UPS容量PoE滿載跳閘、斷電無(wú)保護(hù)散熱進(jìn)出風(fēng)方向、空調(diào)出風(fēng)位置、機(jī)柜風(fēng)扇夏季高溫導(dǎo)致設(shè)備降頻重啟接地機(jī)柜接地排、接地線徑雷擊與靜電風(fēng)險(xiǎn)故障率上升布線通道橋架走向、穿墻孔位、弱電井位置線纜長(zhǎng)度超標(biāo)、施工返工這里面最容易被忽視的是風(fēng)道方向。接入交換機(jī)一般是前后風(fēng)道或者側(cè)進(jìn)側(cè)出如果機(jī)柜里同時(shí)裝了服務(wù)器服務(wù)器的熱風(fēng)正好吹到交換機(jī)的進(jìn)風(fēng)口夏天機(jī)房溫度一上來(lái)交換機(jī)風(fēng)扇就會(huì)長(zhǎng)期高轉(zhuǎn)速壽命明顯縮短。我遇到過(guò)一次一整柜的接入交換機(jī)在七八月份頻繁掉線最后查出來(lái)不是設(shè)備問(wèn)題是機(jī)柜前后裝反了熱風(fēng)在柜內(nèi)循環(huán)。供電這塊我習(xí)慣留余量。PoE交換機(jī)的功率預(yù)算不是把所有AP的標(biāo)稱(chēng)功耗加起來(lái)就完事要乘以一個(gè)冗余系數(shù)。經(jīng)驗(yàn)算法是PoE總預(yù)算 ≥單臺(tái)AP峰值功耗 × AP數(shù)量 攝像頭數(shù)量 × 單臺(tái)峰值功耗× 1.3比如20臺(tái)AP單臺(tái)峰值12W8臺(tái)攝像頭單臺(tái)峰值8W那么總需求約為 (240 64) × 1.3 ≈ 395W。選一臺(tái)370W PoE預(yù)算的交換機(jī)就不夠了得上更大預(yù)算的型號(hào)或者把負(fù)載拆到兩臺(tái)設(shè)備上。這個(gè)計(jì)算在采購(gòu)階段就要做等設(shè)備上架了才發(fā)現(xiàn)功率不夠只能加一臺(tái)PoE注入器現(xiàn)場(chǎng)難看還多一個(gè)故障點(diǎn)。2.2 IP地址與VLAN規(guī)劃一張表定生死我見(jiàn)過(guò)的最省事也最坑人的規(guī)劃就是全網(wǎng)一個(gè)192.168.1.0/24。省事是因?yàn)椴挥孟肟尤耸且驗(yàn)橐坏┯性O(shè)備發(fā)廣播風(fēng)暴全公司一起斷。規(guī)劃這件事我建議在Excel里拉一張表把所有VLAN、網(wǎng)段、網(wǎng)關(guān)位置、DHCP由誰(shuí)發(fā)、用途寫(xiě)清楚這張表以后就是排查問(wèn)題的地圖。下面這種粒度是我認(rèn)為夠用的VLAN ID名稱(chēng)網(wǎng)段網(wǎng)關(guān)設(shè)備用途備注10MGMT10.10.10.0/24核心交換機(jī)設(shè)備帶外管理禁止業(yè)務(wù)終端接入20OFFICE10.10.20.0/23核心交換機(jī)辦公終端約500個(gè)地址30VOICE10.10.30.0/24核心交換機(jī)IP電話走語(yǔ)音優(yōu)先隊(duì)列40WIFI-GUEST10.10.40.0/24防火墻訪客無(wú)線隔離僅出外網(wǎng)50SERVER10.10.50.0/24核心交換機(jī)內(nèi)部服務(wù)器單獨(dú)ACL管控60CAMERA10.10.60.0/24核心交換機(jī)視頻監(jiān)控大流量單獨(dú)收斂99TRANSIT10.10.99.0/30—三層互聯(lián)點(diǎn)對(duì)點(diǎn)掩碼30規(guī)劃里有幾個(gè)原則我基本不會(huì)破管理網(wǎng)段必須獨(dú)立。管理VLAN和業(yè)務(wù)VLAN混在一起等于把設(shè)備的console口掛在公網(wǎng)上一個(gè)終端中毒就可能掃到交換機(jī)管理地址。網(wǎng)關(guān)統(tǒng)一下沉到核心或匯聚。接入交換機(jī)只做二層網(wǎng)關(guān)不分散。這樣跨VLAN流量路徑清晰ACL也只需要在少數(shù)幾臺(tái)設(shè)備上維護(hù)。預(yù)留擴(kuò)容空間。辦公網(wǎng)段用/23而不是/24就是因?yàn)榻K端增長(zhǎng)永遠(yuǎn)比你預(yù)估的快。等到地址耗盡再去改掩碼涉及改網(wǎng)關(guān)、改DHCP、改靜態(tài)配置是典型的半夜加班活。點(diǎn)對(duì)點(diǎn)互聯(lián)用/30。兩個(gè)設(shè)備之間只需要兩個(gè)可用地址用/24是浪費(fèi)也是隱患容易被誤配。這張表做完設(shè)備怎么配基本就定了。我一直覺(jué)得規(guī)劃階段多花兩小時(shí)調(diào)試階段能省兩天。3. 硬件安裝看起來(lái)最沒(méi)技術(shù)含量翻車(chē)最多3.1 上架、理線與標(biāo)簽的三條硬規(guī)矩硬件安裝這塊技術(shù)門(mén)檻確實(shí)不高但它是整個(gè)網(wǎng)絡(luò)穩(wěn)定性的地基。我總結(jié)下來(lái)有三條規(guī)矩違反了遲早出問(wèn)題。第一條設(shè)備上架必須留出散熱和維護(hù)空間。交換機(jī)之間不要緊貼著堆尤其是高密度接入交換機(jī)U位之間留半U(xiǎn)到1U的空隙熱量才有地方散。上架螺絲四顆都要擰我見(jiàn)過(guò)只擰前面兩顆的設(shè)備后部下沉光模塊插拔的時(shí)候整臺(tái)機(jī)器都在晃時(shí)間長(zhǎng)了端口虛焊。第二條光纖的彎曲半徑不能小于30mm。這條是硬指標(biāo)不是建議。光纖盤(pán)纖的時(shí)候要順著自然弧度走不能硬折成直角也不能用扎帶勒死。我見(jiàn)過(guò)一個(gè)機(jī)柜光纖被理線帶捆成一束垂下來(lái)看著特別整齊結(jié)果三個(gè)月后一條萬(wàn)兆鏈路開(kāi)始丟包光功率測(cè)試發(fā)現(xiàn)收光值比出廠時(shí)低了2dB拆開(kāi)一看光纖在綁扎處被壓出了一個(gè)肉眼幾乎看不見(jiàn)的彎。光纖這東西寧可看著亂一點(diǎn)也不能過(guò)度受力。第三條兩端都要有標(biāo)簽而且標(biāo)簽要能看懂。常見(jiàn)的錯(cuò)誤是只在一端貼標(biāo)簽或者標(biāo)簽寫(xiě)“交換機(jī)1口”這種沒(méi)有意義的信息。我的習(xí)慣是標(biāo)簽格式統(tǒng)一成“對(duì)端設(shè)備-對(duì)端端口-本端端口”比如CORE01-Gi0/1-ACC05-Gi0/24。這樣在配線架旁邊一看就知道這根線通向哪里排查的時(shí)候不用順著線爬。提示網(wǎng)線長(zhǎng)度同樣有硬限制銅纜信道總長(zhǎng)度不超過(guò)100米其中水平布線不超過(guò)90米兩端跳線各留5米。超過(guò)這個(gè)距離千兆可能勉強(qiáng)能通但誤碼率會(huì)上升表現(xiàn)為“能用但偶爾卡”。這種情況用測(cè)線儀測(cè)通斷是測(cè)不出來(lái)的必須用認(rèn)證測(cè)試儀測(cè)衰減和串?dāng)_。3.2 光模塊與網(wǎng)線的實(shí)操細(xì)節(jié)光模塊這塊坑主要集中在匹配和清潔上。單模模塊配單模跳線多模配多模這個(gè)基本常識(shí)大家都有。但實(shí)際現(xiàn)場(chǎng)經(jīng)常出現(xiàn)的問(wèn)題是收發(fā)方向搞反。一對(duì)光模塊一端的TX要接對(duì)端的RX交叉連接。很多跳線是雙芯的出廠時(shí)已經(jīng)做好交叉但如果是自己壓的或者用單芯跳線就要格外注意。判斷方法很簡(jiǎn)單插上之后端口燈不亮把兩根纖對(duì)調(diào)一下試試大概率就通了。清潔這件事必須單獨(dú)說(shuō)。光模塊端面和光纖接頭被手指碰一下或者放在口袋里帶上來(lái)端面就有一層油污肉眼看不見(jiàn)但收光功率會(huì)直接掉幾個(gè)dB。我的做法是隨身帶一盒無(wú)塵棉簽和專(zhuān)用清潔筆每根光纖插之前都擦一遍插上之后用光功率計(jì)讀一下收光值和模塊的接收靈敏度范圍對(duì)一下。比如一個(gè)典型的長(zhǎng)距單模模塊接收范圍可能是-3dBm到-20dBm實(shí)測(cè)如果是-2dBm說(shuō)明太強(qiáng)可能要加衰減器如果是-22dBm就已經(jīng)在臨界值附近鏈路不可靠。網(wǎng)線這邊除了長(zhǎng)度還有一個(gè)高頻錯(cuò)誤是線序。現(xiàn)在基本都是直通線兩端都按T568B打這個(gè)沒(méi)錯(cuò)。但做水晶頭的時(shí)候壓線鉗沒(méi)壓到底或者線芯沒(méi)頂?shù)剿ь^前端就會(huì)形成接觸不良。表現(xiàn)是鏈路時(shí)通時(shí)斷或者速率協(xié)商不到千兆。我現(xiàn)場(chǎng)驗(yàn)收會(huì)看交換機(jī)的端口錯(cuò)包統(tǒng)計(jì)如果某個(gè)口的CRC錯(cuò)誤計(jì)數(shù)在持續(xù)增長(zhǎng)第一個(gè)懷疑對(duì)象就是這根網(wǎng)線和水晶頭。4. 設(shè)備調(diào)試從帶外登錄到業(yè)務(wù)打通4.1 初始配置與帶外管理的正確打開(kāi)方式新設(shè)備開(kāi)箱第一件事不是插網(wǎng)線是接Console線。這個(gè)順序很重要因?yàn)樾略O(shè)備的管理地址是未知的有的出廠還開(kāi)著DHCP客戶端接上網(wǎng)絡(luò)可能會(huì)拿到一個(gè)莫名其妙的地址或者更糟和現(xiàn)網(wǎng)設(shè)備地址沖突。用Console線本地登錄波特率一般是96008位數(shù)據(jù)位無(wú)校驗(yàn)1位停止位這個(gè)參數(shù)記不住就查手冊(cè)別亂試。登錄進(jìn)去之后我一般按這個(gè)順序走一遍修改默認(rèn)管理員賬號(hào)和密碼密碼長(zhǎng)度和復(fù)雜度按規(guī)范來(lái)不要用設(shè)備型號(hào)當(dāng)密碼。配置設(shè)備名稱(chēng)、時(shí)區(qū)、NTP。NTP這件事一定要做日志時(shí)間戳不準(zhǔn)出故障的時(shí)候你連“先發(fā)生什么后發(fā)生什么”都判斷不了。配置管理VLAN和帶外管理地址。管理地址只允許管理網(wǎng)段訪問(wèn)這一點(diǎn)通過(guò)ACL或者管理接口的訪問(wèn)控制實(shí)現(xiàn)。關(guān)閉不用的端口或者劃到一個(gè)隔離VLAN里。空端口開(kāi)著有人插一根線進(jìn)來(lái)就是一個(gè)未經(jīng)授權(quán)的接入點(diǎn)。保存配置。這一步看著廢話但我真的見(jiàn)過(guò)調(diào)試完忘了保存一斷電全部回到出廠設(shè)置的。帶外管理的意思是即使業(yè)務(wù)網(wǎng)絡(luò)全掛了你還能從一條獨(dú)立通道登進(jìn)設(shè)備。對(duì)于核心設(shè)備我一般會(huì)額外配一個(gè)管理口接獨(dú)立的交換機(jī)或者至少保證管理VLAN的網(wǎng)關(guān)不依賴(lài)于這臺(tái)設(shè)備本身。有一次核心交換機(jī)因?yàn)榕渲缅e(cuò)誤導(dǎo)致CPU打滿SSH完全登不進(jìn)去最后是靠Console線現(xiàn)場(chǎng)救回來(lái)的那次之后我所有的核心設(shè)備都留了帶外通道。下面是一段典型的基礎(chǔ)配置片段命令風(fēng)格按通用CLI寫(xiě)具體語(yǔ)法各家有差異但邏輯是一致的# 基礎(chǔ)信息 hostname ACC05 clock timezone CST 8 ntp-service unicast-server 10.10.10.5 # 管理VLAN與地址 vlan 10 description MGMT interface Vlanif10 ip address 10.10.10.25 255.255.255.0 # 管理訪問(wèn)控制只允許管理網(wǎng)段 acl number 2000 rule 5 permit source 10.10.10.0 0.0.0.255 rule 10 deny user-interface vty 0 4 acl 2000 inbound authentication-mode aaa # 未使用端口隔離 interface GigabitEthernet0/0/1 shutdown4.2 VLAN、Trunk與鏈路聚合的配置要點(diǎn)VLAN劃分本身不難難的是Trunk鏈路的細(xì)節(jié)。接入交換機(jī)上聯(lián)到匯聚這條鏈路是Trunk要放行哪些VLAN、PVID設(shè)成什么這幾個(gè)參數(shù)必須和規(guī)劃表嚴(yán)格對(duì)應(yīng)。我先說(shuō)允許列表。Trunk口默認(rèn)可能放行所有VLAN這在實(shí)驗(yàn)室里方便在生產(chǎn)環(huán)境里是隱患。正確做法是只放行這臺(tái)接入交換機(jī)實(shí)際需要的VLAN。比如一臺(tái)接入交換機(jī)只接辦公終端和IP電話那就只放行VLAN 20和30其他一律剪掉。這樣做的好處是即使別的VLAN出了問(wèn)題廣播也不會(huì)順著Trunk擴(kuò)散過(guò)來(lái)。再說(shuō)PVID。PVID決定了不帶標(biāo)簽的幀進(jìn)入Trunk口時(shí)歸到哪個(gè)VLAN。很多設(shè)備默認(rèn)PVID是VLAN 1而VLAN 1通常又被當(dāng)作管理VLAN這就埋了一個(gè)雷如果某臺(tái)設(shè)備誤發(fā)了不帶標(biāo)簽的幀它會(huì)直接進(jìn)入管理VLAN。我的做法是把Trunk口的PVID改成一個(gè)不用的VLAN或者顯式地把native VLAN隔離掉。鏈路聚合是提升帶寬和冗余的常用手段兩條千兆捆成一條邏輯鏈路既擴(kuò)容又防單點(diǎn)故障。配置上有兩種模式靜態(tài)聚合和動(dòng)態(tài)聚合LACP。我的選擇是聚合模式適用場(chǎng)景優(yōu)點(diǎn)風(fēng)險(xiǎn)靜態(tài)聚合對(duì)端是服務(wù)器或舊設(shè)備不支持LACP配置簡(jiǎn)單兼容性好一端配置錯(cuò)誤時(shí)容易形成環(huán)路動(dòng)態(tài)LACP交換機(jī)之間互聯(lián)能協(xié)商檢測(cè)一端故障自動(dòng)剔除配置稍復(fù)雜需兩端都開(kāi)啟交換機(jī)之間互聯(lián)我基本都用LACP。配置時(shí)要注意聚合組內(nèi)所有成員口的速率、雙工、VLAN配置必須完全一致否則成員口可能無(wú)法加入聚合組。還有一個(gè)細(xì)節(jié)是負(fù)載均衡算法默認(rèn)的哈希方式可能是基于源MAC這樣單個(gè)大流量會(huì)話還是會(huì)跑在一條成員鏈路上。如果下游有存儲(chǔ)或者視頻流這類(lèi)大流量單會(huì)話業(yè)務(wù)要把哈希算法改成基于源目IP或者源目IP加端口的組合才能真正把流量分散開(kāi)。# 動(dòng)態(tài)鏈路聚合示例 interface Eth-Trunk1 mode lacp-static port link-type trunk port trunk allow-pass vlan 20 30 load-balance src-dst-ip interface GigabitEthernet0/0/23 eth-trunk 1 interface GigabitEthernet0/0/24 eth-trunk 14.3 路由、DHCP與安全策略的落地三層打通是調(diào)試階段最核心的環(huán)節(jié)。核心交換機(jī)上有各個(gè)VLAN的網(wǎng)關(guān)VLAN之間默認(rèn)是通的但實(shí)際業(yè)務(wù)往往需要管控。比如訪客VLAN不能訪問(wèn)服務(wù)器VLAN監(jiān)控VLAN只需要被指定的終端訪問(wèn)。這些通過(guò)ACL在網(wǎng)關(guān)接口上做方向性過(guò)濾。ACL這東西寫(xiě)錯(cuò)了比不寫(xiě)更危險(xiǎn)。我見(jiàn)過(guò)一條規(guī)則寫(xiě)成permit ip any any本意是先放行再收緊結(jié)果順序沒(méi)排好把所有限制都架空了。寫(xiě)ACL的原則是先具體后寬泛最后一條必須deny而且寫(xiě)完要在設(shè)備上看一下命中計(jì)數(shù)確認(rèn)規(guī)則真的在生效而不是只存在于配置里。DHCP的配置同樣有講究。地址池要和VLAN網(wǎng)段對(duì)應(yīng)網(wǎng)關(guān)和DNS要寫(xiě)對(duì)排除地址要把靜態(tài)配置的設(shè)備避開(kāi)。如果是無(wú)線AP通過(guò)DHCP獲取地址還要配置option 43告訴AP控制器的地址這一步漏了AP就會(huì)一直卡在“正在獲取IP”狀態(tài)。# DHCP地址池示例 ip pool OFFICE network 10.10.20.0 mask 255.255.254.0 gateway-list 10.10.20.1 dns-list 10.10.10.5 10.10.10.6 excluded-ip-address 10.10.20.1 10.10.20.10 lease day 7 # 訪客VLAN隔離示例 acl number 3000 rule 5 deny ip source 10.10.40.0 0.0.0.255 destination 10.10.50.0 0.0.0.255 rule 10 deny ip source 10.10.40.0 0.0.0.255 destination 10.10.20.0 0.0.1.255 rule 15 permit ip source 10.10.40.0 0.0.0.255 rule 20 deny ip interface Vlanif40 traffic-filter inbound acl 3000配置完這些不要急著宣布完工。我一般會(huì)先在一個(gè)VLAN里找兩臺(tái)終端互ping再?gòu)脑L客VLAN去ping服務(wù)器VLAN確認(rèn)該通的通、該斷的斷。這種“正反都測(cè)”的習(xí)慣能提前發(fā)現(xiàn)大部分ACL方向?qū)懛吹膯?wèn)題。4.4 無(wú)線部分的調(diào)試別當(dāng)成附屬品無(wú)線現(xiàn)在幾乎是辦公網(wǎng)的標(biāo)配但很多項(xiàng)目把它當(dāng)附屬品最后配完有線就完事無(wú)線體驗(yàn)一塌糊涂。無(wú)線調(diào)試的核心其實(shí)是兩件事信道規(guī)劃和功率控制。2.4G頻段只有1、6、11三個(gè)互不重疊的信道AP一密集就容易同頻干擾。我的做法是先把2.4G的AP數(shù)量控制住能上5G的終端盡量引導(dǎo)到5G。5G頻段信道多但要避開(kāi)雷達(dá)信道DFS尤其是在某些區(qū)域AP檢測(cè)到雷達(dá)信號(hào)會(huì)自動(dòng)切信道造成短暫斷連。室內(nèi)辦公場(chǎng)景我一般優(yōu)先選非DFS信道。功率方面很多人把AP功率開(kāi)到最大覺(jué)得信號(hào)強(qiáng)就是好。實(shí)際上功率越大覆蓋重疊越多終端在AP之間“粘”著不漫游走到另一個(gè)區(qū)域信號(hào)已經(jīng)很弱了還不斷開(kāi)體驗(yàn)反而差。正確做法是把功率調(diào)到一個(gè)適中值讓相鄰AP的覆蓋有適度重疊同時(shí)開(kāi)啟漫游相關(guān)的門(mén)限參數(shù)讓終端在信號(hào)變?nèi)鯐r(shí)主動(dòng)切換。AP上線之后我會(huì)拿手機(jī)走一圈重點(diǎn)測(cè)三個(gè)位置AP正下方、兩個(gè)AP交界處、最遠(yuǎn)的角落。交界處的漫游切換如果用著用著斷一下多半是功率或者漫游門(mén)限沒(méi)調(diào)好這個(gè)只能靠現(xiàn)場(chǎng)實(shí)測(cè)看圖紙是看不出來(lái)的。5. 驗(yàn)收與交付怎么證明這套網(wǎng)真的穩(wěn)5.1 分段驗(yàn)證法從物理層一路打到應(yīng)用層設(shè)備調(diào)完我從不直接說(shuō)“好了”。網(wǎng)絡(luò)這東西配置不報(bào)錯(cuò)不代表業(yè)務(wù)正常必須一層一層驗(yàn)證上去。我習(xí)慣按下面的順序走哪一層出問(wèn)題就停在哪一層排查不跳步。驗(yàn)證層級(jí)驗(yàn)證方法判斷標(biāo)準(zhǔn)物理層查看端口狀態(tài)、光功率、錯(cuò)包計(jì)數(shù)端口UP收光在范圍內(nèi)錯(cuò)包不增長(zhǎng)鏈路層查看MAC地址表、VLAN信息MAC學(xué)習(xí)正常VLAN劃分正確網(wǎng)絡(luò)層ping網(wǎng)關(guān)、ping跨網(wǎng)段地址通且延遲穩(wěn)定不丟包傳輸層大包不分片ping、帶寬打流測(cè)試1472字節(jié)以上不丟包帶寬接近線速應(yīng)用層實(shí)際業(yè)務(wù)訪問(wèn)、無(wú)線漫游測(cè)試業(yè)務(wù)可用漫游無(wú)感知斷連這里面我最看重的是大包測(cè)試。普通的ping默認(rèn)32字節(jié)只能證明鏈路通證明不了鏈路好。用ping -l 1472 -f這種不分片的大包去打能暴露MTU不匹配、鏈路質(zhì)量差的問(wèn)題。如果小包通大包不通八成是MTU或者分片配置的問(wèn)題如果大包丟包率高那就要回去看物理層和錯(cuò)包統(tǒng)計(jì)了。帶寬測(cè)試我會(huì)用打流工具在兩臺(tái)終端之間跑一下看看實(shí)際吞吐能不能接近鏈路標(biāo)稱(chēng)值。千兆鏈路實(shí)測(cè)跑到900Mbps以上算正常如果只有三四百兆可能是有其他流量干擾也可能是雙工協(xié)商有問(wèn)題或者鏈路聚合沒(méi)生效。5.2 配置備份與文檔交付這一步很多工程人員會(huì)省但它決定了這套網(wǎng)以后好不好維護(hù)。我的交付清單里固定包含三樣?xùn)|西配置文件、拓?fù)鋱D、地址與端口對(duì)照表。配置文件每臺(tái)設(shè)備導(dǎo)出一份文件名帶日期比如ACC05_20240612.cfg。不要只存在設(shè)備里設(shè)備壞了配置就沒(méi)了。我會(huì)在本地留一份再放一份到內(nèi)部的文檔系統(tǒng)里。配置變更之后及時(shí)更新備份這一點(diǎn)在多人維護(hù)的環(huán)境里尤其重要否則回滾的時(shí)候你會(huì)發(fā)現(xiàn)備份是三個(gè)月前的。拓?fù)鋱D不用畫(huà)得多精美但必須準(zhǔn)確標(biāo)清楚設(shè)備之間的連接關(guān)系、鏈路聚合、VLAN網(wǎng)關(guān)位置。地址與端口對(duì)照表就是前面那張規(guī)劃表的最終版調(diào)試過(guò)程中如果有調(diào)整一定要同步更新別讓文檔和現(xiàn)實(shí)兩張皮。注意交付文檔里不要寫(xiě)明文密碼。密碼可以單獨(dú)走密碼管理流程文檔里只寫(xiě)賬號(hào)和用途。這一點(diǎn)在小團(tuán)隊(duì)里經(jīng)常被忽略一個(gè)Excel表格傳來(lái)傳去最后誰(shuí)都知道核心設(shè)備的密碼。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 物理層與鏈路層的高頻坑網(wǎng)絡(luò)故障里我統(tǒng)計(jì)下來(lái)至少一半出在物理層和鏈路層而且這類(lèi)問(wèn)題最容易被誤判成“設(shè)備壞了”。下面這幾個(gè)是我遇到頻率最高的。端口頻繁up/down。先看是不是網(wǎng)線或水晶頭問(wèn)題換一根已知好的線試試再看是不是雙工協(xié)商不一致一端強(qiáng)制全雙工一端自協(xié)商就會(huì)出現(xiàn)這種抖動(dòng)。我的習(xí)慣是兩端都設(shè)成自協(xié)商除非有特殊需求不手工強(qiáng)制速率。某個(gè)VLAN內(nèi)終端互相不通但都能上網(wǎng)關(guān)。這種情況八成是接入交換機(jī)的端口VLAN劃分不一致或者Trunk沒(méi)放行這個(gè)VLAN。查一下MAC地址表看終端的MAC有沒(méi)有學(xué)到正確的端口和VLAN里。全網(wǎng)變慢CPU占用高。第一反應(yīng)是環(huán)路。檢查有沒(méi)有人私接了兩根線到同一個(gè)交換機(jī)或者把兩個(gè)墻面口用一根網(wǎng)線連起來(lái)了。環(huán)路的表現(xiàn)是MAC地址表頻繁漂移、廣播包暴漲、設(shè)備CPU飆升。應(yīng)急處理是把懷疑的端口先shutdown再逐步恢復(fù)定位。預(yù)防手段是在接入端口上開(kāi)啟環(huán)路檢測(cè)和BPDU保護(hù)邊緣端口收到BPDU就自動(dòng)關(guān)閉。光鏈路時(shí)通時(shí)斷。先測(cè)收光功率再看光模塊的型號(hào)和距離是否匹配。多模光纖跑長(zhǎng)距離、或者用錯(cuò)波長(zhǎng)都會(huì)導(dǎo)致鏈路不穩(wěn)定。還有一種是光纖接頭臟了這個(gè)前面說(shuō)過(guò)清潔之后往往立竿見(jiàn)影。6.2 網(wǎng)絡(luò)層與業(yè)務(wù)層的排查套路到了網(wǎng)絡(luò)層排查就要講方法了。我的習(xí)慣是從近到遠(yuǎn)、從自身到對(duì)端一層層縮小范圍。終端上不了網(wǎng)先看它有沒(méi)有拿到IP。ipconfig /all一看如果是169.254開(kāi)頭的地址說(shuō)明DHCP沒(méi)拿到問(wèn)題在DHCP或者鏈路。如果拿到了地址但ping不通網(wǎng)關(guān)查VLAN和網(wǎng)關(guān)配置。如果ping得通網(wǎng)關(guān)但上不了外網(wǎng)查路由和NAT。DNS問(wèn)題是最容易被誤判的。用戶說(shuō)“網(wǎng)斷了”實(shí)際是網(wǎng)頁(yè)打不開(kāi)但QQ能發(fā)消息。這種情況基本是DNS解析失敗不是網(wǎng)絡(luò)不通。讓用戶直接ping一個(gè)公網(wǎng)IP地址能通就說(shuō)明鏈路沒(méi)問(wèn)題問(wèn)題在DNS服務(wù)器或者終端DNS配置?？缇W(wǎng)段訪問(wèn)慢但同網(wǎng)段正常。這種要看路由路徑和ACL。有時(shí)候是流量繞了一大圈本來(lái)應(yīng)該在三層直連的結(jié)果走了一條低帶寬的鏈路。用tracert看一下路徑問(wèn)題一目了然。無(wú)線終端頻繁掉線尤其是在移動(dòng)過(guò)程中。除了前面說(shuō)的功率和漫游門(mén)限還要看是不是終端本身在2.4G和5G之間反復(fù)切換或者AP的接入數(shù)超了上限。這些在控制器的日志里都能看到。6.3 排查速查表現(xiàn)場(chǎng)排查的時(shí)候腦子容易亂我整理了一張順序表按這個(gè)走基本不會(huì)漏現(xiàn)象優(yōu)先檢查常用命令/手段端口燈不亮網(wǎng)線、光模塊、對(duì)端端口換線、換模塊、看端口狀態(tài)端口燈亮但不通VLAN劃分、端口shutdown查MAC表、查端口配置拿到169.254地址DHCP服務(wù)、鏈路可達(dá)性查DHCP池、查中繼配置能ping通IP不能開(kāi)網(wǎng)頁(yè)DNS配置nslookup、換DNS測(cè)試跨網(wǎng)段不通網(wǎng)關(guān)、路由、ACLtracert、查路由表、查ACL命中全網(wǎng)慢、丟包環(huán)路、廣播風(fēng)暴、帶寬打滿查MAC漂移、查端口流量無(wú)線信號(hào)強(qiáng)但慢同頻干擾、終端數(shù)過(guò)多改信道、降功率、看AP負(fù)載大包不通小包通MTU、分片大包ping測(cè)試、查接口MTU這張表不是萬(wàn)能的但它能保證你在慌亂的時(shí)候有個(gè)抓手不至于東一榔頭西一棒子。7. 幾條踩出來(lái)的經(jīng)驗(yàn)給準(zhǔn)備動(dòng)手的人設(shè)備裝完調(diào)試完我最想說(shuō)的是網(wǎng)絡(luò)工程里真正值錢(qián)的東西不是配置命令而是對(duì)“為什么會(huì)這樣”的理解。命令可以查手冊(cè)但為什么這個(gè)VLAN要單獨(dú)劃、為什么這條鏈路要做聚合、為什么這個(gè)口要設(shè)成邊緣端口這些判斷才決定了這張網(wǎng)半年后是不是還穩(wěn)。我踩過(guò)最貴的一個(gè)坑是在一個(gè)辦公項(xiàng)目里圖省事把管理VLAN和辦公VLAN放在同一個(gè)網(wǎng)段。當(dāng)時(shí)覺(jué)得省一個(gè)網(wǎng)段而已結(jié)果半年后一臺(tái)終端中了招瘋狂掃描內(nèi)網(wǎng)把交換機(jī)的管理地址也掃了個(gè)遍登錄日志爆滿差點(diǎn)鎖死。后來(lái)改規(guī)劃管理網(wǎng)段單獨(dú)拎出來(lái)加ACL才徹底安心。這件事讓我明白規(guī)劃階段省下的每一點(diǎn)事都會(huì)在后面某個(gè)時(shí)間點(diǎn)以更大的代價(jià)還回來(lái)。還有一個(gè)體會(huì)是關(guān)于文檔的。我以前也覺(jué)得文檔是給別人看的自己心里有數(shù)就行。直到有一次接手別人的項(xiàng)目機(jī)柜里線纜亂成一團(tuán)沒(méi)有任何標(biāo)簽配置里VLAN命名全是默認(rèn)的VLAN0010、VLAN0020我花了整整兩天才把網(wǎng)絡(luò)結(jié)構(gòu)摸清楚。從那以后我給自己定的規(guī)矩是標(biāo)簽和文檔是交付的一部分不是可選項(xiàng)。最后分享一個(gè)很實(shí)用的小習(xí)慣每次改動(dòng)配置之前先把當(dāng)前配置導(dǎo)出一份改完之后再導(dǎo)出一份兩份對(duì)比一下差異。這樣既能看到自己改了什么也能在出問(wèn)題時(shí)快速回滾。這個(gè)動(dòng)作只要一分鐘但能省掉很多個(gè)不眠之夜。網(wǎng)絡(luò)這行做久了會(huì)發(fā)現(xiàn)穩(wěn)不穩(wěn)不取決于你配置寫(xiě)得多漂亮而取決于你有沒(méi)有把那些不起眼的細(xì)節(jié)當(dāng)回事。