簡介《FusionCompute實驗手冊1》是華為HCIP-Cloud Computing V4.0認(rèn)證培訓(xùn)中FusionCompute部分的實驗指導(dǎo)材料面向備考該認(rèn)證的學(xué)員以及希望系統(tǒng)掌握華為服務(wù)器虛擬化平臺日常運營與運維的技術(shù)人員。內(nèi)容按7個實驗、四大模塊組織從KVM嵌套環(huán)境下安裝CNA到部署VRM理解FusionCompute基礎(chǔ)架構(gòu)再練習(xí)計算、存儲、網(wǎng)絡(luò)三類虛擬資源管理體會計算虛擬化、存儲虛擬化與網(wǎng)絡(luò)虛擬化的資源調(diào)度優(yōu)勢隨后進(jìn)入虛擬機發(fā)放與管理涵蓋虛擬機創(chuàng)建、Tools安裝、模板封裝、快照、規(guī)格調(diào)整、HA、熱遷移、安全組和規(guī)則組等操作最后通過用戶管理、管理數(shù)據(jù)備份與時間管理熟悉日常運維。資源包共1個docx文件約10.53MB內(nèi)容集中、便于按實驗查閱。已有227人學(xué)習(xí)適合用作搭建實驗環(huán)境、復(fù)盤操作流程和查漏補缺的參考。1. 從 KVM 嵌套起步FusionCompute 6.5.0 裝之前先想清楚三件事在 KVM 里嵌套裝一套 FusionCompute 6.5.0最先勸退人的往往不是安裝向?qū)в卸嚅L而是 CNA 引導(dǎo)到分區(qū)那一步就黑屏重啟。CPU 沒做透傳前面鏡像下載、網(wǎng)段規(guī)劃、虛擬機創(chuàng)建全部變成白工。這套環(huán)境在虛擬化與桌面云方向的認(rèn)證實驗里出現(xiàn)頻率極高V4.0 的實驗手冊把 7 個實驗壓在四大部分里從 CNA、VRM 安裝一路排到虛擬機發(fā)放、存儲網(wǎng)絡(luò)接入和日常運維幾乎每個動手環(huán)節(jié)都要求一個能正常登錄的管理面。裝不好會怎樣CNA 起來了 VRM 部署卡在進(jìn)度條或者存儲接口沒綁對掃描設(shè)備永遠(yuǎn)掃不出盤。這篇按我自己的落地順序?qū)戇m合第一次搭 FusionCompute 實驗環(huán)境、手上只有兩臺機器甚至只有一臺物理機做嵌套的人。2. 實驗環(huán)境先落地嵌套虛擬化、網(wǎng)段規(guī)劃與安裝介質(zhì)動手之前需要先把“能不能裝”和“裝完能不能通”這件事想清楚。這套實驗的設(shè)計前提是兩臺硬件服務(wù)器跑 CNAVRM 獨立部署管理和存儲分兩個網(wǎng)段如果是在一臺物理機上做嵌套這兩臺“服務(wù)器”就是你創(chuàng)建出來的兩臺虛擬機物理機只是宿主機。我見過最常見的返工是虛擬機建好、ISO 掛上、裝到一半發(fā)現(xiàn) CPU 不帶 VMX或者管理網(wǎng)和存儲網(wǎng)全塞進(jìn)一個網(wǎng)段最后 VRM 能登錄但主機加不上。下面三塊內(nèi)容建議在創(chuàng)建第一臺虛擬機之前全部確認(rèn)完。2.1 嵌套環(huán)境里 CPU 透傳不開CNA 裝到一半就會黑屏FusionCompute 的 CNA 本身就是一層虛擬化系統(tǒng)它對 VT-x 或 AMD-V 有硬性依賴。在物理機的 KVM 上再跑一層 CNA屬于二級嵌套宿主機的 KVM 模塊必須顯式打開嵌套支持否則客戶機里看不到硬件虛擬化標(biāo)志。先查宿主機參數(shù)輸出為 N 就是沒開。# 查 Intel 平臺嵌套開關(guān)輸出 Y 表示已開啟 cat /sys/module/kvm_intel/parameters/nested # 現(xiàn)場臨時打開重啟后失效 sudo modprobe -r kvm_intel sudo modprobe kvm_intel nested1 cat /sys/module/kvm_intel/parameters/nested # 永久生效寫進(jìn)模塊配置 echo options kvm_intel nested1 | sudo tee /etc/modprobe.d/kvm.conf第一條命令是判斷依據(jù)Y表示宿主機允許把虛擬化能力繼續(xù)向下傳遞N時后面兩步才需要做。modprobe -r會卸載模塊執(zhí)行前要確認(rèn)宿主機上沒有正在運行的 KVM 虛擬機否則卸載會失敗。寫/etc/modprobe.d/kvm.conf是為了重啟后依然生效避免下次開機又回到 N。模塊開了還不夠虛擬機的 CPU 模式也得配合。默認(rèn)的host-model有時會把 vmx 特性過濾掉我一般直接改成host-passthrough再顯式要求 vmx。改 XML 比在圖形化工具里點選項可靠得多。!-- 虛擬機 XML 中的 CPU 配置片段 -- cpu modehost-passthrough checknone migratableoff !-- 強制把 vmx 特性透傳給客戶機CNA 才能起得來 -- feature policyrequire namevmx/ /cpumodehost-passthrough表示客戶機 CPU 直接對齊宿主機型號犧牲的是跨宿主機的遷移能力實驗環(huán)境完全不需要考慮這一點。feature policyrequire是硬性要求宿主機若不支持會直接報錯而不是靜默降級這正好幫你提前發(fā)現(xiàn)問題。migratableoff是為了讓透傳更徹底避免 libvirt 為了遷移兼容性裁剪指令集。磁盤和內(nèi)存按 CNA 的角色給別摳。我一般給每臺 CNA 8 vCPU、16 GB 內(nèi)存系統(tǒng)盤 120 GB再掛一塊 200 GB 的數(shù)據(jù)盤留給后面做存儲實驗。VRM 那臺給 4 vCPU、8 GB 就夠。磁盤用 qcow2 方便打快照做壞了直接回滾這就是實驗環(huán)境最便宜的后悔藥。# 預(yù)分配兩塊盤qcow2 格式便于快照回滾 qemu-img create -f qcow2 /var/lib/libvirt/images/cna01.qcow2 120G qemu-img create -f qcow2 /var/lib/libvirt/images/cna01-data.qcow2 200G-f qcow2指定格式不寫會按 raw 創(chuàng)建占滿實際空間且沒法做快照。文件路徑按你宿主機的存儲池來改兩塊盤分別對應(yīng)系統(tǒng)盤和數(shù)據(jù)盤命名上帶主機名后面掛錯盤的概率會低很多。2.2 管理與存儲分網(wǎng)段IP 一次規(guī)劃到底實驗拓?fù)淅锕芾砭W(wǎng)是 192.168.201.0/24存儲網(wǎng)是 192.168.202.0/24存儲走 VLAN 202。這個劃分不是形式主義管理網(wǎng)跑 CNA 與 VRM 之間的心跳、Web 登錄、虛擬機管理流量存儲網(wǎng)跑 iSCSI 數(shù)據(jù)混在一起最典型的后果是虛擬機一開機管理面就轉(zhuǎn)圈或者存儲掃描超時。地址規(guī)劃建議在表格里一次定死后面每個界面照著填別臨場發(fā)揮。網(wǎng)元管理 IP存儲 IP所屬 VLAN說明CNA01192.168.201.101192.168.202.101管理 201 / 存儲 202第一臺計算節(jié)點CNA02192.168.201.102192.168.202.102管理 201 / 存儲 202第二臺計算節(jié)點VRM192.168.201.100192.168.202.100管理 201 / 存儲 202管理面獨立部署網(wǎng)關(guān)192.168.201.1——管理網(wǎng)默認(rèn)網(wǎng)關(guān)存儲設(shè)備—192.168.202.10存儲 202IP-SAN 目標(biāo)端端口 3260規(guī)劃時有兩個細(xì)節(jié)容易被忽略。第一VRM 的地址要在安裝 CNA 之前就留出來因為 VRM 部署向?qū)Ю镆钐铄e只能在管理面里改中間還得重啟服務(wù)。第二存儲網(wǎng)的地址段不要和宿主機上已有的網(wǎng)橋沖突嵌套環(huán)境里宿主機往往已經(jīng)占了 192.168.122.0/24 這類默認(rèn)網(wǎng)段撞上之后現(xiàn)象是 CNA 能 ping 通自己但 ping 不通存儲排查起來非常玄學(xué)。2.3 安裝介質(zhì)與客戶端工具缺一樣都會卡在中途實驗手冊里列出的軟件清單不長但每一樣都有明確用途提前下齊比裝到一半再找要省事。文件 / 工具用途備注FusionCompute 6.5.0_Installer.zipCNA 安裝鏡像來源引導(dǎo)安裝 CNA 用FusionCompute 6.5.0_VRM.zipVRM 軟件包VRM 部署階段使用CentOS-7-x86_64-DVD-1810.iso實驗用 Linux 虛擬機鏡像后面發(fā)虛擬機、裝 Tools 用Windows 10 專業(yè)版鏡像實驗用 Windows 虛擬機鏡像模板制作場景PuttySSH 登錄 CNA 與 Linux 虛擬機命令行排查主力WinSCP文件上傳下載傳 ISO、導(dǎo)模板VNC Viewer連 KVM 虛擬機的控制臺圖形界面操作時用介質(zhì)版本建議和手冊保持一致6.5.0 這套組合里的 CNA、VRM、Tools 是配套的混用不同小版本的 VRM 包部署向?qū)Э赡苤苯泳芙^或者裝完管理面打不開。另外宿主機上要留足空間兩個 CNA 加一個 VRM系統(tǒng)盤加油漆盤算下來至少 700 GB 起步空間不夠會在安裝中途報寫入失敗而這個報錯通常只給一行很容易誤判成鏡像損壞。3. 安裝 CNA從 ISO 引導(dǎo)到兩臺節(jié)點 SSH 可達(dá)CNA 的安裝過程本身不難難的是幾個界面一旦選錯后面要么起不來要么加不進(jìn)集群。這一章按單臺節(jié)點的完整安裝走一遍再說明第二臺怎么裝才不撞車最后用 SSH 確認(rèn)底層真的通了再往下走。3.1 引導(dǎo)之后的幾個界面值得停下來多看兩眼把 Installer 里的 CNA 鏡像掛到虛擬機光驅(qū)設(shè)置從光驅(qū)引導(dǎo)進(jìn)入安裝向?qū)Ш蟠笾聲?jīng)歷語言與時區(qū)、磁盤選擇、網(wǎng)絡(luò)配置、密碼設(shè)置這幾步。每一步的具體選項在不同小版本里措辭略有差異但需要你決策的點是固定的。語言與鍵盤選英文或簡體中文都行鍵盤默認(rèn) US選錯后面輸密碼會出現(xiàn)字符對不上的情況。時區(qū)選 Asia/Shanghai時間不對會導(dǎo)致后面 VRM 與 CNA 心跳異常這類問題排查成本極高。安裝磁盤選那塊 120 GB 的系統(tǒng)盤別選到數(shù)據(jù)盤選錯只能重裝。管理網(wǎng)口選規(guī)劃中對應(yīng)管理網(wǎng)的那塊網(wǎng)卡通常就是第一塊。管理 IP、掩碼、網(wǎng)關(guān)按 2.2 的表格填CNA01 是 192.168.201.101網(wǎng)關(guān) 192.168.201.1。主機名CNA01兩臺節(jié)點必須不同。root 密碼記牢后面加主機、SSH 排查全靠它。有一點要提前說明安裝向?qū)Ю镏慌涔芾砭W(wǎng)存儲網(wǎng)是在 CNA 裝好、進(jìn)入管理面之后通過“存儲接口”配的別在安裝階段找存儲 IP 的輸入框找不到是正常的。我第一次裝的時候就因為在向?qū)Ю锓磸?fù)翻頁找存儲配置白白重裝了一遍。安裝完成后系統(tǒng)會自動重啟此時拔掉 ISO 或改回硬盤引導(dǎo)否則會又進(jìn)一遍安裝程序。重啟后如果看到登錄提示符說明 CNA 本體裝完了接下來驗證網(wǎng)絡(luò)。3.2 第二臺 CNA 怎么裝才不撞車第二臺的流程和第一臺完全一樣但有三處必須改否則加集群時會失敗或者出現(xiàn)更隱蔽的問題。第一處是主機名兩臺都叫 localhost 或 CNA01VRM 添加主機時會提示名稱沖突有些版本干脆加不上。第二處是管理 IP這個不用說。第三處是 iSCSI 啟動器名稱CNA 默認(rèn)生成的 IQN 里帶有節(jié)點標(biāo)識如果兩臺機器是從同一塊盤克隆出來的IQN 可能一模一樣現(xiàn)象是存儲側(cè)只能看到一個發(fā)起端另一臺永遠(yuǎn)掃不到盤。這個問題在后面第 5 章還會展開。如果為了省時間用克隆的方式做第二臺克隆完務(wù)必進(jìn)系統(tǒng)改主機名和 IP并重新生成機器標(biāo)識。我一般的做法是不克隆直接按向?qū)г傺b一遍多花二十分鐘省掉后面一堆“為什么只有一臺能連存儲”的排查。3.3 用 SSH 和 ping 先把底層確認(rèn)掉兩臺 CNA 裝完先別急著開瀏覽器。從一臺跳板機可以是宿主機也可以是實驗用的 Windows 虛擬機確認(rèn)管理面可達(dá)再 SSH 進(jìn)去看幾個關(guān)鍵信息。# 從跳板機確認(rèn)兩臺 CNA 管理面可達(dá) ping -c 4 192.168.201.101 ping -c 4 192.168.201.102 # SSH 登錄第一臺首次連接要確認(rèn)指紋 ssh root192.168.201.101 # 登錄后核對主機名和網(wǎng)卡地址 cat /etc/hostname ip addr show | grep -E inet |state UP # 看系統(tǒng)盤與數(shù)據(jù)盤是否都識別到了 lsblk df -hping -c 4只發(fā)四個包快速判斷鏈路和 ARP 是否正常通不了先查虛擬機的網(wǎng)卡是不是橋到了正確的網(wǎng)橋。ip addr show用來確認(rèn)管理 IP 真的落在預(yù)期網(wǎng)卡上嵌套環(huán)境里經(jīng)常出現(xiàn)網(wǎng)卡順序變化向?qū)Ю镞x了 eth0結(jié)果 IP 落到 eth1。lsblk是看數(shù)據(jù)盤有沒有被識別如果只看到系統(tǒng)盤說明虛擬機掛的第二塊盤沒生效需要回去檢查磁盤配置。這幾步都通了再打開瀏覽器訪問https://192.168.201.101:8443能看到 CNA 的登錄頁就說明安裝階段結(jié)束。瀏覽器提示證書不受信任是正常的實驗環(huán)境直接繼續(xù)訪問即可。4. 部署 VRM 并接入存儲與網(wǎng)絡(luò)讓資源池真正可用CNA 只是計算節(jié)點沒有 VRM 就沒有統(tǒng)一管理面也沒法建集群、加主機。這一章把 VRM 部署、集群納管、存儲接口和分布式交換機一次串完順序不要打亂先有管理面才能配后面的東西。4.1 VRM 部署向?qū)Ю锶齻€必須一次填對的項VRM 的部署入口在 CNA 的 Web 界面里用瀏覽器登錄https://192.168.201.101:8443找到 VRM 部署相關(guān)入口按向?qū)ё摺Ｕ麄€向?qū)Ю镎嬲枰Ｏ聛硐氲氖侨?。第一項?VRM 的管理 IP、掩碼和網(wǎng)關(guān)填 192.168.201.100 / 255.255.255.0 / 192.168.201.1。這個地址一旦填錯VRM 裝完你連不上管理面只能在 CNA 上重裝 VRM。第二項是 VRM 部署在哪臺 CNA 上選 CNA01。VRM 是以虛擬機的形式跑在 CNA 上的后面 CNA01 重啟會帶著 VRM 一起重啟實驗階段無所謂生產(chǎn)上不會這么干。第三項是 VRM 的系統(tǒng)盤大小和 root 密碼。系統(tǒng)盤給 120 GB 足夠密碼單獨記一份它和 CNA 的 root 密碼不是一回事我見過不止一個人拿 CNA 密碼去登 VRM登到懷疑人生。向?qū)芡陼崾静渴鸪晒Υ藭r用瀏覽器訪問https://192.168.201.100:8443能看到 FusionCompute 的登錄頁。首次登錄用默認(rèn)管理員賬號登錄后立刻改密碼這一步別省后面所有實驗都用這個賬號。4.2 建集群、加主機確認(rèn)狀態(tài)是“正?！钡卿浌芾砻嬷蟮牡谝患虏皇前l(fā)虛擬機而是把兩臺 CNA 納管進(jìn)來。流程是創(chuàng)建集群給集群起個名字比如 Cluster01然后在集群下添加主機填入 CNA01 的 192.168.201.101 和 root 密碼再加 CNA02。添加完成后不要只看“添加成功”的提示要回到主機列表看狀態(tài)列。狀態(tài)顯示“正?！辈潘阏嬲尤腼@示“離線”或者一直轉(zhuǎn)圈八成是管理網(wǎng)不通或者密碼錯。這一步如果卡住先回到 3.3 用 SSH 確認(rèn) CNA 本身沒問題再檢查 VRM 到 CNA 的 8443 端口是否可達(dá)。集群建好之后可以順手看一眼集群策略HA 和電源管理這些默認(rèn)開著就行。實驗里后面要做主機故障模擬和熱遷移HA 打開是前提現(xiàn)在不勾做到那一節(jié)還得回來補。4.3 iSCSI 啟動器號、端口綁定與 IP-SAN 添加存儲這塊是整套環(huán)境里最容易翻車的部分因為它同時依賴三樣?xùn)|西存儲網(wǎng)的連通性、iSCSI 啟動器的唯一性、存儲接口的綁定關(guān)系。順序上我一般這么走。先配存儲接口。在管理面找到對應(yīng) CNA 的存儲接口配置添加一個存儲接口IP 填 192.168.202.101對應(yīng) CNA01CNA02 填 192.168.202.102。這一步相當(dāng)于告訴 CNA“存儲流量從哪個口走”。再改 iSCSI 啟動器名稱。兩臺 CNA 必須不同命名上帶節(jié)點標(biāo)識最直觀。節(jié)點iSCSI 啟動器名稱示例存儲接口 IPCNA01iqn.2024-01.local.cna:cna01192.168.202.101CNA02iqn.2024-01.local.cna:cna02192.168.202.102名稱格式只要符合 IQN 規(guī)范、全局唯一即可重點是兩臺不能重復(fù)。改完之后在存儲設(shè)備側(cè)刷新發(fā)起端列表應(yīng)該能看到兩個不同的名稱。然后配端口綁定。如果 CNA 上的存儲網(wǎng)口做了綁定要在管理面里把存儲接口和綁定后的邏輯口對應(yīng)上綁錯的現(xiàn)象是接口顯示正常但流量走不出去。綁定關(guān)系確認(rèn)后從 CNA 上直接驗證存儲網(wǎng)連通性。# 登錄 CNA01驗證存儲平面到存儲設(shè)備的連通 ssh root192.168.201.101 ping -c 4 192.168.202.10 # 確認(rèn) iSCSI 服務(wù)在監(jiān)聽 3260 ss -lntp | grep 3260 # 查看當(dāng)前的 iSCSI 會話添加存儲后應(yīng)該能看到目標(biāo)端 iscsiadm -m sessionping這一步不通后面的掃描一定失敗先查存儲接口 IP 和 VLAN。ss -lntp | grep 3260是確認(rèn)本端 iSCSI 服務(wù)正常監(jiān)聽端口沒起來說明服務(wù)異常。iscsiadm -m session用來驗證會話是否建立添加存儲資源并掃描成功后這里會多出一條目標(biāo)端記錄這是最直接的證據(jù)。最后回到管理面添加存儲資源類型選 IP-SAN填存儲設(shè)備的 192.168.202.10 和端口 3260然后掃描存儲設(shè)備。掃描出來的 LUN 添加到數(shù)據(jù)存儲命名成 Datastore01 之類后面發(fā)虛擬機才有地方放磁盤。4.4 分布式交換機、上行鏈路與 VLAN 池網(wǎng)絡(luò)資源的配置順序是創(chuàng)建分布式交換機把主機加進(jìn)去添加上行鏈路劃 VLAN 池最后建端口組。這個順序顛倒會出各種奇怪的問題比如先建端口組再添上行鏈路端口組狀態(tài)一直不對。創(chuàng)建分布式交換機時給個名字比如 DVS01然后把 CNA01 和 CNA02 都添加進(jìn)來。上行鏈路選物理網(wǎng)口管理網(wǎng)和存儲網(wǎng)對應(yīng)的網(wǎng)口分別綁上去。VLAN 池按規(guī)劃加 201 和 202如果實驗里還要給虛擬機劃業(yè)務(wù) VLAN也在這里一起加。端口組按用途建管理口組、存儲口組、業(yè)務(wù)口組各一個VLAN ID 對應(yīng)填好。建完之后在虛擬機的網(wǎng)絡(luò)配置里就能選到這些端口組發(fā)虛擬機的時候選業(yè)務(wù)口組虛擬機之間才能按 VLAN 隔離。5. 裝這套環(huán)境最容易翻車的五個地方這一章是我自己踩過、也見過別人踩的五條記錄按“現(xiàn)象、原因、解決”寫。每條都對應(yīng)前面某個步驟做完前面再回頭看會更有感覺。5.1 CNA 裝完瀏覽器打不開 8443現(xiàn)象SSH 能登進(jìn)去ping也通但瀏覽器訪問https://192.168.201.101:8443一直轉(zhuǎn)圈或者直接連接被拒。原因多數(shù)是瀏覽器對自簽名證書的處理策略變了或者本機防火墻攔了出站少數(shù)情況是 CNA 的 Web 服務(wù)沒起來。解決先換一個瀏覽器或者用隱私窗口試排除緩存和證書策略再從跳板機用curl -k https://192.168.201.101:8443看是否有響應(yīng)有響應(yīng)就是瀏覽器問題沒響應(yīng)就 SSH 進(jìn)去查服務(wù)狀態(tài)并重啟相關(guān)服務(wù)。嵌套環(huán)境里還要確認(rèn)虛擬機的網(wǎng)卡橋接在能通 192.168.201.0/24 的網(wǎng)橋上。5.2 VRM 部署卡在進(jìn)度條不動現(xiàn)象VRM 部署向?qū)ё叩揭话脒M(jìn)度條長時間停在某個百分比最后提示失敗。原因常見的是 CNA 與宿主機的時鐘偏差過大或者部署過程中管理網(wǎng)出現(xiàn)短暫中斷。解決先把兩臺 CNA 和宿主機的時間對齊再重新部署。重裝之前把上一次失敗的 VRM 殘留清掉否則可能提示地址被占用。部署期間不要動虛擬機的網(wǎng)絡(luò)配置也不要在宿主機上做重負(fù)載操作。5.3 掃描存儲設(shè)備什么都掃不出來現(xiàn)象IP-SAN 添加完成點掃描列表是空的日志里也沒有明顯報錯。原因三種可能iSCSI 啟動器名稱兩臺重復(fù)、存儲網(wǎng)不通、存儲設(shè)備側(cè)沒放行新發(fā)起端。解決按 4.3 的順序倒查。先ping存儲設(shè)備確認(rèn)網(wǎng)絡(luò)再核對兩臺 CNA 的 IQN 是否不同最后去存儲設(shè)備側(cè)刷新發(fā)起端白名單。三步里任何一步?jīng)]過掃描都不會有結(jié)果。5.4 主機加進(jìn)集群后狀態(tài)一直是離線現(xiàn)象添加主機時提示成功但列表里狀態(tài)顯示離線點進(jìn)去也看不到詳細(xì)信息。原因VRM 到 CNA 的 8443 端口不通或者添加時填的 root 密碼有誤。解決從 VRM 所在節(jié)點本質(zhì)是 CNA01 上的虛擬機去curlCNA 的管理地址確認(rèn)端口可達(dá)密碼錯就刪掉主機重新添加別在離線狀態(tài)上反復(fù)點“刷新”刷不出結(jié)果。5.5 虛擬機創(chuàng)建成功但起不來現(xiàn)象按模板發(fā)了一臺虛擬機任務(wù)顯示成功但電源打不開或者開了立刻關(guān)機。原因集群資源不足、鏡像文件路徑不可達(dá)、虛擬機網(wǎng)卡選的端口組不存在。解決先看集群剩余內(nèi)存和存儲容量再看虛擬機的磁盤所在數(shù)據(jù)存儲是否正常最后核對網(wǎng)卡綁定的端口組。嵌套環(huán)境里還有一種情況是 CPU 特性沒透傳虛擬機一開就報指令集錯誤回到 2.1 檢查 CPU 配置即可。6. 裝完怎么驗證發(fā)一臺虛擬機、裝 Tools、跑一次熱遷移環(huán)境裝完不能只看管理面能登錄就算完真正能證明這套 FusionCompute 跑通的是三件事能發(fā)虛擬機、能裝 Tools、能熱遷移。我一般按這個順序驗證每一步都有明確的觀察點。第一步從 CentOS 模板發(fā)一臺虛擬機。選業(yè)務(wù)端口組磁盤放 Datastore01規(guī)格 2 vCPU / 4 GB。任務(wù)完成后不要只看“成功”進(jìn)虛擬機控制臺確認(rèn)能引導(dǎo)到登錄界面這一步驗證的是計算、存儲、網(wǎng)絡(luò)三條鏈路同時正常。第二步裝 Tools。掛載 Tools 鏡像到虛擬機的光驅(qū)進(jìn)系統(tǒng)掛載光驅(qū)并執(zhí)行安裝腳本。裝完重啟管理面里虛擬機的 Tools 狀態(tài)應(yīng)該從“未安裝”變成“已運行”。這個狀態(tài)是判斷 Tools 裝沒裝好的唯一標(biāo)準(zhǔn)別只看腳本有沒有跑完。驗證項操作通過標(biāo)準(zhǔn)虛擬機發(fā)放從模板部署一臺 CentOS 虛擬機能引導(dǎo)到登錄界面Tools 安裝掛載 Tools 鏡像并安裝后重啟管理面狀態(tài)顯示“已運行”快照對虛擬機打一個快照并恢復(fù)恢復(fù)后系統(tǒng)正常啟動熱遷移把運行中的虛擬機從 CNA01 遷到 CNA02遷移完成業(yè)務(wù)不中斷HA模擬一臺 CNA 宕機虛擬機在另一臺自動拉起第三步打快照再恢復(fù)?？煺漳艽蚰芑謴?fù)說明存儲側(cè)的讀寫和元數(shù)據(jù)都正常這一步在實驗里經(jīng)常被跳過但它是后面做模板封裝和回滾的基礎(chǔ)。第四步熱遷移。虛擬機保持開機從 CNA01 遷到 CNA02觀察遷移任務(wù)和虛擬機內(nèi)部是否有明顯中斷。遷移失敗最常見的原因是兩臺主機的 CPU 特性不一致嵌套環(huán)境里尤其明顯如果遷不過去回到 2.1 把兩臺虛擬機的 CPU 配置改成完全一致再試。這套驗證跑完實驗手冊里第一部分的安裝目標(biāo)就算真正達(dá)成了后面計算資源、存儲資源、虛擬機管理那些實驗才有穩(wěn)定的底座。從那以后我每次搭這套環(huán)境都會在裝 CNA 之前先把嵌套開關(guān)和 IP 規(guī)劃表過一遍哪怕時間再緊也不跳過因為這兩步省下來的十分鐘通常要用兩個小時去排查。希望幫到你。本文還有配套的精品資源點擊獲取 KVM嵌套虛擬化下FusionCompute 6.5.0部署與排錯
簡介《FusionCompute實驗手冊1》是華為HCIP-Cloud Computing V4.0認(rèn)證培訓(xùn)中FusionCompute部分的實驗指導(dǎo)材料面向備考該認(rèn)證的學(xué)員以及希望系統(tǒng)掌握華為服務(wù)器虛擬化平臺日常運營與運維的技術(shù)人員。內(nèi)容按7個實驗、四大模塊組織從KVM嵌套環(huán)境下安裝CNA到部署VRM理解FusionCompute基礎(chǔ)架構(gòu)再練習(xí)計算、存儲、網(wǎng)絡(luò)三類虛擬資源管理體會計算虛擬化、存儲虛擬化與網(wǎng)絡(luò)虛擬化的資源調(diào)度優(yōu)勢隨后進(jìn)入虛擬機發(fā)放與管理涵蓋虛擬機創(chuàng)建、Tools安裝、模板封裝、快照、規(guī)格調(diào)整、HA、熱遷移、安全組和規(guī)則組等操作最后通過用戶管理、管理數(shù)據(jù)備份與時間管理熟悉日常運維。資源包共1個docx文件約10.53MB內(nèi)容集中、便于按實驗查閱。已有227人學(xué)習(xí)適合用作搭建實驗環(huán)境、復(fù)盤操作流程和查漏補缺的參考。1. 從 KVM 嵌套起步FusionCompute 6.5.0 裝之前先想清楚三件事在 KVM 里嵌套裝一套 FusionCompute 6.5.0最先勸退人的往往不是安裝向?qū)в卸嚅L而是 CNA 引導(dǎo)到分區(qū)那一步就黑屏重啟。CPU 沒做透傳前面鏡像下載、網(wǎng)段規(guī)劃、虛擬機創(chuàng)建全部變成白工。這套環(huán)境在虛擬化與桌面云方向的認(rèn)證實驗里出現(xiàn)頻率極高V4.0 的實驗手冊把 7 個實驗壓在四大部分里從 CNA、VRM 安裝一路排到虛擬機發(fā)放、存儲網(wǎng)絡(luò)接入和日常運維幾乎每個動手環(huán)節(jié)都要求一個能正常登錄的管理面。裝不好會怎樣CNA 起來了 VRM 部署卡在進(jìn)度條或者存儲接口沒綁對掃描設(shè)備永遠(yuǎn)掃不出盤。這篇按我自己的落地順序?qū)戇m合第一次搭 FusionCompute 實驗環(huán)境、手上只有兩臺機器甚至只有一臺物理機做嵌套的人。2. 實驗環(huán)境先落地嵌套虛擬化、網(wǎng)段規(guī)劃與安裝介質(zhì)動手之前需要先把“能不能裝”和“裝完能不能通”這件事想清楚。這套實驗的設(shè)計前提是兩臺硬件服務(wù)器跑 CNAVRM 獨立部署管理和存儲分兩個網(wǎng)段如果是在一臺物理機上做嵌套這兩臺“服務(wù)器”就是你創(chuàng)建出來的兩臺虛擬機物理機只是宿主機。我見過最常見的返工是虛擬機建好、ISO 掛上、裝到一半發(fā)現(xiàn) CPU 不帶 VMX或者管理網(wǎng)和存儲網(wǎng)全塞進(jìn)一個網(wǎng)段最后 VRM 能登錄但主機加不上。下面三塊內(nèi)容建議在創(chuàng)建第一臺虛擬機之前全部確認(rèn)完。2.1 嵌套環(huán)境里 CPU 透傳不開CNA 裝到一半就會黑屏FusionCompute 的 CNA 本身就是一層虛擬化系統(tǒng)它對 VT-x 或 AMD-V 有硬性依賴。在物理機的 KVM 上再跑一層 CNA屬于二級嵌套宿主機的 KVM 模塊必須顯式打開嵌套支持否則客戶機里看不到硬件虛擬化標(biāo)志。先查宿主機參數(shù)輸出為 N 就是沒開。# 查 Intel 平臺嵌套開關(guān)輸出 Y 表示已開啟 cat /sys/module/kvm_intel/parameters/nested # 現(xiàn)場臨時打開重啟后失效 sudo modprobe -r kvm_intel sudo modprobe kvm_intel nested1 cat /sys/module/kvm_intel/parameters/nested # 永久生效寫進(jìn)模塊配置 echo options kvm_intel nested1 | sudo tee /etc/modprobe.d/kvm.conf第一條命令是判斷依據(jù)Y表示宿主機允許把虛擬化能力繼續(xù)向下傳遞N時后面兩步才需要做。modprobe -r會卸載模塊執(zhí)行前要確認(rèn)宿主機上沒有正在運行的 KVM 虛擬機否則卸載會失敗。寫/etc/modprobe.d/kvm.conf是為了重啟后依然生效避免下次開機又回到 N。模塊開了還不夠虛擬機的 CPU 模式也得配合。默認(rèn)的host-model有時會把 vmx 特性過濾掉我一般直接改成host-passthrough再顯式要求 vmx。改 XML 比在圖形化工具里點選項可靠得多。!-- 虛擬機 XML 中的 CPU 配置片段 -- cpu modehost-passthrough checknone migratableoff !-- 強制把 vmx 特性透傳給客戶機CNA 才能起得來 -- feature policyrequire namevmx/ /cpumodehost-passthrough表示客戶機 CPU 直接對齊宿主機型號犧牲的是跨宿主機的遷移能力實驗環(huán)境完全不需要考慮這一點。feature policyrequire是硬性要求宿主機若不支持會直接報錯而不是靜默降級這正好幫你提前發(fā)現(xiàn)問題。migratableoff是為了讓透傳更徹底避免 libvirt 為了遷移兼容性裁剪指令集。磁盤和內(nèi)存按 CNA 的角色給別摳。我一般給每臺 CNA 8 vCPU、16 GB 內(nèi)存系統(tǒng)盤 120 GB再掛一塊 200 GB 的數(shù)據(jù)盤留給后面做存儲實驗。VRM 那臺給 4 vCPU、8 GB 就夠。磁盤用 qcow2 方便打快照做壞了直接回滾這就是實驗環(huán)境最便宜的后悔藥。# 預(yù)分配兩塊盤qcow2 格式便于快照回滾 qemu-img create -f qcow2 /var/lib/libvirt/images/cna01.qcow2 120G qemu-img create -f qcow2 /var/lib/libvirt/images/cna01-data.qcow2 200G-f qcow2指定格式不寫會按 raw 創(chuàng)建占滿實際空間且沒法做快照。文件路徑按你宿主機的存儲池來改兩塊盤分別對應(yīng)系統(tǒng)盤和數(shù)據(jù)盤命名上帶主機名后面掛錯盤的概率會低很多。2.2 管理與存儲分網(wǎng)段IP 一次規(guī)劃到底實驗拓?fù)淅锕芾砭W(wǎng)是 192.168.201.0/24存儲網(wǎng)是 192.168.202.0/24存儲走 VLAN 202。這個劃分不是形式主義管理網(wǎng)跑 CNA 與 VRM 之間的心跳、Web 登錄、虛擬機管理流量存儲網(wǎng)跑 iSCSI 數(shù)據(jù)混在一起最典型的后果是虛擬機一開機管理面就轉(zhuǎn)圈或者存儲掃描超時。地址規(guī)劃建議在表格里一次定死后面每個界面照著填別臨場發(fā)揮。網(wǎng)元管理 IP存儲 IP所屬 VLAN說明CNA01192.168.201.101192.168.202.101管理 201 / 存儲 202第一臺計算節(jié)點CNA02192.168.201.102192.168.202.102管理 201 / 存儲 202第二臺計算節(jié)點VRM192.168.201.100192.168.202.100管理 201 / 存儲 202管理面獨立部署網(wǎng)關(guān)192.168.201.1——管理網(wǎng)默認(rèn)網(wǎng)關(guān)存儲設(shè)備—192.168.202.10存儲 202IP-SAN 目標(biāo)端端口 3260規(guī)劃時有兩個細(xì)節(jié)容易被忽略。第一VRM 的地址要在安裝 CNA 之前就留出來因為 VRM 部署向?qū)Ю镆钐铄e只能在管理面里改中間還得重啟服務(wù)。第二存儲網(wǎng)的地址段不要和宿主機上已有的網(wǎng)橋沖突嵌套環(huán)境里宿主機往往已經(jīng)占了 192.168.122.0/24 這類默認(rèn)網(wǎng)段撞上之后現(xiàn)象是 CNA 能 ping 通自己但 ping 不通存儲排查起來非常玄學(xué)。2.3 安裝介質(zhì)與客戶端工具缺一樣都會卡在中途實驗手冊里列出的軟件清單不長但每一樣都有明確用途提前下齊比裝到一半再找要省事。文件 / 工具用途備注FusionCompute 6.5.0_Installer.zipCNA 安裝鏡像來源引導(dǎo)安裝 CNA 用FusionCompute 6.5.0_VRM.zipVRM 軟件包VRM 部署階段使用CentOS-7-x86_64-DVD-1810.iso實驗用 Linux 虛擬機鏡像后面發(fā)虛擬機、裝 Tools 用Windows 10 專業(yè)版鏡像實驗用 Windows 虛擬機鏡像模板制作場景PuttySSH 登錄 CNA 與 Linux 虛擬機命令行排查主力WinSCP文件上傳下載傳 ISO、導(dǎo)模板VNC Viewer連 KVM 虛擬機的控制臺圖形界面操作時用介質(zhì)版本建議和手冊保持一致6.5.0 這套組合里的 CNA、VRM、Tools 是配套的混用不同小版本的 VRM 包部署向?qū)Э赡苤苯泳芙^或者裝完管理面打不開。另外宿主機上要留足空間兩個 CNA 加一個 VRM系統(tǒng)盤加油漆盤算下來至少 700 GB 起步空間不夠會在安裝中途報寫入失敗而這個報錯通常只給一行很容易誤判成鏡像損壞。3. 安裝 CNA從 ISO 引導(dǎo)到兩臺節(jié)點 SSH 可達(dá)CNA 的安裝過程本身不難難的是幾個界面一旦選錯后面要么起不來要么加不進(jìn)集群。這一章按單臺節(jié)點的完整安裝走一遍再說明第二臺怎么裝才不撞車最后用 SSH 確認(rèn)底層真的通了再往下走。3.1 引導(dǎo)之后的幾個界面值得停下來多看兩眼把 Installer 里的 CNA 鏡像掛到虛擬機光驅(qū)設(shè)置從光驅(qū)引導(dǎo)進(jìn)入安裝向?qū)Ш蟠笾聲?jīng)歷語言與時區(qū)、磁盤選擇、網(wǎng)絡(luò)配置、密碼設(shè)置這幾步。每一步的具體選項在不同小版本里措辭略有差異但需要你決策的點是固定的。語言與鍵盤選英文或簡體中文都行鍵盤默認(rèn) US選錯后面輸密碼會出現(xiàn)字符對不上的情況。時區(qū)選 Asia/Shanghai時間不對會導(dǎo)致后面 VRM 與 CNA 心跳異常這類問題排查成本極高。安裝磁盤選那塊 120 GB 的系統(tǒng)盤別選到數(shù)據(jù)盤選錯只能重裝。管理網(wǎng)口選規(guī)劃中對應(yīng)管理網(wǎng)的那塊網(wǎng)卡通常就是第一塊。管理 IP、掩碼、網(wǎng)關(guān)按 2.2 的表格填CNA01 是 192.168.201.101網(wǎng)關(guān) 192.168.201.1。主機名CNA01兩臺節(jié)點必須不同。root 密碼記牢后面加主機、SSH 排查全靠它。有一點要提前說明安裝向?qū)Ю镏慌涔芾砭W(wǎng)存儲網(wǎng)是在 CNA 裝好、進(jìn)入管理面之后通過“存儲接口”配的別在安裝階段找存儲 IP 的輸入框找不到是正常的。我第一次裝的時候就因為在向?qū)Ю锓磸?fù)翻頁找存儲配置白白重裝了一遍。安裝完成后系統(tǒng)會自動重啟此時拔掉 ISO 或改回硬盤引導(dǎo)否則會又進(jìn)一遍安裝程序。重啟后如果看到登錄提示符說明 CNA 本體裝完了接下來驗證網(wǎng)絡(luò)。3.2 第二臺 CNA 怎么裝才不撞車第二臺的流程和第一臺完全一樣但有三處必須改否則加集群時會失敗或者出現(xiàn)更隱蔽的問題。第一處是主機名兩臺都叫 localhost 或 CNA01VRM 添加主機時會提示名稱沖突有些版本干脆加不上。第二處是管理 IP這個不用說。第三處是 iSCSI 啟動器名稱CNA 默認(rèn)生成的 IQN 里帶有節(jié)點標(biāo)識如果兩臺機器是從同一塊盤克隆出來的IQN 可能一模一樣現(xiàn)象是存儲側(cè)只能看到一個發(fā)起端另一臺永遠(yuǎn)掃不到盤。這個問題在后面第 5 章還會展開。如果為了省時間用克隆的方式做第二臺克隆完務(wù)必進(jìn)系統(tǒng)改主機名和 IP并重新生成機器標(biāo)識。我一般的做法是不克隆直接按向?qū)г傺b一遍多花二十分鐘省掉后面一堆“為什么只有一臺能連存儲”的排查。3.3 用 SSH 和 ping 先把底層確認(rèn)掉兩臺 CNA 裝完先別急著開瀏覽器。從一臺跳板機可以是宿主機也可以是實驗用的 Windows 虛擬機確認(rèn)管理面可達(dá)再 SSH 進(jìn)去看幾個關(guān)鍵信息。# 從跳板機確認(rèn)兩臺 CNA 管理面可達(dá) ping -c 4 192.168.201.101 ping -c 4 192.168.201.102 # SSH 登錄第一臺首次連接要確認(rèn)指紋 ssh root192.168.201.101 # 登錄后核對主機名和網(wǎng)卡地址 cat /etc/hostname ip addr show | grep -E inet |state UP # 看系統(tǒng)盤與數(shù)據(jù)盤是否都識別到了 lsblk df -hping -c 4只發(fā)四個包快速判斷鏈路和 ARP 是否正常通不了先查虛擬機的網(wǎng)卡是不是橋到了正確的網(wǎng)橋。ip addr show用來確認(rèn)管理 IP 真的落在預(yù)期網(wǎng)卡上嵌套環(huán)境里經(jīng)常出現(xiàn)網(wǎng)卡順序變化向?qū)Ю镞x了 eth0結(jié)果 IP 落到 eth1。lsblk是看數(shù)據(jù)盤有沒有被識別如果只看到系統(tǒng)盤說明虛擬機掛的第二塊盤沒生效需要回去檢查磁盤配置。這幾步都通了再打開瀏覽器訪問https://192.168.201.101:8443能看到 CNA 的登錄頁就說明安裝階段結(jié)束。瀏覽器提示證書不受信任是正常的實驗環(huán)境直接繼續(xù)訪問即可。4. 部署 VRM 并接入存儲與網(wǎng)絡(luò)讓資源池真正可用CNA 只是計算節(jié)點沒有 VRM 就沒有統(tǒng)一管理面也沒法建集群、加主機。這一章把 VRM 部署、集群納管、存儲接口和分布式交換機一次串完順序不要打亂先有管理面才能配后面的東西。4.1 VRM 部署向?qū)Ю锶齻€必須一次填對的項VRM 的部署入口在 CNA 的 Web 界面里用瀏覽器登錄https://192.168.201.101:8443找到 VRM 部署相關(guān)入口按向?qū)ё摺Ｕ麄€向?qū)Ю镎嬲枰Ｏ聛硐氲氖侨?。第一項?VRM 的管理 IP、掩碼和網(wǎng)關(guān)填 192.168.201.100 / 255.255.255.0 / 192.168.201.1。這個地址一旦填錯VRM 裝完你連不上管理面只能在 CNA 上重裝 VRM。第二項是 VRM 部署在哪臺 CNA 上選 CNA01。VRM 是以虛擬機的形式跑在 CNA 上的后面 CNA01 重啟會帶著 VRM 一起重啟實驗階段無所謂生產(chǎn)上不會這么干。第三項是 VRM 的系統(tǒng)盤大小和 root 密碼。系統(tǒng)盤給 120 GB 足夠密碼單獨記一份它和 CNA 的 root 密碼不是一回事我見過不止一個人拿 CNA 密碼去登 VRM登到懷疑人生。向?qū)芡陼崾静渴鸪晒Υ藭r用瀏覽器訪問https://192.168.201.100:8443能看到 FusionCompute 的登錄頁。首次登錄用默認(rèn)管理員賬號登錄后立刻改密碼這一步別省后面所有實驗都用這個賬號。4.2 建集群、加主機確認(rèn)狀態(tài)是“正?！钡卿浌芾砻嬷蟮牡谝患虏皇前l(fā)虛擬機而是把兩臺 CNA 納管進(jìn)來。流程是創(chuàng)建集群給集群起個名字比如 Cluster01然后在集群下添加主機填入 CNA01 的 192.168.201.101 和 root 密碼再加 CNA02。添加完成后不要只看“添加成功”的提示要回到主機列表看狀態(tài)列。狀態(tài)顯示“正?！辈潘阏嬲尤腼@示“離線”或者一直轉(zhuǎn)圈八成是管理網(wǎng)不通或者密碼錯。這一步如果卡住先回到 3.3 用 SSH 確認(rèn) CNA 本身沒問題再檢查 VRM 到 CNA 的 8443 端口是否可達(dá)。集群建好之后可以順手看一眼集群策略HA 和電源管理這些默認(rèn)開著就行。實驗里后面要做主機故障模擬和熱遷移HA 打開是前提現(xiàn)在不勾做到那一節(jié)還得回來補。4.3 iSCSI 啟動器號、端口綁定與 IP-SAN 添加存儲這塊是整套環(huán)境里最容易翻車的部分因為它同時依賴三樣?xùn)|西存儲網(wǎng)的連通性、iSCSI 啟動器的唯一性、存儲接口的綁定關(guān)系。順序上我一般這么走。先配存儲接口。在管理面找到對應(yīng) CNA 的存儲接口配置添加一個存儲接口IP 填 192.168.202.101對應(yīng) CNA01CNA02 填 192.168.202.102。這一步相當(dāng)于告訴 CNA“存儲流量從哪個口走”。再改 iSCSI 啟動器名稱。兩臺 CNA 必須不同命名上帶節(jié)點標(biāo)識最直觀。節(jié)點iSCSI 啟動器名稱示例存儲接口 IPCNA01iqn.2024-01.local.cna:cna01192.168.202.101CNA02iqn.2024-01.local.cna:cna02192.168.202.102名稱格式只要符合 IQN 規(guī)范、全局唯一即可重點是兩臺不能重復(fù)。改完之后在存儲設(shè)備側(cè)刷新發(fā)起端列表應(yīng)該能看到兩個不同的名稱。然后配端口綁定。如果 CNA 上的存儲網(wǎng)口做了綁定要在管理面里把存儲接口和綁定后的邏輯口對應(yīng)上綁錯的現(xiàn)象是接口顯示正常但流量走不出去。綁定關(guān)系確認(rèn)后從 CNA 上直接驗證存儲網(wǎng)連通性。# 登錄 CNA01驗證存儲平面到存儲設(shè)備的連通 ssh root192.168.201.101 ping -c 4 192.168.202.10 # 確認(rèn) iSCSI 服務(wù)在監(jiān)聽 3260 ss -lntp | grep 3260 # 查看當(dāng)前的 iSCSI 會話添加存儲后應(yīng)該能看到目標(biāo)端 iscsiadm -m sessionping這一步不通后面的掃描一定失敗先查存儲接口 IP 和 VLAN。ss -lntp | grep 3260是確認(rèn)本端 iSCSI 服務(wù)正常監(jiān)聽端口沒起來說明服務(wù)異常。iscsiadm -m session用來驗證會話是否建立添加存儲資源并掃描成功后這里會多出一條目標(biāo)端記錄這是最直接的證據(jù)。最后回到管理面添加存儲資源類型選 IP-SAN填存儲設(shè)備的 192.168.202.10 和端口 3260然后掃描存儲設(shè)備。掃描出來的 LUN 添加到數(shù)據(jù)存儲命名成 Datastore01 之類后面發(fā)虛擬機才有地方放磁盤。4.4 分布式交換機、上行鏈路與 VLAN 池網(wǎng)絡(luò)資源的配置順序是創(chuàng)建分布式交換機把主機加進(jìn)去添加上行鏈路劃 VLAN 池最后建端口組。這個順序顛倒會出各種奇怪的問題比如先建端口組再添上行鏈路端口組狀態(tài)一直不對。創(chuàng)建分布式交換機時給個名字比如 DVS01然后把 CNA01 和 CNA02 都添加進(jìn)來。上行鏈路選物理網(wǎng)口管理網(wǎng)和存儲網(wǎng)對應(yīng)的網(wǎng)口分別綁上去。VLAN 池按規(guī)劃加 201 和 202如果實驗里還要給虛擬機劃業(yè)務(wù) VLAN也在這里一起加。端口組按用途建管理口組、存儲口組、業(yè)務(wù)口組各一個VLAN ID 對應(yīng)填好。建完之后在虛擬機的網(wǎng)絡(luò)配置里就能選到這些端口組發(fā)虛擬機的時候選業(yè)務(wù)口組虛擬機之間才能按 VLAN 隔離。5. 裝這套環(huán)境最容易翻車的五個地方這一章是我自己踩過、也見過別人踩的五條記錄按“現(xiàn)象、原因、解決”寫。每條都對應(yīng)前面某個步驟做完前面再回頭看會更有感覺。5.1 CNA 裝完瀏覽器打不開 8443現(xiàn)象SSH 能登進(jìn)去ping也通但瀏覽器訪問https://192.168.201.101:8443一直轉(zhuǎn)圈或者直接連接被拒。原因多數(shù)是瀏覽器對自簽名證書的處理策略變了或者本機防火墻攔了出站少數(shù)情況是 CNA 的 Web 服務(wù)沒起來。解決先換一個瀏覽器或者用隱私窗口試排除緩存和證書策略再從跳板機用curl -k https://192.168.201.101:8443看是否有響應(yīng)有響應(yīng)就是瀏覽器問題沒響應(yīng)就 SSH 進(jìn)去查服務(wù)狀態(tài)并重啟相關(guān)服務(wù)。嵌套環(huán)境里還要確認(rèn)虛擬機的網(wǎng)卡橋接在能通 192.168.201.0/24 的網(wǎng)橋上。5.2 VRM 部署卡在進(jìn)度條不動現(xiàn)象VRM 部署向?qū)ё叩揭话脒M(jìn)度條長時間停在某個百分比最后提示失敗。原因常見的是 CNA 與宿主機的時鐘偏差過大或者部署過程中管理網(wǎng)出現(xiàn)短暫中斷。解決先把兩臺 CNA 和宿主機的時間對齊再重新部署。重裝之前把上一次失敗的 VRM 殘留清掉否則可能提示地址被占用。部署期間不要動虛擬機的網(wǎng)絡(luò)配置也不要在宿主機上做重負(fù)載操作。5.3 掃描存儲設(shè)備什么都掃不出來現(xiàn)象IP-SAN 添加完成點掃描列表是空的日志里也沒有明顯報錯。原因三種可能iSCSI 啟動器名稱兩臺重復(fù)、存儲網(wǎng)不通、存儲設(shè)備側(cè)沒放行新發(fā)起端。解決按 4.3 的順序倒查。先ping存儲設(shè)備確認(rèn)網(wǎng)絡(luò)再核對兩臺 CNA 的 IQN 是否不同最后去存儲設(shè)備側(cè)刷新發(fā)起端白名單。三步里任何一步?jīng)]過掃描都不會有結(jié)果。5.4 主機加進(jìn)集群后狀態(tài)一直是離線現(xiàn)象添加主機時提示成功但列表里狀態(tài)顯示離線點進(jìn)去也看不到詳細(xì)信息。原因VRM 到 CNA 的 8443 端口不通或者添加時填的 root 密碼有誤。解決從 VRM 所在節(jié)點本質(zhì)是 CNA01 上的虛擬機去curlCNA 的管理地址確認(rèn)端口可達(dá)密碼錯就刪掉主機重新添加別在離線狀態(tài)上反復(fù)點“刷新”刷不出結(jié)果。5.5 虛擬機創(chuàng)建成功但起不來現(xiàn)象按模板發(fā)了一臺虛擬機任務(wù)顯示成功但電源打不開或者開了立刻關(guān)機。原因集群資源不足、鏡像文件路徑不可達(dá)、虛擬機網(wǎng)卡選的端口組不存在。解決先看集群剩余內(nèi)存和存儲容量再看虛擬機的磁盤所在數(shù)據(jù)存儲是否正常最后核對網(wǎng)卡綁定的端口組。嵌套環(huán)境里還有一種情況是 CPU 特性沒透傳虛擬機一開就報指令集錯誤回到 2.1 檢查 CPU 配置即可。6. 裝完怎么驗證發(fā)一臺虛擬機、裝 Tools、跑一次熱遷移環(huán)境裝完不能只看管理面能登錄就算完真正能證明這套 FusionCompute 跑通的是三件事能發(fā)虛擬機、能裝 Tools、能熱遷移。我一般按這個順序驗證每一步都有明確的觀察點。第一步從 CentOS 模板發(fā)一臺虛擬機。選業(yè)務(wù)端口組磁盤放 Datastore01規(guī)格 2 vCPU / 4 GB。任務(wù)完成后不要只看“成功”進(jìn)虛擬機控制臺確認(rèn)能引導(dǎo)到登錄界面這一步驗證的是計算、存儲、網(wǎng)絡(luò)三條鏈路同時正常。第二步裝 Tools。掛載 Tools 鏡像到虛擬機的光驅(qū)進(jìn)系統(tǒng)掛載光驅(qū)并執(zhí)行安裝腳本。裝完重啟管理面里虛擬機的 Tools 狀態(tài)應(yīng)該從“未安裝”變成“已運行”。這個狀態(tài)是判斷 Tools 裝沒裝好的唯一標(biāo)準(zhǔn)別只看腳本有沒有跑完。驗證項操作通過標(biāo)準(zhǔn)虛擬機發(fā)放從模板部署一臺 CentOS 虛擬機能引導(dǎo)到登錄界面Tools 安裝掛載 Tools 鏡像并安裝后重啟管理面狀態(tài)顯示“已運行”快照對虛擬機打一個快照并恢復(fù)恢復(fù)后系統(tǒng)正常啟動熱遷移把運行中的虛擬機從 CNA01 遷到 CNA02遷移完成業(yè)務(wù)不中斷HA模擬一臺 CNA 宕機虛擬機在另一臺自動拉起第三步打快照再恢復(fù)?？煺漳艽蚰芑謴?fù)說明存儲側(cè)的讀寫和元數(shù)據(jù)都正常這一步在實驗里經(jīng)常被跳過但它是后面做模板封裝和回滾的基礎(chǔ)。第四步熱遷移。虛擬機保持開機從 CNA01 遷到 CNA02觀察遷移任務(wù)和虛擬機內(nèi)部是否有明顯中斷。遷移失敗最常見的原因是兩臺主機的 CPU 特性不一致嵌套環(huán)境里尤其明顯如果遷不過去回到 2.1 把兩臺虛擬機的 CPU 配置改成完全一致再試。這套驗證跑完實驗手冊里第一部分的安裝目標(biāo)就算真正達(dá)成了后面計算資源、存儲資源、虛擬機管理那些實驗才有穩(wěn)定的底座。從那以后我每次搭這套環(huán)境都會在裝 CNA 之前先把嵌套開關(guān)和 IP 規(guī)劃表過一遍哪怕時間再緊也不跳過因為這兩步省下來的十分鐘通常要用兩個小時去排查。希望幫到你。本文還有配套的精品資源點擊獲取