1. 項(xiàng)目概述當(dāng)國(guó)產(chǎn)操作系統(tǒng)遇上GUI自動(dòng)化測(cè)試最近幾年國(guó)產(chǎn)化替代的浪潮席卷了各行各業(yè)尤其是在一些對(duì)自主可控要求極高的領(lǐng)域。作為國(guó)產(chǎn)操作系統(tǒng)的代表之一麒麟操作系統(tǒng)包括桌面版和服務(wù)器版的裝機(jī)量和使用場(chǎng)景正在快速擴(kuò)大。隨之而來(lái)的一個(gè)現(xiàn)實(shí)問題是運(yùn)行在其上的應(yīng)用軟件其質(zhì)量如何保障特別是那些基于QT框架開發(fā)的、擁有復(fù)雜圖形界面的桌面應(yīng)用傳統(tǒng)的點(diǎn)點(diǎn)點(diǎn)手工測(cè)試不僅效率低下更難以保證回歸測(cè)試的覆蓋率。這就是我們今天要深入探討的核心為麒麟操作系統(tǒng)上的QT應(yīng)用構(gòu)建一套行之有效的自動(dòng)化測(cè)試解決方案。簡(jiǎn)單來(lái)說這個(gè)方案要解決的就是“在國(guó)產(chǎn)麒麟OS上如何讓機(jī)器自動(dòng)去操作和驗(yàn)證QT圖形界面程序”的問題。它絕不僅僅是找個(gè)自動(dòng)化測(cè)試工具那么簡(jiǎn)單而是一個(gè)涉及操作系統(tǒng)適配、GUI控件識(shí)別、測(cè)試腳本開發(fā)、持續(xù)集成和結(jié)果管理的系統(tǒng)工程。無(wú)論是開發(fā)人員自測(cè)、測(cè)試團(tuán)隊(duì)進(jìn)行版本回歸還是構(gòu)建CI/CD流水線一套穩(wěn)定的自動(dòng)化測(cè)試體系都能極大提升效率和質(zhì)量信心。如果你正在或即將面臨麒麟QT環(huán)境下的測(cè)試挑戰(zhàn)那么接下來(lái)的內(nèi)容或許能給你提供一條清晰的實(shí)踐路徑。2. 核心挑戰(zhàn)與方案選型背后的邏輯在麒麟OS上對(duì)QT應(yīng)用做自動(dòng)化測(cè)試聽起來(lái)和在其他Linux發(fā)行版上做類似但實(shí)際上暗坑不少。首先得明白我們面對(duì)的是什么。2.1 環(huán)境特殊性帶來(lái)的核心挑戰(zhàn)第一圖形環(huán)境的多樣性。麒麟桌面操作系統(tǒng)通常提供多種桌面環(huán)境如UKUI麒麟主推、GNOME或KDE。不同的桌面環(huán)境其窗口管理器、合成器以及對(duì) accessibility無(wú)障礙訪問技術(shù)的支持程度不同這會(huì)直接影響基于坐標(biāo)或基于控件識(shí)別的自動(dòng)化工具的穩(wěn)定性。比如一個(gè)在GNOME下能穩(wěn)定識(shí)別的控件在UKUI下可能就“隱身”了。第二QT應(yīng)用的渲染與識(shí)別。QT應(yīng)用默認(rèn)使用自身的渲染引擎繪制界面。對(duì)于自動(dòng)化工具而言看到的可能不是一個(gè)由標(biāo)準(zhǔn)系統(tǒng)控件如GTK組成的窗口而更像是一張“圖片”。傳統(tǒng)的基于角色role和名稱name的識(shí)別方式如Linux上的at-spi2可能失效或者只能識(shí)別到一個(gè)頂層的窗口無(wú)法穿透到內(nèi)部的按鈕、輸入框等。第三ARM架構(gòu)的兼容性。隨著信創(chuàng)推進(jìn)很多麒麟系統(tǒng)運(yùn)行在ARM64架構(gòu)的硬件上如飛騰、鯤鵬處理器。這意味著我們選擇的自動(dòng)化測(cè)試工具、驅(qū)動(dòng)乃至依賴庫(kù)都必須有對(duì)應(yīng)的ARM64版本或者能夠從源碼順利編譯通過。x86_64生態(tài)下的現(xiàn)成二進(jìn)制包很可能無(wú)法直接運(yùn)行。第四生態(tài)與工具的成熟度。相比Windows上的豐富選擇如PyWinAuto、TestComplete for Windows或通用Web/API測(cè)試專注于Linux桌面QT GUI自動(dòng)化的開源工具鏈相對(duì)小眾中文社區(qū)的實(shí)踐分享和踩坑記錄也較少。2.2 主流技術(shù)路線分析與選型面對(duì)這些挑戰(zhàn)通常有幾條技術(shù)路線可供選擇基于坐標(biāo)和圖像的“黑盒”測(cè)試使用像SikuliX或PyAutoGUI這樣的工具通過屏幕截圖匹配和模擬鼠標(biāo)鍵盤事件來(lái)操作。優(yōu)點(diǎn)是幾乎與具體控件技術(shù)無(wú)關(guān)跨平臺(tái)性強(qiáng)。缺點(diǎn)是對(duì)UI變化極度敏感一個(gè)像素的偏移都可能導(dǎo)致失敗、執(zhí)行速度慢、無(wú)法讀取控件狀態(tài)如某個(gè)復(fù)選框是否被勾選且在多分辨率或縮放環(huán)境下適應(yīng)性差。這更適合作為輔助手段處理一些難以識(shí)別的自定義控件?；诓僮飨到y(tǒng)無(wú)障礙接口的“白盒”測(cè)試在Linux上主要是通過AT-SPIAssistive Technology Service Provider Interface接口。工具如dogtail、LDTPLinux Desktop Testing Project或pyatspi庫(kù)可以通過這個(gè)接口獲取應(yīng)用的控件樹和屬性。這對(duì)于支持AT-SPI的QT應(yīng)用需要編譯時(shí)開啟 accessibility 選項(xiàng)并且應(yīng)用開發(fā)時(shí)設(shè)置了正確的控件屬性是理想選擇。但現(xiàn)實(shí)是很多QT應(yīng)用對(duì)此支持不完善。基于QT原生框架的測(cè)試這是最直接、最穩(wěn)定的方式。既然應(yīng)用是QT寫的我們就用QT官方或社區(qū)提供的測(cè)試框架來(lái)驅(qū)動(dòng)它。Qt Test FrameworkQT自帶的單元測(cè)試框架非常適合測(cè)試業(yè)務(wù)邏輯和底層模塊。它也可以進(jìn)行GUI事件模擬QTest但更偏向于開發(fā)人員自測(cè)對(duì)于復(fù)雜的端到端E2E用戶操作流編寫和維護(hù)成本較高。Squish來(lái)自 froglogic 的商業(yè)化GUI測(cè)試工具對(duì)QT的支持是它的核心賣點(diǎn)。它通過注入的方式直接訪問QT對(duì)象的內(nèi)部屬性和方法識(shí)別率近乎100%功能強(qiáng)大。但它是商業(yè)軟件需要付費(fèi)授權(quán)可能不符合所有團(tuán)隊(duì)的成本預(yù)算。QCumber或Golem一些較新的開源框架但生態(tài)和穩(wěn)定性有待驗(yàn)證?；陂_源生態(tài)的混合方案這也是目前很多團(tuán)隊(duì)在成本和技術(shù)可控性權(quán)衡下的選擇。其核心思想是以基于AT-SPI的工具如pyautogui的Linux增強(qiáng)版或AT-SPI庫(kù)直接操作為主力對(duì)于無(wú)法識(shí)別的控件用圖像識(shí)別或甚至直接調(diào)用QT測(cè)試模塊如果可能作為補(bǔ)充。同時(shí)結(jié)合pytest這樣的通用測(cè)試框架來(lái)組織用例和斷言用Allure生成漂亮報(bào)告再用Jenkins或GitLab CI做持續(xù)集成。注意在麒麟OS的ARM64環(huán)境下第一條要?jiǎng)?wù)是驗(yàn)證你選擇的工具鏈及其所有依賴如at-spi2-core,pygi,python3-xlib等是否能在該架構(gòu)下正常安裝和運(yùn)行。優(yōu)先通過系統(tǒng)包管理器如yum或apt取決于麒麟版本安裝其次考慮源碼編譯。2.3 我們的方案選型思路基于以上分析對(duì)于一個(gè)追求穩(wěn)定性、可控性且需考慮成本的團(tuán)隊(duì)我推薦一條以“AT-SPI pytest”為核心圖像識(shí)別為輔助”的混合路線。具體工具上可以考慮使用python3libatspi(或pyatspi) pytest作為基礎(chǔ)框架。為什么穩(wěn)定性AT-SPI是Linux桌面標(biāo)準(zhǔn)接口只要QT應(yīng)用做了基本適配很多現(xiàn)代QT應(yīng)用默認(rèn)就有一定支持識(shí)別比圖像穩(wěn)定得多?？删S護(hù)性通過控件屬性如name、role定位腳本可讀性好對(duì)UI布局變化的容忍度高于圖像。成本完全開源無(wú)授權(quán)費(fèi)用。生態(tài)Python生態(tài)豐富可以方便地集成API測(cè)試、數(shù)據(jù)庫(kù)校驗(yàn)等。靈活性遇到“頑固”控件可以無(wú)縫切入pyautogui或opencv進(jìn)行圖像輔助操作形成互補(bǔ)。接下來(lái)我們就沿著這條路線看看如何一步步搭建起整個(gè)測(cè)試框架。3. 測(cè)試環(huán)境搭建與核心工具鏈配置工欲善其事必先利其器。在麒麟OS上搭建這套測(cè)試環(huán)境需要一些細(xì)致的配置工作。以下以麒麟桌面操作系統(tǒng)V10ARM64架構(gòu)為例假設(shè)使用UKUI桌面環(huán)境。3.1 基礎(chǔ)系統(tǒng)與開發(fā)環(huán)境準(zhǔn)備首先確保你的麒麟系統(tǒng)已經(jīng)更新并安裝必要的開發(fā)工具和Python環(huán)境。# 1. 更新系統(tǒng)包列表 sudo yum update -y # 如果系統(tǒng)基于Fedora/RHEL # 或 sudo apt update -y # 如果系統(tǒng)基于Debian/Ubuntu # 2. 安裝Python3及pip麒麟系統(tǒng)通常已預(yù)裝但確保版本3.6 python3 --version pip3 --version # 3. 安裝開發(fā)工具和依賴庫(kù)這些是編譯某些Python包或AT-SPI綁定所必需的 sudo yum groupinstall Development Tools -y sudo yum install python3-devel at-spi2-atk at-spi2-core libatspi2.0-dev gcc-c make -y # 注意包名可能因麒麟版本略有不同可用 yum search at-spi 查找3.2 AT-SPI環(huán)境驗(yàn)證與QT應(yīng)用適配這是最關(guān)鍵的一步。我們需要確認(rèn)兩件事1) AT-SPI服務(wù)正常運(yùn)行2) 被測(cè)QT應(yīng)用暴露了足夠的控件信息。啟動(dòng)AT-SPI服務(wù) 通常AT-SPI服務(wù)會(huì)隨桌面環(huán)境自動(dòng)啟動(dòng)。你可以通過以下命令檢查ps aux | grep at-spi應(yīng)該能看到at-spi-bus-launcher和at-spi2-registryd進(jìn)程。如果沒有可能需要檢查桌面環(huán)境的無(wú)障礙功能是否開啟。驗(yàn)證QT應(yīng)用的可訪問性 安裝accerciser工具這是一個(gè)AT-SPI檢查器。sudo yum install accerciser -y啟動(dòng)你的QT應(yīng)用然后運(yùn)行accerciser。在accerciser中點(diǎn)擊“Inspect”按鈕再點(diǎn)擊你的QT應(yīng)用窗口。如果能在左側(cè)的樹形結(jié)構(gòu)中看到應(yīng)用的窗口、按鈕、文本框等控件及其屬性如name,role,states那么恭喜你自動(dòng)化的大門已經(jīng)敞開。如果只能看到一個(gè)頂層窗口內(nèi)部空空如也那么你需要確保你的QT應(yīng)用在編譯時(shí)啟用了 accessibility 支持。實(shí)操心得對(duì)于自行開發(fā)的QT應(yīng)用在編譯時(shí)無(wú)論是qmake還是CMake請(qǐng)確保加入了-accessibility相關(guān)標(biāo)志。對(duì)于使用第三方QT應(yīng)用可以嘗試設(shè)置環(huán)境變量QT_ACCESSIBILITY1來(lái)啟動(dòng)它有時(shí)能激活基礎(chǔ)的可訪問性支持。命令如QT_ACCESSIBILITY1 ./your-qt-app 。3.3 Python測(cè)試框架與AT-SPI綁定安裝我們將使用pytest作為測(cè)試運(yùn)行器和管理框架并使用python-atspi或pyatspi庫(kù)來(lái)驅(qū)動(dòng)GUI。# 安裝 pytest 及常用插件用于生成報(bào)告、并行運(yùn)行等 pip3 install pytest pytest-html pytest-xdist allure-pytest -i https://pypi.tuna.tsinghua.edu.cn/simple # 安裝 AT-SPI 的 Python 綁定 # 注意包名可能是 pyatspi 或 python3-atspi優(yōu)先嘗試通過系統(tǒng)包管理器安裝 sudo yum install python3-atspi -y # 如果系統(tǒng)倉(cāng)庫(kù)沒有則使用pip安裝可能需要先安裝一些系統(tǒng)依賴 pip3 install pyatspi -i https://pypi.tuna.tsinghua.edu.cn/simple驗(yàn)證安裝是否成功python3 -c “import atspi; print(atspi.__version__)”3.4 輔助工具安裝圖像識(shí)別與全局輸入作為備用方案安裝圖像識(shí)別和全局輸入模擬庫(kù)。# 安裝 PyAutoGUI 用于全局輸入控制注意其在Linux下的依賴 sudo yum install scrot tkinter python3-tk -y # 安裝截圖和GUI庫(kù)依賴 pip3 install pyautogui opencv-python-headless numpy -i https://pypi.tuna.tsinghua.edu.cn/simple # 安裝 Pillow 用于圖像處理 pip3 install Pillow注意事項(xiàng)pyautogui在Linux上依賴scrot進(jìn)行截圖依賴Xlib或PyTk進(jìn)行部分操作。在ARM64架構(gòu)上務(wù)必確保這些依賴的ARM版本可用。如果遇到問題可以考慮使用pyscreeze和pynput等庫(kù)進(jìn)行更底層的組合。至此核心的工具鏈就準(zhǔn)備完畢了。接下來(lái)我們將進(jìn)入實(shí)戰(zhàn)環(huán)節(jié)編寫第一個(gè)自動(dòng)化測(cè)試腳本。4. 核心測(cè)試腳本開發(fā)與框架搭建現(xiàn)在我們開始構(gòu)建測(cè)試框架的核心。我們將創(chuàng)建一個(gè)結(jié)構(gòu)清晰、易于維護(hù)的測(cè)試項(xiàng)目。4.1 項(xiàng)目目錄結(jié)構(gòu)設(shè)計(jì)一個(gè)好的目錄結(jié)構(gòu)能讓后續(xù)的維護(hù)和擴(kuò)展事半功倍。建議如下qt_auto_test_on_kylin/ ├── conftest.py # pytest全局配置、夾具定義 ├── requirements.txt # Python依賴列表 ├── pages/ # 頁(yè)面對(duì)象模型Page Object Model │ ├── __init__.py │ ├── main_window.py # 主窗口頁(yè)面類 │ └── login_dialog.py # 登錄對(duì)話框頁(yè)面類 ├── cases/ # 測(cè)試用例 │ ├── __init__.py │ ├── test_login.py # 登錄功能測(cè)試 │ └── test_data_processing.py # 數(shù)據(jù)處理功能測(cè)試 ├── utils/ # 工具函數(shù) │ ├── __init__.py │ ├── atspi_helper.py # AT-SPI操作封裝 │ ├── image_helper.py # 圖像識(shí)別輔助函數(shù) │ └── config.py # 配置文件讀取 ├── resources/ # 測(cè)試資源 │ ├── icons/ # 用于圖像識(shí)別的圖標(biāo) │ └── test_data/ # 測(cè)試數(shù)據(jù)文件 ├── reports/ # 測(cè)試報(bào)告輸出目錄.gitignore忽略 └── logs/ # 運(yùn)行日志目錄.gitignore忽略4.2 封裝AT-SPI核心操作類在utils/atspi_helper.py中我們封裝一個(gè)通用的AT-SPI操作類簡(jiǎn)化控件查找和操作。import time import atspi class AtspiController: def __init__(self): # 初始化AT-SPI連接到總線 atspi.init() self.desktop atspi.get_desktop(0) # 獲取第一個(gè)桌面 def find_app_window(self, app_name): 根據(jù)應(yīng)用程序名稱查找頂層窗口 for i in range(self.desktop.get_child_count()): child self.desktop.get_child_at_index(i) # 獲取窗口的角色和名稱進(jìn)行匹配 try: role child.get_role_name() name child.get_name() # 通常應(yīng)用窗口角色是 ‘frame’ 或 ‘window’ if role in [frame, window] and app_name in name: return child except Exception as e: # 某些對(duì)象可能無(wú)法獲取屬性跳過 continue raise Exception(f“Application window with name containing ‘{app_name}’ not found.”) def find_child_by_attributes(self, parent, **attributes): 遞歸查找符合指定屬性的子控件。 常用屬性role如 ‘push button’ ‘text’ name控件名稱 description等。 def _recursive_find(obj): try: match True for attr, value in attributes.items(): obj_attr_value getattr(obj, f“get_{attr}”, lambda: None)() if callable(obj_attr_value): obj_attr_value obj_attr_value() # 支持模糊匹配in和精確匹配 if value not in str(obj_attr_value): match False break if match: return obj except Exception: pass # 忽略無(wú)法獲取屬性的對(duì)象 # 遞歸查找子對(duì)象 for i in range(obj.get_child_count()): try: child obj.get_child_at_index(i) result _recursive_find(child) if result: return result except Exception: continue return None return _recursive_find(parent) def click_button(self, window, button_name): 點(diǎn)擊指定名稱的按鈕 button self.find_child_by_attributes(window, role‘push button’, namebutton_name) if not button: raise Exception(f“Button ‘{button_name}’ not found.”) # 獲取動(dòng)作接口并執(zhí)行點(diǎn)擊動(dòng)作 for i in range(button.get_n_actions()): if button.get_action_name(i).lower() ‘click’: button.do_action(i) time.sleep(0.5) # 操作后等待一小段時(shí)間 return # 如果沒有明確的click動(dòng)作嘗試模擬鼠標(biāo)事件通過組件接口 try: component button.queryComponent() if component: extents component.get_extents(atspi.CoordType.SCREEN) # 計(jì)算中心點(diǎn)并模擬點(diǎn)擊這里簡(jiǎn)化實(shí)際可用pyautogui print(f“Button found at {extents}, but no click action. May need alternative method.”) except Exception as e: print(f“Cannot get component info: {e}”) raise Exception(f“Cannot click button ‘{button_name}’.”) def set_text(self, window, textfield_name, text): 向指定名稱的文本框中輸入文字 textfield self.find_child_by_attributes(window, role‘text’, nametextfield_name) if not textfield: # 有時(shí)文本框的role可能是 ‘entry’ textfield self.find_child_by_attributes(window, role‘entry’, nametextfield_name) if not textfield: raise Exception(f“Text field ‘{textfield_name}’ not found.”) # 文本框通常實(shí)現(xiàn)EditableText接口 editable textfield.queryEditableText() if editable: editable.set_text_contents(text) time.sleep(0.3) else: raise Exception(f“Text field ‘{textfield_name}’ is not editable.”) # 全局控制器實(shí)例方便調(diào)用 controller AtspiController()這個(gè)封裝類提供了查找應(yīng)用窗口、根據(jù)屬性和角色查找子控件、點(diǎn)擊按鈕和設(shè)置文本的基礎(chǔ)操作。這是整個(gè)GUI自動(dòng)化的基石。4.3 實(shí)現(xiàn)頁(yè)面對(duì)象模型Page Object以登錄對(duì)話框?yàn)槔趐ages/login_dialog.py中from utils.atspi_helper import controller import time class LoginDialog: def __init__(self, main_window): # 假設(shè)登錄對(duì)話框是從主窗口的某個(gè)按鈕觸發(fā)的 self.main_window main_window # 可以在這里定義控件的定位屬性名稱、角色等便于維護(hù) self.locators { ‘username_input’: {‘role’: ‘text’, ‘name’: ‘用戶名’}, ‘password_input’: {‘role’: ‘password text’, ‘name’: ‘密碼’}, # 密碼框角色可能不同 ‘login_button’: {‘role’: ‘push button’, ‘name’: ‘登錄’}, ‘cancel_button’: {‘role’: ‘push button’, ‘name’: ‘取消’} } self.dialog None def open(self): 從主窗口打開登錄對(duì)話框 # 假設(shè)主窗口有一個(gè)“登錄”按鈕 controller.click_button(self.main_window, ‘登錄’) time.sleep(1) # 等待對(duì)話框彈出 # 查找當(dāng)前活躍的對(duì)話框窗口這里簡(jiǎn)化處理實(shí)際可能需要更精確的查找 for i in range(controller.desktop.get_child_count()): child controller.desktop.get_child_at_index(i) if child.get_role_name() ‘dialog’: self.dialog child break if not self.dialog: raise Exception(“Login dialog not opened.”) return self def input_credentials(self, username, password): 輸入用戶名和密碼 # 使用封裝的find_child_by_attributes方法 username_field controller.find_child_by_attributes(self.dialog, **self.locators[‘username_input’]) password_field controller.find_child_by_attributes(self.dialog, **self.locators[‘password_input’]) if username_field and hasattr(username_field.queryEditableText(), ‘set_text_contents’): username_field.queryEditableText().set_text_contents(username) if password_field and hasattr(password_field.queryEditableText(), ‘set_text_contents’): password_field.queryEditableText().set_text_contents(password) time.sleep(0.5) return self def click_login(self): 點(diǎn)擊登錄按鈕 login_btn controller.find_child_by_attributes(self.dialog, **self.locators[‘login_button’]) if login_btn: for i in range(login_btn.get_n_actions()): if login_btn.get_action_name(i).lower() ‘click’: login_btn.do_action(i) time.sleep(2) # 等待登錄過程 return True return False def click_cancel(self): 點(diǎn)擊取消按鈕 cancel_btn controller.find_child_by_attributes(self.dialog, **self.locators[‘cancel_button’]) if cancel_btn: for i in range(cancel_btn.get_n_actions()): if cancel_btn.get_action_name(i).lower() ‘click’: cancel_btn.do_action(i) time.sleep(0.5) return True return False頁(yè)面對(duì)象模型將UI元素定位和操作封裝成類的方法使測(cè)試用例腳本更簡(jiǎn)潔、更面向業(yè)務(wù)也便于在UI變化時(shí)集中修改。4.4 編寫第一個(gè)pytest測(cè)試用例在cases/test_login.py中import pytest import time from utils.atspi_helper import controller from pages.main_window import MainWindow # 假設(shè)有主窗口頁(yè)面類 from pages.login_dialog import LoginDialog class TestLogin: pytest.fixture(scope“class”) def app(self): 啟動(dòng)被測(cè)QT應(yīng)用的夾具 # 這里需要你替換為啟動(dòng)你的QT應(yīng)用的實(shí)際命令 import subprocess app_process subprocess.Popen([‘/path/to/your/qt_app’]) time.sleep(3) # 等待應(yīng)用啟動(dòng) yield # 測(cè)試結(jié)束后關(guān)閉應(yīng)用 app_process.terminate() app_process.wait() pytest.fixture def main_window(self, app): 獲取應(yīng)用主窗口的夾具 window controller.find_app_window(“Your QT App Name”) # 替換為你的應(yīng)用窗口名稱 assert window is not None, “Main application window not found!” return window def test_successful_login(self, main_window): 測(cè)試成功登錄流程 main_page MainWindow(main_window) login_dialog LoginDialog(main_window).open() login_dialog.input_credentials(“correct_user”, “correct_password”) assert login_dialog.click_login() True # 驗(yàn)證登錄成功例如檢查主界面某個(gè)元素出現(xiàn) # welcome_label controller.find_child_by_attributes(main_window, role‘label’, name‘歡迎correct_user’) # assert welcome_label is not None # 這里先打印日志示意 print(“Login successful.”) def test_failed_login_with_wrong_password(self, main_window): 測(cè)試密碼錯(cuò)誤登錄失敗 main_page MainWindow(main_window) login_dialog LoginDialog(main_window).open() login_dialog.input_credentials(“correct_user”, “wrong_password”) assert login_dialog.click_login() True # 點(diǎn)擊了登錄按鈕 time.sleep(1) # 驗(yàn)證出現(xiàn)了錯(cuò)誤提示框 error_dialog None for i in range(controller.desktop.get_child_count()): child controller.desktop.get_child_at_index(i) if child.get_role_name() ‘a(chǎn)lert’ and ‘錯(cuò)誤’ in child.get_name(): error_dialog child break assert error_dialog is not None, “Error dialog should appear for wrong password.” # 關(guān)閉錯(cuò)誤提示框 ok_btn controller.find_child_by_attributes(error_dialog, role‘push button’, name‘確定’) if ok_btn: for i in range(ok_btn.get_n_actions()): if ok_btn.get_action_name(i).lower() ‘click’: ok_btn.do_action(i) print(“Failed login handled correctly.”)這個(gè)測(cè)試用例展示了如何使用pytest的夾具fixture來(lái)管理應(yīng)用生命周期以及如何調(diào)用頁(yè)面對(duì)象來(lái)組織清晰的測(cè)試步驟。4.5 集成圖像識(shí)別作為后備方案在utils/image_helper.py中我們封裝一個(gè)簡(jiǎn)單的圖像識(shí)別點(diǎn)擊函數(shù)用于處理AT-SPI無(wú)法識(shí)別的控件。import pyautogui import cv2 import numpy as np import time from PIL import ImageGrab class ImageHelper: def __init__(self, confidence0.9): self.confidence confidence def click_icon(self, icon_path, regionNone, grayscaleTrue): 在屏幕上查找指定圖標(biāo)并點(diǎn)擊其中心。 :param icon_path: 圖標(biāo)圖片路徑 :param region: 搜索區(qū)域 (left, top, width, height)為None時(shí)全屏搜索 :param grayscale: 是否轉(zhuǎn)換為灰度圖進(jìn)行匹配通常能提升速度和抗顏色變化能力 :return: 成功點(diǎn)擊返回True否則返回False try: # 讀取圖標(biāo) icon cv2.imread(icon_path, cv2.IMREAD_UNCHANGED) if icon is None: raise ValueError(f“Cannot read icon image from {icon_path}”) # 截取屏幕 screenshot ImageGrab.grab(bboxregion) if region else ImageGrab.grab() screenshot_cv cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR) if grayscale: icon_gray cv2.cvtColor(icon, cv2.COLOR_BGR2GRAY) screen_gray cv2.cvtColor(screenshot_cv, cv2.COLOR_BGR2GRAY) method cv2.TM_CCOEFF_NORMED result cv2.matchTemplate(screen_gray, icon_gray, method) else: method cv2.TM_CCOEFF_NORMED result cv2.matchTemplate(screenshot_cv, icon, method) min_val, max_val, min_loc, max_loc cv2.minMaxLoc(result) if max_val self.confidence: # 計(jì)算圖標(biāo)中心點(diǎn) h, w icon.shape[:2] center_x max_loc[0] w // 2 center_y max_loc[1] h // 2 # 移動(dòng)鼠標(biāo)并點(diǎn)擊 pyautogui.moveTo(center_x, center_y, duration0.2) pyautogui.click() time.sleep(0.5) return True else: print(f“Icon not found. Max confidence: {max_val}”) return False except Exception as e: print(f“Image recognition failed: {e}”) return False # 使用示例 # helper ImageHelper() # helper.click_icon(‘resources/icons/save_button.png’)在測(cè)試用例中可以這樣使用后備方案def test_save_with_custom_icon(self, main_window): 測(cè)試保存功能保存按鈕是一個(gè)自定義圖標(biāo)AT-SPI無(wú)法識(shí)別 # ... 先進(jìn)行一些操作 # 嘗試用AT-SPI點(diǎn)擊保存按鈕假設(shè)失敗 try: controller.click_button(main_window, ‘保存’) except Exception: print(“Save button not found via AT-SPI, trying image recognition...”) image_helper ImageHelper() success image_helper.click_icon(‘resources/icons/save_icon.png’) assert success, “Failed to click save button even with image recognition.” # ... 后續(xù)驗(yàn)證通過這種主次分明的策略我們構(gòu)建了一個(gè)健壯性更強(qiáng)的測(cè)試框架。5. 持續(xù)集成與測(cè)試報(bào)告生成自動(dòng)化測(cè)試只有融入開發(fā)流程才能發(fā)揮最大價(jià)值。我們將測(cè)試框架集成到Jenkins中并生成直觀的測(cè)試報(bào)告。5.1 使用pytest生成多樣化測(cè)試報(bào)告pytest支持多種報(bào)告格式我們可以同時(shí)生成HTML報(bào)告和Allure報(bào)告后者更美觀且支持歷史趨勢(shì)分析。首先在項(xiàng)目根目錄創(chuàng)建pytest.ini配置文件[pytest] # 指定測(cè)試文件的位置和命名規(guī)則 testpaths cases python_files test_*.py python_classes Test* python_functions test_* # 添加命令行默認(rèn)選項(xiàng) addopts -v --htmlreports/report.html --self-contained-html --alluredirreports/allure_results # -v: 詳細(xì)輸出 # --html: 生成HTML報(bào)告 # --alluredir: 生成Allure原始數(shù)據(jù) # 配置日志 log_cli true log_cli_level INFO log_file logs/pytest.log log_file_level INFO運(yùn)行測(cè)試時(shí)只需執(zhí)行pytest即可在reports/目錄下生成報(bào)告。要查看Allure報(bào)告需要先安裝Allure命令行工具然后生成并打開# 運(yùn)行測(cè)試 pytest # 生成Allure報(bào)告需要先安裝allure命令行工具可從官網(wǎng)下載 allure generate reports/allure_results -o reports/allure_report --clean # 打開報(bào)告會(huì)啟動(dòng)一個(gè)本地web服務(wù) allure open reports/allure_report5.2 搭建Jenkins持續(xù)集成任務(wù)在麒麟服務(wù)器上安裝Jenkins可以通過Docker或直接安裝War包然后創(chuàng)建一個(gè)自由風(fēng)格的任務(wù)。源碼管理配置Git倉(cāng)庫(kù)地址拉取你的測(cè)試代碼和被測(cè)應(yīng)用如果需要。構(gòu)建觸發(fā)器可以配置定時(shí)構(gòu)建如每晚或輪詢SCM代碼有更新時(shí)觸發(fā)。構(gòu)建環(huán)境確保Jenkins節(jié)點(diǎn)可以是Master也可以是ARM64的Agent上安裝了所需的Python版本、依賴庫(kù)通過pip install -r requirements.txt以及AT-SPI相關(guān)的系統(tǒng)包。構(gòu)建步驟執(zhí)行Shell# 激活Python虛擬環(huán)境如果使用 # source venv/bin/activate # 安裝依賴 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 確保顯示環(huán)境對(duì)于無(wú)頭headless服務(wù)器需要虛擬顯示 export DISPLAY:99 # 啟動(dòng)一個(gè)虛擬X服務(wù)器例如使用Xvfb Xvfb :99 -screen 0 1920x1080x24 # 等待Xvfb啟動(dòng) sleep 3 # 運(yùn)行測(cè)試 pytest # 停止Xvfb (可選Jenkins任務(wù)結(jié)束時(shí)會(huì)清理) # pkill -f “Xvfb”后置步驟添加“Publish HTML reports”插件將reports/report.html發(fā)布到Jenkins界面。也可以添加Allure插件來(lái)發(fā)布Allure報(bào)告。構(gòu)建后操作可以配置郵件通知當(dāng)測(cè)試失敗時(shí)通知相關(guān)人員。踩坑實(shí)錄在無(wú)圖形界面的服務(wù)器如麒麟服務(wù)器版上運(yùn)行GUI自動(dòng)化測(cè)試必須配置虛擬顯示服務(wù)器如Xvfb或Xephyr。否則AT-SPI將無(wú)法連接到顯示服務(wù)器所有操作都會(huì)失敗。另外確保Jenkins用戶有權(quán)限啟動(dòng)Xvfb和訪問AT-SPI總線通常需要添加到audio、video等用戶組或者直接以有桌面會(huì)話的用戶運(yùn)行Jenkins agent。6. 常見問題排查與性能優(yōu)化技巧在實(shí)際部署和運(yùn)行過程中你肯定會(huì)遇到各種各樣的問題。這里記錄了一些典型問題的排查思路和優(yōu)化技巧。6.1 AT-SPI控件查找失敗現(xiàn)象find_child_by_attributes返回Noneaccerciser中也看不到控件詳情。排查確認(rèn)應(yīng)用可訪問性支持使用accerciser檢查。如果控件樹為空嘗試設(shè)置環(huán)境變量QT_ACCESSIBILITY1重啟應(yīng)用。對(duì)于自己開發(fā)的應(yīng)用確保編譯時(shí)添加了-qt-accessibility或?qū)?yīng)CMake選項(xiàng)。檢查控件屬性有時(shí)控件的name屬性為空或不是預(yù)期值。嘗試使用role、description或其他屬性組合定位。在accerciser中選中控件查看其“屬性”選項(xiàng)卡中的所有信息。延遲等待控件可能尚未加載完成。在查找前增加time.sleep()或?qū)崿F(xiàn)一個(gè)輪詢查找函數(shù)在超時(shí)時(shí)間內(nèi)不斷嘗試。層級(jí)問題控件可能嵌套在復(fù)雜的容器如QML組件、自定義控件中AT-SPI無(wú)法穿透。嘗試逐層查找先定位父容器再在其子節(jié)點(diǎn)中查找。6.2 自動(dòng)化操作導(dǎo)致應(yīng)用卡死或無(wú)響應(yīng)現(xiàn)象腳本點(diǎn)擊按鈕或輸入文本后應(yīng)用界面卡住腳本也停止響應(yīng)。排查與解決操作間隔過快的連續(xù)操作可能導(dǎo)致應(yīng)用事件隊(duì)列處理不過來(lái)。在關(guān)鍵操作如點(diǎn)擊按鈕打開新窗口、提交表單后增加合理的等待時(shí)間time.sleep(1-2)。使用異步等待更好的方法是等待某個(gè)條件成立而不是固定睡眠。例如等待某個(gè)提示成功的標(biāo)簽出現(xiàn)或者等待窗口標(biāo)題改變。def wait_for_object(parent, **attributes, timeout10): start_time time.time() while time.time() - start_time timeout: obj controller.find_child_by_attributes(parent, **attributes) if obj: return obj time.sleep(0.5) raise TimeoutError(f“Object with attributes {attributes} not found within {timeout} seconds.”)檢查模態(tài)對(duì)話框你的操作可能彈出了一個(gè)未被腳本捕獲的模態(tài)對(duì)話框阻塞了主線程。確保腳本能處理所有可能的彈窗。6.3 在ARM64架構(gòu)上的特殊問題現(xiàn)象在x86上運(yùn)行良好的腳本或工具在ARM64麒麟上安裝失敗或運(yùn)行報(bào)錯(cuò)。解決依賴庫(kù)優(yōu)先使用系統(tǒng)包管理器yum/apt安裝二進(jìn)制包。對(duì)于必須從源碼編譯的Python包確保已安裝對(duì)應(yīng)架構(gòu)的編譯工具鏈gcc,g,make和頭文件python3-dev。預(yù)編譯輪子wheel許多常用Python包如numpy,opencv-python都提供了ARM64的預(yù)編譯輪子pip會(huì)自動(dòng)選擇。如果下載慢或找不到可以指定國(guó)內(nèi)的ARM64鏡像源或者從華為、清華等鏡像站尋找。工具兼容性像scrot、xdotool這類系統(tǒng)工具確保安裝的是ARM64版本。6.4 測(cè)試腳本的穩(wěn)定性和可維護(hù)性優(yōu)化使用明確的等待避免硬編碼sleep盡可能使用條件等待WebDriverWait的思想減少因機(jī)器性能差異導(dǎo)致的失敗。為控件定位信息設(shè)置“別名”或“資源文件”將控件的定位屬性如{‘role’: ‘push button’, ‘name’: ‘登錄’}統(tǒng)一管理在一個(gè)配置文件中如YAML或JSON當(dāng)UI微調(diào)時(shí)只需修改配置文件無(wú)需改動(dòng)大量測(cè)試腳本。引入日志記錄使用Python的logging模塊詳細(xì)記錄每個(gè)步驟的操作和結(jié)果。當(dāng)測(cè)試失敗時(shí)詳細(xì)的日志是排查問題的第一手資料。可以將日志級(jí)別設(shè)置為INFO或DEBUG。實(shí)現(xiàn)失敗截圖功能在pytest的鉤子函數(shù)中如pytest_runtest_makereport當(dāng)測(cè)試失敗時(shí)截取當(dāng)前屏幕保存這對(duì)于調(diào)試圖像識(shí)別失敗或界面狀態(tài)異常非常有幫助。測(cè)試數(shù)據(jù)驅(qū)動(dòng)使用pytest.mark.parametrize將測(cè)試用例與測(cè)試數(shù)據(jù)分離用多組數(shù)據(jù)驅(qū)動(dòng)同一個(gè)測(cè)試流程提高用例的覆蓋率和編寫效率。6.5 處理動(dòng)態(tài)內(nèi)容和自定義控件對(duì)于內(nèi)容動(dòng)態(tài)加載如列表滾動(dòng)加載或完全自定義繪制的控件AT-SPI和圖像都難以識(shí)別可能需要更高級(jí)的策略與開發(fā)團(tuán)隊(duì)協(xié)作為關(guān)鍵的自定義控件添加可訪問性屬性或者提供用于測(cè)試的專用接口如一個(gè)隱藏的、可通過特殊快捷鍵激活的“測(cè)試模式”暴露內(nèi)部狀態(tài)。結(jié)合底層接口如果應(yīng)用提供了DBus接口或其他進(jìn)程間通信機(jī)制可以直接通過DBus調(diào)用來(lái)觸發(fā)某些操作或獲取狀態(tài)繞過GUI層。這需要開發(fā)端的支持。OCR輔助對(duì)于無(wú)法直接獲取的文本內(nèi)容可以使用Tesseract等OCR庫(kù)從屏幕截圖中識(shí)別文字。這可以作為最后的手段因?yàn)槠錅?zhǔn)確率和速度相對(duì)較低。構(gòu)建麒麟操作系統(tǒng)上QT應(yīng)用的自動(dòng)化測(cè)試體系是一個(gè)需要耐心和不斷調(diào)試的過程。它沒有銀彈核心在于理解AT-SPI的工作原理構(gòu)建一個(gè)以它為主、圖像識(shí)別為輔的混合框架并通過良好的工程實(shí)踐如頁(yè)面對(duì)象、條件等待、CI集成來(lái)提升腳本的穩(wěn)定性和可維護(hù)性。當(dāng)你的自動(dòng)化測(cè)試套件能夠在無(wú)人值守的情況下每晚對(duì)最新構(gòu)建的應(yīng)用進(jìn)行全面的回歸測(cè)試并生成清晰的報(bào)告時(shí)你會(huì)發(fā)現(xiàn)所有的投入都是值得的。這不僅提升了產(chǎn)品質(zhì)量也為在國(guó)產(chǎn)化平臺(tái)上的持續(xù)、快速交付提供了堅(jiān)實(shí)保障。