一、背景

隨著自動化測試的設(shè)計理念不斷完善、新的技術(shù)不斷應(yīng)用，自動化測試資產(chǎn)的積累代價和維護(hù)成本不斷降低，自動化測試資產(chǎn)的數(shù)量持續(xù)增長。同時，隨著DevOps的普及，應(yīng)用研發(fā)過程越來越敏捷，自動化測試能力逐步從測試部門輸出至開發(fā)部門，在每日構(gòu)建、制品晉級、版本發(fā)布等流程中成為必備環(huán)節(jié)。

隨著自動化測試執(zhí)行能力的不斷提升，自動化測試執(zhí)行結(jié)果數(shù)據(jù)指數(shù)級增加，大量的結(jié)果分析處理工作成為自動化測試開展的瓶頸。本文介紹一種基于知識庫的接口自動化測試結(jié)果分析方法與裝置，通過接口測試結(jié)果模型化方法和基于錯誤碼庫、非缺陷知識庫的錯誤歸類分析方法，輔助測試人員高效實施大規(guī)模、多系統(tǒng)的接口自動化測試結(jié)果分析處理。

二、接口測試結(jié)果模型化

接口自動化測試，簡單地說，就是按測試需求裝報文，發(fā)送給被測系統(tǒng)，接收并解析返回報文，判斷測試成功失敗。

在自動化測試平臺中，對接口測試過程模型化統(tǒng)一封裝：

（1）通訊過程是報文發(fā)送和接收，其相關(guān)內(nèi)容抽象為通訊組件；

（2）報文是被測系統(tǒng)與其客戶端或調(diào)用方針對具體接口約定的交互信息。其中，報文組裝和解析相關(guān)內(nèi)容抽象為報文組件，具體接口交互信息抽象為報文格式，對發(fā)送給被測系統(tǒng)的報文稱為輸入報文，被測系統(tǒng)返回的報文稱為輸出報文。

三、對測試結(jié)果的第一級分析：根據(jù)返回標(biāo)志位進(jìn)行初步判斷

一般而言，符合一定開發(fā)規(guī)范的應(yīng)用系統(tǒng)，會在返回報文公有域特定字段返回應(yīng)用級處理結(jié)果。若應(yīng)用級處理錯誤，則還會在返回報文公有域特定字段返回錯誤碼和錯誤信息。

因此，在接口自動化測試執(zhí)行過程中，執(zhí)行程序?qū)⒔涌跍y試結(jié)果預(yù)處理為統(tǒng)一數(shù)據(jù)模型，包括結(jié)果標(biāo)志、錯誤碼、錯誤信息和返回報文，便于后續(xù)處理。

其中，結(jié)果標(biāo)志分為5類：

（1）應(yīng)用級處理正確，則結(jié)果標(biāo)志為N，此時錯誤碼、錯誤信息均為空；

（2）應(yīng)用級處理錯誤，則結(jié)果標(biāo)志為E，錯誤碼、錯誤信息存儲返回報文提取的相應(yīng)信息；

（3）在金融系統(tǒng)中，為保證安全，重要金融交易一般會涉及雙人復(fù)核或者遠(yuǎn)程授權(quán)的過程，此時應(yīng)用級處理結(jié)果為“需要授權(quán)”，則結(jié)果標(biāo)志為A，錯誤碼、錯誤信息均為空；

（4）在平臺執(zhí)行接口測試的過程中，若出現(xiàn)任何程序未處理的內(nèi)部異常，則結(jié)果標(biāo)志為I，此時錯誤碼、錯誤信息均為空；

（5）在常見的HTTP/HTTPS、TCP等通訊方法中，若無法正常通訊并拿到預(yù)期的返回報文，則認(rèn)為在通訊級發(fā)生異常，結(jié)果標(biāo)志為U，此時錯誤碼、錯誤信息均為空。

通過第一級分析，可以對接口測試結(jié)果進(jìn)行初步分類，輔助測試人員判斷接口測試報錯類型，排除網(wǎng)絡(luò)等環(huán)境因素造成的誤報。

四、對測試結(jié)果的第二級分析：根據(jù)錯誤碼庫和非缺陷知識庫進(jìn)行精準(zhǔn)判斷

僅通過返回報文分析，對于“大幅降低接口測試誤報率”的預(yù)期是不夠的，需要配合錯誤碼庫和非缺陷知識庫進(jìn)行第二級精準(zhǔn)分析。其實現(xiàn)方式是：自動化測試平臺按系統(tǒng)名稱為各系統(tǒng)提供錯誤碼庫，對結(jié)果標(biāo)志為E的接口測試結(jié)果細(xì)分錯誤碼，分別設(shè)置錯誤描述、匹配方式和匹配表達(dá)式。匹配方式分為三種：

（1）精確匹配：該匹配方式適用于統(tǒng)籌設(shè)計良好的系統(tǒng)，項目組能夠較好的歸類業(yè)務(wù)錯誤、分配錯誤碼，并在系統(tǒng)接口設(shè)計中在公有域有固定字段返回錯誤碼和錯誤信息，此類系統(tǒng)直接采用錯誤碼庫中的錯誤碼與接口測試結(jié)果模型中的錯誤碼匹配；

（2）錯誤信息模糊匹配：該匹配方式適用于能夠從固定字段輸出錯誤信息，但沒有固定字段返回錯誤碼或者錯誤碼定義不規(guī)范（如錯誤碼是中文信息）的系統(tǒng)，此類系統(tǒng)錯誤碼和錯誤信息由測試人員自行定義，每類錯誤碼需對應(yīng)設(shè)計匹配表達(dá)式，即一條正則表達(dá)式，若接口測試結(jié)果模型中的錯誤信息能匹配該正則表達(dá)式則歸為該類錯誤；

（3）返回報文模糊匹配：該匹配方式適用于接口設(shè)計不規(guī)范、無固定字段返回錯誤信息的系統(tǒng)，此類系統(tǒng)錯誤碼和錯誤信息由測試人員自行定義，每類錯誤碼需對應(yīng)設(shè)計匹配表達(dá)式，即一條正則表達(dá)式，若接口測試結(jié)果模型中的返回信息能匹配該正則表達(dá)式則歸為該類錯誤。

在實際接口測試中，由于被測系統(tǒng)配置錯誤、被測系統(tǒng)鋪底數(shù)據(jù)異常等問題而出現(xiàn)的錯誤并非本次測試結(jié)果中需重點關(guān)注的內(nèi)容，對于該類錯誤，將錯誤碼庫中的對應(yīng)錯誤條目增加標(biāo)志位，即納入非缺陷知識庫。

經(jīng)過實踐，在實施第二級精準(zhǔn)分析后，往往能大幅降低接口自動化測試的誤報率，減少一線測試團(tuán)隊的分析工作量。

五、接口測試結(jié)果歸類分析

基于接口測試結(jié)果的模型化和兩級分析，我們將接口測試的結(jié)果分類分析，輸出概要表和錯誤分類表。

概要表如下：

執(zhí)行錯誤的交易將進(jìn)一步處理為錯誤明細(xì)表，如下：

利用該分析結(jié)果，測試人員可重點關(guān)注結(jié)果類型為“執(zhí)行錯誤”的分類，確認(rèn)為缺陷的應(yīng)提交給開發(fā)人員修復(fù)；對于“執(zhí)行錯誤非缺陷”的分類，應(yīng)在解決對應(yīng)問題后再次測試相關(guān)接口。

六、結(jié)語

本文介紹的接口自動化測試結(jié)果分析方法，將不同系統(tǒng)、不同通訊方式、不同報文協(xié)議的接口測試結(jié)果標(biāo)準(zhǔn)化為的統(tǒng)一數(shù)據(jù)模型，并依據(jù)組織級錯誤碼庫和非缺陷知識庫對標(biāo)準(zhǔn)化的測試結(jié)果進(jìn)行分類分析，大大降低測試結(jié)果的人工分析工作量。其中，錯誤碼庫及配套的三種錯誤匹配方式，使得測試人員可以靈活自主地為被測系統(tǒng)定制錯誤歸類識別方案，在不同應(yīng)用系統(tǒng)接口設(shè)計標(biāo)準(zhǔn)化程度不一的場景下，解決了接口測試結(jié)果的錯誤識別問題；非缺陷知識庫的設(shè)計，使得測試人員可以預(yù)設(shè)部分不關(guān)注的錯誤類型，以獲取重點更加突出的錯誤分析結(jié)果，輔助測試人員更加高效地完成測試活動。

接口自動化測試的誤報率控制，是提升自動化測試效能的關(guān)鍵點，筆者也將繼續(xù)探索相關(guān)方法，致力于自動化測試效能的不斷提升。

最后：在我的V：atstudy-js，可以免費領(lǐng)取一份10G軟件測試工程師面試寶典文檔資料。以及相對應(yīng)的視頻學(xué)習(xí)教程免費分享！其中包括了有基礎(chǔ)知識、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫、抓包工具專題、接口測試工具、測試進(jìn)階-Python編程、Web自動化測試、APP自動化測試、接口自動化測試、測試高級持續(xù)集成、測試架構(gòu)開發(fā)測試框架、性能測試、安全測試等。