可靠的質量來源于完善的流程保障和職業化的工作素養。拋開人的因素不談,無論開發和測試,都需要一套完善的流程進行全方位的工作指導,大到方法論,小到具體細節的處理,可以說,流程在很大程度上決定著質量的生死。對于測試,同樣需要完善的體系與流程保障,從而在為形態各異的產品測試過程提供質量保障方案的同時,持續的賦予企業自身成長完善的動力。本文介紹H3CPTM(ProductTestManagement)流程,幫助讀者了解與理解測試體系與流程如何在企業內部保證產品與方案的質量。
一、 H3C測試體系
²平臺測試。其主要負責H3C的基礎軟件平臺的測試,包括平臺新開發項目的驗收測試,持續集成新特性的平臺主線的系統級測試,以及一些專項測試(如協議專項測試)。專項測試是指H3C專指測試團隊針對重要特性或不穩定特性主動發起的短時間,高強度測試,人員精干,目標聚焦,重點突破,通常效果非常好,能極大提升被測對象的成熟度。H3C所有測試團隊都可根據需要發起專項測試。
²產品測試。除了少量產品TR4之前項目驗收測試之外,產品測試主要關注產品TR4之后產品版本的系統測試,包含SDV/SIT/SVT幾個階段,確保產品版本達到H3C制定的質量標準。
²鑒定測試。這是H3C特有的一個環節,為了更嚴格的保證產品質量,H3C引入了內部的獨立第三方測試團隊——鑒定測試團隊,代表用戶對產品進行全方位的嚴酷測試,沒有通過鑒定測試的產品不能大規模上市,工作重點在于對產品版本的ADCP(部分產品EDCP)進行獨立嚴格的驗收鑒定測試,做為產品版本的TR6根本質量依據。同時,針對行業和應用的解決方案也有相應的鑒定測試團隊。
二、 PTM產品測試管理流程
1. PTM產品測試管理流程
H3C的產品開發遵循的是IPD流程,軟件測試是IPD-PTM(ProductTestingManagement)流程。PTM是IPD流程體系中專門為產品測試工作量身打造的子流程,是IPD的關鍵子流程之一,用于指導產品的全流程測試工作,是H3C的產品測試端到端管理流程,和其他子流程(如IPD-CMMI,IPD-HCMM等)一道,共同確保產品團隊能按計劃、高效的推出滿足客戶需求的高質量產品。IPD全周期中各產品開發階段都有對應的測試活動(如圖1所示)。從實踐來看,這個流程對于大型軟件的質量保障非常有效。PTM的主要特點和作用如下:
²PTM為產品測試抽象出覆蓋完整生命周期的統一測試業務流程,明確劃分了生命周期中各測試階段,定義了各測試階段的關鍵測試活動,使測試團隊的工作開展可以有章可循,有法可依;
²PTM為產品測試活動制定了操作規范,度量標準和審計手段,并提供經過實踐檢驗的方法、工具支持以及IT支撐,使測試工作的開展更高效,對測試質量和產品質量的評價也能更客觀、更全面;
²PTM為產品測試構建了端到端的開放流程平臺,使測試及缺陷修復活動中的各類經驗和數據得以長期有效積累,為測試技術、缺陷分析技術、缺陷修復技術的研究提供決策方向,使測試和開發過程成為可持續優化的閉環。
圖1測試生命周期(PTM和IPD各階段對應)
PTM是IPD流程體系中專門為產品測試工作量身打造的子流程,用于指導產品的全流程測試工作。從圖1的流程要求可以看出,在產品的概念階段測試即介入產品研發,需要任命測試經理(TM)和測試系統工程師(TSE),并組建產品測試團隊。
Charter到TR3,對應測試需求分析和計劃階段。在設計層面,產品要完成從產品包需求,到產品規格,再到概要設計的設計過程,相應的,TM和TSE可需要完成從可測試需求,到測試規格,再到測試點的測試設計過程;在計劃層面,產品要完成E2E*(注:即endtoend,端到端)總體計劃到3/4級計劃的細化過程,相應的,TM和TSE需要輸出E2E測試計劃和E2E測試策略,作為后續測試活動開展的總綱。具體上講,TR1產品重點關注產品包需求的完備性以及選擇的產品概念是否滿足產品包需求,測試相應的定義產品可測試性需求,納入產品包需求進行跟蹤;CDCP制訂產品E2E計劃,測試相應的制訂E2E測試計劃(總體),為后續測試活動繪制路線圖;TR2重點關注產品設計需求到產品設計規格的完備性,測試通過進行產品測試需求分析,輸出產品測試規格,明確后續測試內容的總綱;TR3確保設計規格已經完全、正確地在概要設計中得到體現,測試則根據產品測試規格進一步細化輸出測試點;PDCP產品輸出3/4級E2E計劃,測試則輸出細化的E2E測試策略和E2E測試計劃。測試需求分析和計劃階段非常重要,且往往易被忽視。該階段測試工作做的扎實,系統的可靠性、測試的完備性等方面都能得到很好的保障,有經驗的TM和TSE也可以通過E2E計劃和策略,很好的控制后期測試活動的節奏。