不得不說,在自動化測試研究的工作中,確實學到了很多。除了測試技術之外,更多的是在業務,還有對于工作流程的一些思索。
自動化測試的測試管理這一塊,一開始的時候先是想用TD(TestDirect測試屆很流行的一款測試管理軟件,比較成熟,包括測試需求、計劃管理,Bug管理,報告生成等)的,QC(Quality Center,其實和TD是一家,目前TD已經不再升級了)直接淘汰,主要是目前為止,我還沒有看見過unlimited的破解碼,而沒有看到效果直接讓公司掏錢買當然更不合理。
經過仔細評估,TD也淘汰了。因為我們CCI的工作流程已經非常成熟,早就有了一整套的開發測試的工作流程,也有管理bug的軟件。所以自動化的測試管理實際上CCI已經做到夠用,當然從長遠來看,有一個穩定且強大的自動化測試管理系統是非常必要的。而目前改革的必要則不大。不要為了自動化而自動化,就是這個道理啦!
需要進行自動化測試管理的范圍最終縮小在回歸測試,這是測試工作最辛苦的部分。回歸測試需要保證測試環境的穩定,保證新增功能正常,還要驗證舊的功能,主要原因是在于永遠都是一個非常緊迫的Deadline,枯燥而又緊張,能否充分測試是個永遠的問題。不光是在我們部門,整個測試界都為之頭痛。而我考慮這個問題也真的是很久很久了,假期的某一天我突然想到,為什么不用開源的工具來為CCI的回歸測試定制一套自動化的管理工具呢?
這樣做的好處有很多,首先是免費,因為免費,公司就不需要承擔用盜版軟件侵權的風險,也便于給其他的部門推廣;第二是開源,因為開源,就可以定制真正適合我們的管理工具;第三還是開源,使用的時候有什么問題,或軟件有Bug,都可以通過改寫調試來解決。
我同樣考慮了這樣做的風險,最大的自然就是技術上的,能不能找到合適的開源軟件是第一個問題,畢竟開源的工具不會像主流的商業工作做得那樣完善。能不能去改代碼適應我們是第二個問題,如果將來多數的功能沒有現成的全部要自己來寫,成本會不會太高?至于第三個也是最關鍵的問題,在CCI使用后會不會有我預期的效果,我倒是不太擔心,如果不好用,就沒有使用的必要了,最差也就是維持現狀。所以我覺得還是值得一試,只要遇到問題盡最大努力去解決。
再下面我就仔細考慮回歸測試中的具體問題了,以爭取在后面的工作中能夠全部或者大部分的改進。在這里再一次給大家推薦“思維導圖”的方法,和很多同事分享過,這一次我又使用這個方法快速地鎖定要解決的問題。畫了好多,經過篩選,按照角色挑出來三個主要問題:
1、測試組長:現階段回歸測試的任務管理是測試組長獨立承擔,通過發送郵件給大家分配工作;工作進行后會通過詢問跟進每個人的完成情況,了解存在問題等;全憑組長的責任心記清問題,提交給相關人員解決。弊端顯而易見,耗時,費事,任務較繁重時難免焦頭爛額。
2、網管:要保證測試環境的穩定真的不是一件輕松的工作,特別是我們這樣一個功能完善的系統,有這么多人使用,有些配置被改動可能就會影響正常的測試;回歸測試中很常見這樣的情況,一個又一個測試工程師給網管說,“給我看看XX配置,我等著測哪!”“那個XX功能還沒好,先給我看看好不好?”“啊,那個功能改好了,怎么不告訴我一聲,等半天了。”同樣的,如果配置不穩定,網管的工作效率很容易成為整個回歸測試的瓶頸。
3、項目經理:需要了解進度時也是通過詢問的方式;還有如果測試組需要項目經理協調解決一些問題時,同樣是詢問。
將測試工程師排除出來不是說沒有問題,而是1,2,3已經包括。針對1,需建立測試計劃分配、以及任務跟進的機制。針對2,需要包括任務優先級定義設置;針對3,需要建立自動生成測試進度報告;1,2,3都需要建立自動通知的機制。
(歡迎繼續關注下篇 實踐篇)