在測試過程中我們會使用大量經(jīng)過精心設計的測試數(shù)據(jù)，這些數(shù)據(jù)展示了測試的目的并且在被測系統(tǒng)中產(chǎn)生影響，我們通過產(chǎn)生的結(jié)果來判斷軟件行為是否符合期望。在敏捷快速迭代交付的背景下，如何快速地設計和產(chǎn)生出“好”的測試數(shù)據(jù)是一個巨大的挑戰(zhàn)。
本文主要總結(jié)我對測試數(shù)據(jù)的理解和使用上的一些實踐經(jīng)驗。
測試數(shù)據(jù)的定義
測試數(shù)據(jù)是指一組專注于為測試服務的數(shù)據(jù)，既可以作為功能的輸入去驗證輸出，也可以去觸發(fā)各類異常場景。測試數(shù)據(jù)的重要性不言而喻，不全的測試數(shù)據(jù)意味著有遺落的測試場景，無效的測試數(shù)據(jù)會增加測試成本，這些問題都會降低軟件質(zhì)量。
毫無疑問，測試數(shù)據(jù)的理想狀態(tài)是接近于產(chǎn)品環(huán)境的真實數(shù)據(jù)，所以研究產(chǎn)品環(huán)境的數(shù)據(jù)特點必不可少。在HTSM中產(chǎn)品元素中的數(shù)據(jù)元素描述了產(chǎn)品數(shù)據(jù)的大致分類，我們可以按照此分類去研究產(chǎn)品的數(shù)據(jù)，從而推斷出測試數(shù)據(jù)的內(nèi)容和特點。
- 輸入： 被產(chǎn)品處理的數(shù)據(jù)
- 輸出： 被產(chǎn)品處理后的結(jié)果數(shù)據(jù)
- 預先設置： 產(chǎn)品內(nèi)建數(shù)據(jù)或是提供給產(chǎn)品的數(shù)據(jù)。比如默認值和預先設置好的數(shù)據(jù)庫
- 持久： 被存儲在產(chǎn)品內(nèi)部并且會在多個模塊操作中持續(xù)存在的數(shù)據(jù)。比如產(chǎn)品的模式或是狀態(tài)：選項設置，視角模式等
- 順序/組合： 被排序或是組合的數(shù)據(jù)。比如文字順序和數(shù)據(jù)排序等
- 基數(shù)： 可能會被改變的對象或是字段數(shù)。還有像數(shù)據(jù)庫鍵這樣的唯一值
- 大/小： 大小的變化和數(shù)據(jù)匯總
- 噪音： 無效的、被污染的或是在錯誤的情況下產(chǎn)生的數(shù)據(jù)和狀態(tài)
- 生命周期： 數(shù)據(jù)生命周期內(nèi)增查改刪的轉(zhuǎn)化
什么樣的數(shù)據(jù)是值得我們選擇的，是所謂的“好”數(shù)據(jù)呢？一般我們要求數(shù)據(jù)具有下面三個特征
- 現(xiàn)實性 - 數(shù)據(jù)應該無限接近于產(chǎn)品環(huán)境的真實用戶數(shù)據(jù)。比如說地址，我們不能隨便寫一個不存在的地址，而是選擇用戶區(qū)域的代表性地址；比如說文本，我們不用多個字母亂序隨機生成，而是使用類似于lorem ipsum這樣的工具去生成。現(xiàn)在很多mock data/fake data工具提供的數(shù)據(jù)都非常真實。此外，通過對線上用戶行為和數(shù)據(jù)的調(diào)研，我們可以總結(jié)出一套"Best Candidate Data"或"Golden Data Set"，這套數(shù)據(jù)能代表產(chǎn)品接受和處理最多最典型的數(shù)據(jù)是什么，我們必須設計場景去覆蓋這套數(shù)據(jù)，也會把這套數(shù)據(jù)作為回歸測試等活動的主要數(shù)據(jù)。
- 有效性 - 測試數(shù)據(jù)要符合系統(tǒng)自身的業(yè)務邏輯。比如系統(tǒng)不接受大于60歲的年紀，我們不能設計很多大于60歲的數(shù)據(jù)，因為最終結(jié)果都是不會被驗證通過。
- 全面性 - 每個測試場景的發(fā)生可能會有多個觸發(fā)條件和結(jié)果，我們需要考慮所有適用于場景中不同子場景的數(shù)據(jù)。
測試數(shù)據(jù)的設計與產(chǎn)生
在大部分場景中，測試數(shù)據(jù)是海量的甚至無限的，我們不可能為了測試某一個功能而窮盡所有可能的數(shù)據(jù)；基于時間、成本和質(zhì)量的考慮，我們會去抉擇哪些數(shù)據(jù)具有代表性，更加具有找到缺陷的可能性。那么我們會如何設計測試數(shù)據(jù)？
通常來講，測試數(shù)據(jù)的設計是伴隨著測試用例的設計。測試用例設計出的測試點或是測試場景需要測試數(shù)據(jù)來充實，所以下面提到的最基本的測試用例設計方法也適用于測試數(shù)據(jù)：
- 等價類
- 邊界值
- 因果圖
- 決策表
- 正向 & 反向
此外，下面方法也是我自己常用的測試數(shù)據(jù)設計方法
- 數(shù)據(jù)驅(qū)動(data driven) - 大量數(shù)據(jù)的簡單處理
- 組合測試(pairwise testing) - 測試建模
- 探索性測試
- 快遞漫游 - 跟著一組數(shù)據(jù)走遍軟件的功能
- 沙發(fā)土豆漫游 - 默認值，空值
- 收藏家漫游 - 收集軟件功能的輸出
- 敵對漫游 - 無效數(shù)值
- 測試啟發(fā)cheatsheet - 對于每一種類型數(shù)據(jù)的測試啟發(fā)
測試數(shù)據(jù)的產(chǎn)生一般是在測試執(zhí)行之前，產(chǎn)生方法包含：
- 測試人員執(zhí)行測試過程中手工輸入產(chǎn)生
- 來源于測試用例中的測試數(shù)據(jù) (designed before test)
- 測試執(zhí)行時探索式測試啟發(fā)的數(shù)據(jù) (on-the-fly)
- 自動化填表單工具
- SQL腳本 - 批處理更新數(shù)據(jù)庫
- 程序自動生成(Automated Test Data Generation Tools)
- mock data/fake data - 多用于自動化測試(單元測試和API功能測試)
- 自動化腳本創(chuàng)建數(shù)據(jù) - 比如說UI自動化測試(效率低)，單個某類型數(shù)據(jù)生成腳本
- 開發(fā)過程中創(chuàng)建
- 數(shù)據(jù)分離 - 為自動化測試服務，項目中提前以數(shù)據(jù)文件形式儲存的數(shù)據(jù)
- 復制產(chǎn)品環(huán)境的數(shù)據(jù)
- 不過由于安全和隱私的要求，一般來講，測試數(shù)據(jù)不能直接復制產(chǎn)品環(huán)境
- 通常來講，因為產(chǎn)品環(huán)境數(shù)據(jù)包含的數(shù)據(jù)組合數(shù)量偏少以及沒有無效數(shù)據(jù)，所以產(chǎn)品環(huán)境數(shù)據(jù)是測試環(huán)境數(shù)據(jù)的子集
- 復制遺留系統(tǒng)的數(shù)據(jù)
- 文件導入 - 比如說DB的備份或其他格式文件
讓我們一起看下不同的測試類型中測試數(shù)據(jù)的設計和產(chǎn)生有哪些獨特方法。
| SDLC | 測試類型 | 方法 | 測試數(shù)據(jù)設計 | 測試數(shù)據(jù)產(chǎn)生 |
|---|---|---|---|---|
| Code | 單元測試 | 自動化 | 針對某一個函數(shù)方法覆蓋更多的代碼路徑，無效參數(shù) | 使用mock data/fake data自動化產(chǎn)生，從單獨的數(shù)據(jù)文件讀取，hard code在程序中(作為參數(shù)或變量) |
| Test | 功能測試 | 手工/自動化 | 使用基本測試用例設計方法，探索式測試，數(shù)據(jù)驅(qū)動，測試建模，支持最重要的用戶場景的測試數(shù)據(jù) | 手工輸入，使用mock data/fake data自動化產(chǎn)生，從單獨的數(shù)據(jù)文件讀取，hard code在程序中(作為參數(shù)或變量) |
| Test | 性能測試 | 自動化 | 收集產(chǎn)品性能相關信心，設置接近于產(chǎn)品環(huán)境的benchmark | 自動化模擬 |
| Test | 安全測試 | 自動化 | 驗證保密性的數(shù)據(jù)，驗證完整性的數(shù)據(jù)，身份驗證的數(shù)據(jù)，權(quán)限驗證的數(shù)據(jù) | 從單獨的數(shù)據(jù)文件讀取，寫在程序中(作為參數(shù)或變量) |
專注于test data的測試技術 - Domain Testing
在HTSM的Test Technical提到一個專注于 test data的測試技術
-
域測試 Domain Testing
- 描述： 專注于測試軟件所處理的數(shù)據(jù) divide and conquer the data
- 典型思路
- 找到產(chǎn)品處理的所有數(shù)據(jù)。看輸出也看輸入
- 決定哪些特殊的數(shù)據(jù)需要測試。考慮邊界值、典型值、無效值和最佳代表數(shù)據(jù)
- 考慮數(shù)據(jù)的組合
Domain Testing是Functional Testing的一種，通過設計制定特殊的數(shù)據(jù)作為輸入來評估軟件的輸出，解決了在輸入域里無法窮盡測試和選擇“最佳”子集數(shù)據(jù)的問題。通常的手段有：
- 識別關鍵數(shù)據(jù)
- 等價類
- 邊界值
- 不尋常的數(shù)據(jù)
- 數(shù)據(jù)組合
- 觸發(fā)不同狀態(tài)的數(shù)據(jù)
in domain testing, we partition a domain into sub-domains(equivalence classes) and then test using values from each sub-domain
Domain Testing的指導性非常顯著，實施Domain Testing可以幫我們形成數(shù)據(jù)相關的測試思路，比如
- 該變動影響和涉及的測試數(shù)據(jù)有哪些？
- 數(shù)據(jù)作為輸入變量
- 數(shù)據(jù)作為輸出變量
- 測試數(shù)據(jù)有什么類型？
- 有哪些無效的數(shù)據(jù)？如何被系統(tǒng)識別和處理？
- 有哪些有效的數(shù)據(jù)？不同的有效數(shù)據(jù)類型如何被系統(tǒng)接收和處理？
- 最重要的測試數(shù)據(jù)是哪些？考慮邊界值、典型值、無效值和最佳代表數(shù)據(jù)
- 測試數(shù)據(jù)如何產(chǎn)生？
- 用戶產(chǎn)生數(shù)據(jù)的方式有有哪些？
- 測試數(shù)據(jù)如何被系統(tǒng)處理？
- 大規(guī)模的數(shù)據(jù)處理
- 同一數(shù)據(jù)在不同模塊之間的處理
- 能否能被成功儲存
- 測試數(shù)據(jù)會在哪些地方以什么方式呈現(xiàn)給用戶？
- 測試數(shù)據(jù)有哪些特點
- 完整性 - 數(shù)據(jù)在被不同功能或模塊容納處理后依然完整
- 唯一性 - 數(shù)據(jù)是否在系統(tǒng)里唯一，不能有重復
- 一致性 - 單一數(shù)據(jù)在系統(tǒng)不同功能或模塊中顯示一致
- 沖突性 - 不同數(shù)據(jù)之間是否沖突
測試數(shù)據(jù)的管理
對于有著不同業(yè)務的系統(tǒng)，創(chuàng)造符合業(yè)務的特殊數(shù)據(jù)是需要提前準備的，比如某某國家獨特的郵政編碼、某個城市具體的街道名稱、一個有效的social security number、一個過期的credit card number和一個特殊狀態(tài)的用戶數(shù)據(jù)等；不然可能會出現(xiàn)在測試執(zhí)行過程中發(fā)現(xiàn)數(shù)據(jù)不對而去重新等待或?qū)ふ覕?shù)據(jù)，造成了時間和精力的浪費。測試數(shù)據(jù)的管理能夠保證測試人員在測試過程中，隨時有相應的工具或系統(tǒng)提供所有測試需要的數(shù)據(jù)，并且這些測試數(shù)據(jù)會與系統(tǒng)更新同步。測試數(shù)據(jù)也會因為管理的高效性變得可復用和可追溯。
還有一個要做好測試數(shù)據(jù)管理的重要原因是由于數(shù)據(jù)的安全性和隱私性，產(chǎn)品環(huán)境的數(shù)據(jù)是不可能直接拿來使用的，所以通過測試數(shù)據(jù)的有效管理來持續(xù)提供接近于產(chǎn)品環(huán)境的anonymized or synthetic data是非常有必要的。
再來總結(jié)一下測試數(shù)據(jù)管理的好處：
- 提供了交付測試數(shù)據(jù)的統(tǒng)一工具或平臺
- 能夠?qū)崟r產(chǎn)生適應需求的測試數(shù)據(jù)
- 減少了測試數(shù)據(jù)出錯的可能性
- 測試數(shù)據(jù)可復用
- 測試數(shù)據(jù)可追溯
- 盡早提供了測試數(shù)據(jù)，減少不必要的測試等待時間
- 提高測試效率，從而幫助項目高質(zhì)量交付
總結(jié)
測試數(shù)據(jù)是測試設計中非常重要的一個環(huán)節(jié)，測試數(shù)據(jù)準備的好與壞直接影響著項目質(zhì)量和交付進度。我們既需要使用各類測試技術設計出匹配系統(tǒng)特點的數(shù)據(jù)，也需要對測試數(shù)據(jù)進行良好的管理。
