前言:
我們都知道在測(cè)試移動(dòng)app時(shí)最耗時(shí)的是在各種測(cè)試設(shè)備進(jìn)行測(cè)試, 因?yàn)椴徽撌前沧窟€是iOS都已經(jīng)碎片化了。而云測(cè)試看似是解決這一問題的有效途徑。因此選擇哪種云測(cè)試平臺(tái)來協(xié)助測(cè)試人員進(jìn)行各種測(cè)試就成為首要問題。
以下是我調(diào)研過的幾家主要的云測(cè)試平臺(tái):AWS Device Farm、百度MTC、騰訊優(yōu)測(cè)、阿里云測(cè)、Testin云測(cè)
下面列出各個(gè)云測(cè)試平臺(tái)的步驟,報(bào)告,在文章的最后列出了功能對(duì)比圖,和一些個(gè)人的總結(jié),僅供參考。
一、 AWS Device Farm
AWS Device Farm 是一項(xiàng)應(yīng)用程序測(cè)試服務(wù),可讓您立即在很多設(shè)備上測(cè)試 Android、iOS 和 Web 應(yīng)用程序并與之交互,或者在設(shè)備上實(shí)時(shí)地重現(xiàn)問題。查看視頻、屏幕截圖、日志和性能數(shù)據(jù),以在推出應(yīng)用程序前查明并解決問題。
1、注冊(cè)自己AWS賬號(hào),登錄
2、開始創(chuàng)建屬于自己的測(cè)試工程
3、點(diǎn)擊create project,輸入project name,點(diǎn)擊create project按鈕, project創(chuàng)建成功,并跳轉(zhuǎn)到project頁面。
4、Project頁面分為2種功能:
*Automated tests(自動(dòng)化測(cè)試)
*Remote access(遠(yuǎn)程訪問)
5、首先介紹Automated tests,點(diǎn)擊create a new run,來創(chuàng)建第一個(gè)測(cè)試任務(wù)
第一步:choose application,分為2種:app、web application
第二步:confiure test。如上一步選擇app,則此步驟支持8種框架、如下圖:
如上一步選擇web application,則此步驟支持3種框架。如下圖:
第三步:select devices??梢赃x擇top devices,或者點(diǎn)擊create a new device pool 來選擇自己需要的devices。
此頁面為Create a new device pool,輸入name,description,并選擇需求的devices.
第四步:Specify device state。提供其他數(shù)據(jù)和/或安裝附加應(yīng)用程序以供AWS Device Farm在運(yùn)行期間使用,指定是否將在運(yùn)行期間啟用Wi-Fi,藍(lán)牙,GPS或NFC,預(yù)設(shè)設(shè)備的緯度和經(jīng)度運(yùn)行,并預(yù)設(shè)運(yùn)行的設(shè)備區(qū)域設(shè)置。
第五步:Review and start run.測(cè)試任務(wù)總覽,可修改之前設(shè)置好的信息。點(diǎn)擊start run,任務(wù)開始自動(dòng)執(zhí)行。執(zhí)行完畢后,點(diǎn)擊進(jìn)入任務(wù)詳情中,查看測(cè)試報(bào)告
6、下面開始介紹Remote access(遠(yuǎn)程訪問)
第一步:點(diǎn)擊start a new session按鈕,進(jìn)入Create a new remote access session頁面,選擇需要的機(jī)型。
第二步:Create a new remote access session頁面,可根據(jù)name、platform、os、form、factor來搜索需要的device
第三步:Remote access報(bào)告:可下載查看操作過程中的Automation Output、Application Output、XCTest UI Log、VideoSyslog。
7、測(cè)試報(bào)告既包含每臺(tái)設(shè)備的詳細(xì)數(shù)據(jù),也包含簡(jiǎn)略結(jié)果(如 CPU 平均使用率或特定錯(cuò)誤的發(fā)生次數(shù))。遠(yuǎn)程訪問結(jié)果中包含日志和會(huì)話視頻
二、 百度MTC-移動(dòng)云測(cè)試中心
百度MTC是百度開放平臺(tái)旗下的移動(dòng)云測(cè)試中心。提供超過500款熱門機(jī)型,目前只支持Android系統(tǒng),暫不支持iOS系統(tǒng)。提供的測(cè)試服務(wù)種類有兼容性測(cè)試、性能測(cè)試、功能測(cè)試。并且提供了腳本錄制工具,類似Testin。但腳本錄制工具更新速度較慢。百度MTC的服務(wù)目前為收費(fèi)服務(wù)。
1、移動(dòng)app測(cè)試服務(wù)包含:自動(dòng)化測(cè)試、人工測(cè)試、用戶接受度評(píng)測(cè)、遠(yuǎn)程真機(jī)調(diào)試。點(diǎn)擊創(chuàng)建測(cè)試任務(wù)即可
2、以功能回放測(cè)試為例:創(chuàng)建測(cè)試任務(wù)。步驟為上傳app,上傳用例,選擇測(cè)試終端,截圖,郵件。
3、測(cè)試報(bào)告包含:應(yīng)用基本信息、結(jié)論總覽、問題分布、問題列表、問題終端分布、性能結(jié)論、性能分析、內(nèi)存占用分析、終端列表。
點(diǎn)擊進(jìn)入終端詳細(xì)報(bào)告,包含內(nèi)容:終端信息、測(cè)試結(jié)果、性能結(jié)果、測(cè)試截圖、安裝日志、logcat日志、腳本日志、性能詳情、屏幕錄像。
三、 騰訊優(yōu)測(cè)
騰訊優(yōu)測(cè)是騰訊旗下的云測(cè)試服務(wù)平臺(tái),擁有超過1000款測(cè)試終端,機(jī)型數(shù)量龐大。另外,騰訊優(yōu)測(cè)還提供“云手機(jī)”服務(wù),開發(fā)者可以遠(yuǎn)程控制測(cè)試終端,實(shí)時(shí)查看App安裝、運(yùn)行效果。
以極速50款測(cè)試報(bào)告為例:
四、 阿里云測(cè)-移動(dòng)質(zhì)量中心
阿里MQC是阿里巴巴旗下的移動(dòng)測(cè)試平臺(tái)。提供上百款測(cè)試終端,支持Android及iOS系統(tǒng)。提供兼容性測(cè)試、功能測(cè)試、性能測(cè)試以及穩(wěn)定性測(cè)試(1小時(shí))。測(cè)試腳本需使用Robotium或Appium測(cè)試框架編寫,難度較高。MQC也提供了遠(yuǎn)程的真機(jī)調(diào)試,功能和騰訊優(yōu)測(cè)類似,看來騰訊和阿里還真是相互chaoxi(相親相愛)
1、以深度性能測(cè)試為例,創(chuàng)建測(cè)試任務(wù)。第一步上傳Android應(yīng)用,可選擇性能測(cè)試服務(wù)項(xiàng),內(nèi)容泄漏,溢出,抖動(dòng)檢測(cè)。等
2、兼容性測(cè)試第二步,選擇測(cè)試終端,四種分類可選擇:精選30款,TOP50,自選機(jī)型,私有設(shè)備。
3、測(cè)試報(bào)告預(yù)覽,分為4個(gè)部分:測(cè)試概況,終端詳情,錯(cuò)誤日志,性能報(bào)告,全部截圖
五、 Testin云測(cè)|全球領(lǐng)先的App及手游測(cè)試平臺(tái)
Testin是國內(nèi)較早涉足云測(cè)試領(lǐng)域的公司之一。Testin在云端部署了300多款1000多部測(cè)試終端,終端種類及數(shù)量都比較全面。支持Android與iOS系統(tǒng)。但目前僅少部分服務(wù)為免費(fèi),絕大多數(shù)服務(wù)為收費(fèi)項(xiàng)目,故而使用成本較高,具體收費(fèi)情況請(qǐng)查看官網(wǎng)的介紹。
1、以兼容性測(cè)試為例,創(chuàng)建測(cè)試任務(wù),步驟非常簡(jiǎn)便
2、測(cè)試報(bào)告:概況、問題報(bào)告、性能報(bào)告、詳情報(bào)告
六、各款云測(cè)試平臺(tái)對(duì)比
七:總體總結(jié)
1、真機(jī)租用:Testin云測(cè)和AWS Device Farm,均包含iOS和Android,型號(hào)全,優(yōu)先推薦。
2、AWS Device Farm支持框架Appium Java JUnit、Appium Java TestNG、Appium Python、Calabash、Instrumentation 、UI Automation 和 XCTest,終端支持Android和iOS,web,優(yōu)先推薦
AWS Device Farm支持網(wǎng)絡(luò)場(chǎng)景選擇,其他均不支持。但是它的性能指標(biāo)比較少,只有三項(xiàng),CPU,Memroy,Threads
3、百度MTC支持Appium、Robotium、Uiautomator框架,但是創(chuàng)建測(cè)試任務(wù)時(shí),過于簡(jiǎn)單,具體測(cè)試內(nèi)容展示不明確。
深度性能測(cè)試無亮點(diǎn),與兼容性測(cè)試中的性能數(shù)據(jù)無明顯優(yōu)勢(shì)。
4、阿里MQC支持在線錄制腳本,自行編寫腳本支持Appium、Robotium框架
測(cè)試服務(wù)類型分布清晰,按測(cè)試系統(tǒng)劃分,支持Android,iOS,yunos。創(chuàng)建測(cè)試任務(wù)時(shí),測(cè)試步驟類型表述清晰。
5、騰訊優(yōu)測(cè)-Xtest工具,支持錄制腳本。深度測(cè)試服務(wù)的報(bào)告很全面,但是價(jià)格稍貴。
6、Testin是國內(nèi)較早涉足云測(cè)試領(lǐng)域的公司之一。Testin在云端部署了300多款1000多部測(cè)試終端,終端種類及數(shù)量都比較全面。支持Android與iOS系統(tǒng),步驟簡(jiǎn)單,便于操作。
支持iTestin錄制腳本,性能測(cè)試包含在兼容測(cè)試中