App云測(cè)試服務(wù)對(duì)比


前言:

我們都知道在測(cè)試移動(dòng)app時(shí)最耗時(shí)的是在各種測(cè)試設(shè)備進(jìn)行測(cè)試, 因?yàn)椴徽撌前沧窟€是iOS都已經(jīng)碎片化了。而云測(cè)試看似是解決這一問題的有效途徑。因此選擇哪種云測(cè)試平臺(tái)來協(xié)助測(cè)試人員進(jìn)行各種測(cè)試就成為首要問題。

以下是我調(diào)研過的幾家主要的云測(cè)試平臺(tái):AWS Device Farm、百度MTC、騰訊優(yōu)測(cè)、阿里云測(cè)、Testin云測(cè)

下面列出各個(gè)云測(cè)試平臺(tái)的步驟,報(bào)告,在文章的最后列出了功能對(duì)比圖,和一些個(gè)人的總結(jié),僅供參考。


一、 AWS Device Farm

AWS Device Farm 是一項(xiàng)應(yīng)用程序測(cè)試服務(wù),可讓您立即在很多設(shè)備上測(cè)試 Android、iOS 和 Web 應(yīng)用程序并與之交互,或者在設(shè)備上實(shí)時(shí)地重現(xiàn)問題。查看視頻、屏幕截圖、日志和性能數(shù)據(jù),以在推出應(yīng)用程序前查明并解決問題。

1、注冊(cè)自己AWS賬號(hào),登錄

2、開始創(chuàng)建屬于自己的測(cè)試工程

3、點(diǎn)擊create project,輸入project name,點(diǎn)擊create project按鈕, project創(chuàng)建成功,并跳轉(zhuǎn)到project頁面。

4、Project頁面分為2種功能:

*Automated tests(自動(dòng)化測(cè)試)

*Remote access(遠(yuǎn)程訪問)

5、首先介紹Automated tests,點(diǎn)擊create a new run,來創(chuàng)建第一個(gè)測(cè)試任務(wù)

第一步:choose application,分為2種:app、web application

第二步:confiure test。如上一步選擇app,則此步驟支持8種框架、如下圖:

如上一步選擇web application,則此步驟支持3種框架。如下圖:

第三步:select devices??梢赃x擇top devices,或者點(diǎn)擊create a new device pool 來選擇自己需要的devices。

此頁面為Create a new device pool,輸入name,description,并選擇需求的devices.

第四步:Specify device state。提供其他數(shù)據(jù)和/或安裝附加應(yīng)用程序以供AWS Device Farm在運(yùn)行期間使用,指定是否將在運(yùn)行期間啟用Wi-Fi,藍(lán)牙,GPS或NFC,預(yù)設(shè)設(shè)備的緯度和經(jīng)度運(yùn)行,并預(yù)設(shè)運(yùn)行的設(shè)備區(qū)域設(shè)置。

第五步:Review and start run.測(cè)試任務(wù)總覽,可修改之前設(shè)置好的信息。點(diǎn)擊start run,任務(wù)開始自動(dòng)執(zhí)行。執(zhí)行完畢后,點(diǎn)擊進(jìn)入任務(wù)詳情中,查看測(cè)試報(bào)告

6、下面開始介紹Remote access(遠(yuǎn)程訪問)

第一步:點(diǎn)擊start a new session按鈕,進(jìn)入Create a new remote access session頁面,選擇需要的機(jī)型。

第二步:Create a new remote access session頁面,可根據(jù)name、platform、os、form、factor來搜索需要的device

第三步:Remote access報(bào)告:可下載查看操作過程中的Automation Output、Application Output、XCTest UI Log、VideoSyslog。

7、測(cè)試報(bào)告既包含每臺(tái)設(shè)備的詳細(xì)數(shù)據(jù),也包含簡(jiǎn)略結(jié)果(如 CPU 平均使用率或特定錯(cuò)誤的發(fā)生次數(shù))。遠(yuǎn)程訪問結(jié)果中包含日志和會(huì)話視頻


二、 百度MTC-移動(dòng)云測(cè)試中心

百度MTC是百度開放平臺(tái)旗下的移動(dòng)云測(cè)試中心。提供超過500款熱門機(jī)型,目前只支持Android系統(tǒng),暫不支持iOS系統(tǒng)。提供的測(cè)試服務(wù)種類有兼容性測(cè)試、性能測(cè)試、功能測(cè)試。并且提供了腳本錄制工具,類似Testin。但腳本錄制工具更新速度較慢。百度MTC的服務(wù)目前為收費(fèi)服務(wù)。

1、移動(dòng)app測(cè)試服務(wù)包含:自動(dòng)化測(cè)試、人工測(cè)試、用戶接受度評(píng)測(cè)、遠(yuǎn)程真機(jī)調(diào)試。點(diǎn)擊創(chuàng)建測(cè)試任務(wù)即可

2、以功能回放測(cè)試為例:創(chuàng)建測(cè)試任務(wù)。步驟為上傳app,上傳用例,選擇測(cè)試終端,截圖,郵件。

3、測(cè)試報(bào)告包含:應(yīng)用基本信息、結(jié)論總覽、問題分布、問題列表、問題終端分布、性能結(jié)論、性能分析、內(nèi)存占用分析、終端列表。

點(diǎn)擊進(jìn)入終端詳細(xì)報(bào)告,包含內(nèi)容:終端信息、測(cè)試結(jié)果、性能結(jié)果、測(cè)試截圖、安裝日志、logcat日志、腳本日志、性能詳情、屏幕錄像。


三、 騰訊優(yōu)測(cè)

騰訊優(yōu)測(cè)是騰訊旗下的云測(cè)試服務(wù)平臺(tái),擁有超過1000款測(cè)試終端,機(jī)型數(shù)量龐大。另外,騰訊優(yōu)測(cè)還提供“云手機(jī)”服務(wù),開發(fā)者可以遠(yuǎn)程控制測(cè)試終端,實(shí)時(shí)查看App安裝、運(yùn)行效果。

以極速50款測(cè)試報(bào)告為例:



四、 阿里云測(cè)-移動(dòng)質(zhì)量中心

阿里MQC是阿里巴巴旗下的移動(dòng)測(cè)試平臺(tái)。提供上百款測(cè)試終端,支持Android及iOS系統(tǒng)。提供兼容性測(cè)試、功能測(cè)試、性能測(cè)試以及穩(wěn)定性測(cè)試(1小時(shí))。測(cè)試腳本需使用Robotium或Appium測(cè)試框架編寫,難度較高。MQC也提供了遠(yuǎn)程的真機(jī)調(diào)試,功能和騰訊優(yōu)測(cè)類似,看來騰訊和阿里還真是相互chaoxi(相親相愛)

1、以深度性能測(cè)試為例,創(chuàng)建測(cè)試任務(wù)。第一步上傳Android應(yīng)用,可選擇性能測(cè)試服務(wù)項(xiàng),內(nèi)容泄漏,溢出,抖動(dòng)檢測(cè)。等

2、兼容性測(cè)試第二步,選擇測(cè)試終端,四種分類可選擇:精選30款,TOP50,自選機(jī)型,私有設(shè)備。

3、測(cè)試報(bào)告預(yù)覽,分為4個(gè)部分:測(cè)試概況,終端詳情,錯(cuò)誤日志,性能報(bào)告,全部截圖

五、 Testin云測(cè)|全球領(lǐng)先的App及手游測(cè)試平臺(tái)

Testin是國內(nèi)較早涉足云測(cè)試領(lǐng)域的公司之一。Testin在云端部署了300多款1000多部測(cè)試終端,終端種類及數(shù)量都比較全面。支持Android與iOS系統(tǒng)。但目前僅少部分服務(wù)為免費(fèi),絕大多數(shù)服務(wù)為收費(fèi)項(xiàng)目,故而使用成本較高,具體收費(fèi)情況請(qǐng)查看官網(wǎng)的介紹。

1、以兼容性測(cè)試為例,創(chuàng)建測(cè)試任務(wù),步驟非常簡(jiǎn)便

2、測(cè)試報(bào)告:概況、問題報(bào)告、性能報(bào)告、詳情報(bào)告


六、各款云測(cè)試平臺(tái)對(duì)比


七:總體總結(jié)

1、真機(jī)租用:Testin云測(cè)和AWS Device Farm,均包含iOS和Android,型號(hào)全,優(yōu)先推薦。

2、AWS Device Farm支持框架Appium Java JUnit、Appium Java TestNG、Appium Python、Calabash、Instrumentation 、UI Automation 和 XCTest,終端支持Android和iOS,web,優(yōu)先推薦

AWS Device Farm支持網(wǎng)絡(luò)場(chǎng)景選擇,其他均不支持。但是它的性能指標(biāo)比較少,只有三項(xiàng),CPU,Memroy,Threads

3、百度MTC支持Appium、Robotium、Uiautomator框架,但是創(chuàng)建測(cè)試任務(wù)時(shí),過于簡(jiǎn)單,具體測(cè)試內(nèi)容展示不明確。

深度性能測(cè)試無亮點(diǎn),與兼容性測(cè)試中的性能數(shù)據(jù)無明顯優(yōu)勢(shì)。

4、阿里MQC支持在線錄制腳本,自行編寫腳本支持Appium、Robotium框架

測(cè)試服務(wù)類型分布清晰,按測(cè)試系統(tǒng)劃分,支持Android,iOS,yunos。創(chuàng)建測(cè)試任務(wù)時(shí),測(cè)試步驟類型表述清晰。

5、騰訊優(yōu)測(cè)-Xtest工具,支持錄制腳本。深度測(cè)試服務(wù)的報(bào)告很全面,但是價(jià)格稍貴。

6、Testin是國內(nèi)較早涉足云測(cè)試領(lǐng)域的公司之一。Testin在云端部署了300多款1000多部測(cè)試終端,終端種類及數(shù)量都比較全面。支持Android與iOS系統(tǒng),步驟簡(jiǎn)單,便于操作。

支持iTestin錄制腳本,性能測(cè)試包含在兼容測(cè)試中


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,797評(píng)論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,179評(píng)論 3 414
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 175,628評(píng)論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,642評(píng)論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,444評(píng)論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 54,948評(píng)論 1 321
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,040評(píng)論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,185評(píng)論 0 287
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,717評(píng)論 1 333
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,602評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,794評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,316評(píng)論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,045評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,418評(píng)論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,671評(píng)論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,414評(píng)論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,750評(píng)論 2 370

推薦閱讀更多精彩內(nèi)容