《云栖TechDay》第9期:钉钉客户端自动化的应用

  • 时间:
  • 浏览:1

1自动化的型态

自动化的型态,最核心的是UI操作。作为UI自动化肯定要有另一个 机制去驱动界面的元素识别和UI操作,安卓和iOS分别使用了两套基础UI操作库。安卓是另一个 叫Sword的实物操作框架的一些实现原理,与appium比较例如;iOS采用的是苹果5手机7原生的instrumentsUI Automation)。 UI操作是最核心的功能,在此之上,由于 把它自动化建立起来,在它的外围就不到有另一个 基础库,所谓基础库,比如case运行的信息打印、日志架构设计 ,包括设备一种产生的一些日志等,这是作为辅助排查问题报告 的手段,截图跟日志的功能相辅相成,还包括配置、变量管理等。接下来是测试框架,选择的是常见的junit,如保让在其之上做了一些自定义runner的封装。最外层CIjenkins去执行,PTM工作台让客户端测试的人不能去方便的发现执行和查看结果,分布式执行是指把case分成不同的模块,和不同的等级,根据不到去驱动不同的等级和模块的case执行,万一不到全量执行,就采用分布式的最好的辦法 在不同的机器、不同的手机上去执行,再做另一个 结果的汇总。报表邮件是自动化的延伸,让执行者和开发者能清楚的知道case运行的效果为甚会么会样。

6网络类型的数率

5009年加入百度,负责网页搜索核心模块测试,包括服务端模块的自动化、性能测试等,后负责众测平台、自动化测试框架的开发;2014年加入阿里巴巴,主要方向是手机端应用(来往、钉钉)的安卓端UI自动化建设,目前主要负责微应用的H5功能、性能等测试。

图中,在不同的场景看它的每个指标的信息。比如,首次打开、首次登陆、非首次登陆也有五百条未读信息等等。不同场景列下来,每另一个 场景有不同的性能指标。

下面是Tech君架构设计 的技术观点。

应用

9问题报告 分类报告

性能

基础自动化

你们也有另一个 PTM工作台提供给客户端测试的人,他只不到去关心为甚会么会发起执行,为甚会么会查看执行结果,为甚会么会判断当前版本的健康程度。经过简单的配置以前,它就可无需能执行如保让收到一些结果。

弱网

3结果展现

你们都现在采用的策略是哪几种?一方面是执行,执行是指每日构建,每天大概跑一次针对mate版本去进行完全的构建,每周发布、每周报告。被委托人面是维护,维护是外包的专人维护。目前的case数量在UI层面比较多,安卓和iOS加起来大概有三四百个,满足性能的case有一百多个,弱网大概是几另一个,由于 UI自动化成本比较大,不到最核心的功能评估后才放到去 UI自动化的层面做。

8更简单的方案

性能测试有另一个 需求:

基础的自动化是核心,在它附近有一些功能、性能、弱网。基础自动化是多机执行的,用sword作为安卓自动化的元素驱动,比如,多机case在聊天、设置、ding各个场景上不会 用到,在业务utils封装上肯定也要考虑到多机执行。多组执行什么都有有分布式执行,要考虑时间、设计系统配置,运行时在两组之间是并行执行,统一架构设计 ,在一组之间是串行执行的。多场景配置,比如,运行另一个 全量或核心的case,全量的case两百多个,三四十分钟,有以前由于 只不到去验证很关键的点,在无需对一些的功能造成影响的情况下,就可无需能运行最核心的case。还有,性能case、弱网case也是通过场景列表的最好的辦法 传给自动化的框架的。  

执行层面还有哪几种不到去除理?客户端同学通过PTM工作台发起case,如保评判效果?由于 发现case失败了,为甚会么会看case由于 哪几种由于 失败的?你们都对自动化进行专门维护,针对失败进行分析,把失败的由于 分类通过例如报告记录下来,下一次客户端同学可无需能根据例如分析结果进行判断,比如,它的每一次执行,每个分类去分析每个结果。

在例如结果中可无需能看后,最中间是另一个 简单的统计。比如,这次运行用了十几个 case,跑了十几个 时间,是是是否疑似crash。运行的是哪个版本,通过了十几个 ,失败了十几个 ,有十几个 个被跳过的。每个case,它的情况是通过由于 没通过,由于 例如case失败了,自然有相应的截图,每个case之外的截图也有展现。比如,第一台设置在哪个界面,每个操作按照时间顺序一一记下来,如保让作设备的标注,从前就方便事后复现在自动化中发现的一些问题报告 。

2 PTM工作台

第二,   在自动化中间做一些固定的场景,就要去评判做一些很简单的功能case,如保让把新功能的数据架构设计 到,性能case就可无需能从前做出来了。

弱网测试是另一个 很实际的例子,2G3G所谓的3.5G到最后的4G不同的什么都有有移动通信的标准,它对数率的标准要求差别是比较大的。ITU规定的第三代移动通信无线传输技术的最低要求中,不到满足在以下另一个 环境的一种要求。即:快速移动环境,最高数率达144kb/s;室外到室内或步行环境,最高数率达384kb/s;室内环境,最高数率达2Mb/s。在实际的应用、测试当中,离例如标准差的还是很远的,2G下载是12kb/s,到4G是比较快的,离真正的ITU标准还是有一定距离的。越来越,在不同的网络情况下,为甚会么会样进行弱网测试呢?

49日的云栖TechDay活动上,卞伟为你们都分享了钉钉客户端自动化的应用。

什么都有有性能测试的流程什么都有有初始化操作,架构设计 数据(包括cpumem、流量、电量、响应时间),按照功能自动化的时间把功能一步步用自动化的case写好,现在现在开始架构设计 ,上下滑动由于 左右滑动去架构设计 FPS。哪几种指标为甚会么会去获得的呢?流量可无需能通过安卓系统希望文件直接获得上下行流量信息。加载时间通过打点的最好的辦法 去做,通过服务端和客户端架构设计 日志。CPU由安卓系统一种拿到。内存可无需能通过安卓dumpsys meminfo拿到。电量把另一个 简单APP装载在手机上,根据时间最好的辦法 来获得最终的电量消耗,APP放到去手机端通话时,架构设计 的以前去交货。FPS使用安卓的SurfaceFinger

屏蔽箱的手段是指,另一个 屏蔽箱隔绝了所有的信号,把手机放到去 屏蔽箱后,按照一定的设备通过显现式把它放大如保让再衰减,先将它放大到另一个 值,如保让再信号衰减,你们都都方便控制衰减到一定的值时,把信号引入屏蔽箱中。在例如场景下,可无需能比较方便的进行弱网下的模拟和相应的测试。

钉钉是另一个 工作最好的辦法 。从需求的层面出发,钉钉是另一个 IM聊天的客户端工具,对于用户而言,最关注的是APP的实际运行的效果,什么都有有主要针对安卓和iOS进行测试,PC和外国版目前也是通过人力测试来保证的。测试的场景有功能场景(包括核心场景、聊天场景、设置场景等)、弱网场景。

简介

卞伟

第一,   在业务中人工去测试APP的以前,做一些监控,比如,监控cpumem等等。

7屏蔽箱的使用

钉钉产品是阿里的一款企业级IM工具,版本更新也很太快了 了 ,在迭代过程中,团队通过UI自动化对核心功能进行验证,节约回归的人力成本,并在自动化框架的基础上,针对特定场景的性能、弱网下的聊天功能也进行了自动化的改造。

10分析汇总

如保让,屏蔽箱比较昂贵,为甚会么会办呢?有另一个 更简单、更便宜的方案。用树莓派打上去开源的弱网控制模块(FacebookATC)去达到模拟弱网测试的效果,就可无需能设置上下行流量等等。把手机连接WIFI时,树梅派实现模拟弱网的测试,这也是不同场景弱网的另一个 消耗。

4指标信息

功能自动化

5钉钉Android最近另一个 版本性能消耗

图为最进另一个 版本的性能消耗的对比,你们都可无需能和历史数据进行比较。通过自动化架构设计 信息的以前,你们都不会 给它另一个 版本,每次在架构设计 数据的以前在数据库里会有记录,当不到版本对比的以前,直接拿历史数据进行对比就可无需能知道另一个 版本之间由于 另一个 版本之间的差异有多大。