注意:大家记得先学通用测试在学专项测试
注意:博主有个鸿蒙专栏,里面从上到下有关于鸿蒙next的教学文档,大家感兴趣可以学习下
如果大家觉得博主文章写的好的话,可以点下关注,博主会一直更新鸿蒙next相关知识
目录
1. 专项测试基本介绍
注意:鸿蒙专项测试包括稳定性测试、性能测试、回归测试、质量测试等等,需要将需要测试的鸿蒙应用部署在真机环境上,并且真机还需要打开开发者模式,然后在开发者选项中打开usb调式!
2. 应用稳定性测试
应用探索测试:针对应用稳定性测试,DevEco Testing提供基于专家经验的智能遍历手段,借助智能AI实现场景智能感知及控件语义分析,驱动测试高效执行。支持自定义测试模型,构建应用特征图谱,结合应用模型持续训练,推动遍历执行持续优化,帮助用户识别应用故障问题及定位问题。
在执行测试前,需检查以下状态,以保证任务的有效性:
1、手动对应用进行必要的预置操作,包括权限授予、用户协议确认、账号登录等等,以保障自动化遍历可顺利进行
2、确保手机性能状态正常,包括网络连接通畅、非高温、非低电量(推荐>80%),以及其他可能对性能表现产生影响的变量
3、不要设置各类锁屏密码,确保自动化能完成上滑解锁
4、应用图标在桌面可见,不要藏起来(自动化会翻页查找,但不会打开文件夹)进入服务卡片后,选择要测试的应用,点击创建任务即可开始,任务过程无需人工干预
2.1 创建任务
进入DevEco Testing客户端,在左侧菜单栏选择“稳定性测试”,点击“应用探索测试”服务卡片,即进入任务创建界面。按需配置任务参数,点击创建任务即开始测试。
选择应用:选择对应的需要测试的应用,切记该应用部署在真机上,要不然找不到。
模型选择:初次创建任务时,默认为无模型;后续创建任务,将自动生成遍历模型,可选择已有模型,辅助提升遍历效率。
截屏时间:截屏时间按需选择,截屏间隔越短,路径地图中的截图数量相对越多。
归档包名:每次任务结束后,将基于本次测试过程生成遍历测试模型,将自动存储至本地数据路径下的testGraph\exploreTest文件夹中,可供后续应用探索测试及UX基础质量测试高级配置场景下使用。
可前往DevEco Testing客户端-设置-基本设置中修改数据路径。
2.2 测试执行
任务创建后即进入测试执行页面,测试过程中,在测试页面可以看到测试进度、遍历路径地图、设备镜像、及语义分析过程。
操作意图没法自己完成的场景记得需要我们人为手动介入!,比如注册信息等等,先让智能AI先自己尝试,多次无法完成操作意图显示的操作再人为介入!
语义分析:智能AI将自动为界面控件排序,测试过程将参照顺序执行。测试执行中支持用户暂停或启动语义分析,语义分析暂停时,任务会继续执行,直至任务时间结束。
2.3 测试报告
任务结束后,应用探索测试报告如下:
如果应用有问题会显示:
3. 性能指标监控测试
性能指标监控测试:为用户提供了针对指定业务场景性能测试能力,支持选择设备某个应用进行测试,显示手动操作应用过程的性能数据,最终输出测试过程中帧率、内存、 CPU、GPU 等性能数据。
3.1 创建任务
安装DevEco Testing后,左边菜单栏选择“应用性能功耗测试”,选择“性能指标监控测试”,点击服务卡片右下角箭头,即进入任务创建界面。
记得打开真机usb调式,电脑通过数据线连接待测试应用的真机
3.2 测试执行
任务创建后即进入测试执行页面,待测试环境初始化完成,待测应用被启动,任务将自动跳转至监控页面,并启动监控。注意:最长监控时长 60 分钟。点击右上角的开始图标,出现“开始采集”提示,此时数据开始被采集。
点击添加场景图标,可按照测试需要添加测试场景,支持添加多个测试场景。
根据不同的测试应用任务来添加不同的测试场景,比如下载文件,播放视频等
注意:当前性能指标监控测试需要测试人员进行手动根据设置不同的应用场景进行操作真机应用。
点击右上角可以修改场景名称
切记需要测试人员进行手动操作真机应用进行测试场景覆盖
在测试过程中,可随时点击“采集 trace”按钮,采集此后 30 秒的 trace 信息,单次任务只保留最近 10 个 trace 文件。
测试完成后,点击结束采集,测试任务完成数据采集。点击查看报告查看测试数据。
3.3 测试报告
任务结束后,查看测试报告如下:
数据介绍:
FPS:1 秒内应用界面真实平均刷新次数,俗称帧率/FPS。
帧间隔:两帧画面刷新时间的间隔。帧间隔应保持稳定,并与应用帧率负相关。当帧间隔过大时, 设备会出现卡顿现象。
CPU 频率:各个 CPU 核心的实时频率。
内存占用:应用内存是被监控的应用的 PSS 值。
GPU 频率:GPU 核心的实时频率
GPU 负载:GPU 的当前负载
温度:设备的壳温,前壳温,后壳温,soc温度。
3.4 性能指标监控测试报告对比
针对性能指标监控测试,提供报告对比能力,支持选择2-5份测试报告进行数据对比,支持用户从FPS、CPU、GPU、内存占用、温度等多个维度进行对比分析。
按需选择2-5份场景化性能测试报告,支持按任务名、按应用包名、及按任务状态筛选。点击对比分析,即可一键生成对比报告。
点击对比分析,即可看到报告对比结果
4. 功能体检基础质量测试
能体验基础质量测试:根据应用功能体验建议,检测应用在当前系统、设备及升级场景下运行是否存在兼容性问题。
在执行测试前,需检查以下状态,以保证任务的有效性:
1、手动对应用进行必要的预置操作,包括权限授予、用户协议确认、账号登录等等,以保障自动化遍历可顺利进行
2、确保手机性能状态正常,包括网络连接通畅、非高温、非低电量(推荐>80%),以及其他可能对性能表现产生影响的变量
3、不要设置各类锁屏密码,确保自动化能完成上滑解锁
4、应用图标在桌面可见,不要藏起来(自动化会翻页查找,但不会打开文件夹)进入服务卡片后,选择要测试的应用,点击创建任务即可开始,任务过程无需人工干预
4.1 创建任务
进入DevEco Testing客户端,在左侧菜单栏选择“功能体验基础质量测试”,点击“功能体验基础质量测试”服务卡片,即进入任务创建界面。按需配置任务参数,点击创建任务即开始测试。
4.2 测试执行
任务创建后即进入测试执行页面,测试过程中,在测试页面可以看到测试进度、检测规则、实时投屏及执行日志。
4.3 测试报告
测试完成后,自动生成测试报告。任务结束后,自动生成测试报告。功能体验基础质量测试报告如下:
报告包含任务信息、执行结果、问题统计、检测规则。支持查看当前应用信息、任务执行时长,及详细的环境参数(配置信息及环境信息),支持导出 html 的报告文件。测试概览中,可查看执行结果、问题统计及检测规则。
5. 稳定性基础质量测试
稳定性基础质量测试:根据应用稳定性建议,检测应用运行过程中是否存在应用崩溃、资源过载、内存泄漏等异常情况。
在执行测试前,需检查以下状态,以保证任务的有效性:
1、手动对应用进行必要的预置操作,包括权限授予、用户协议确认、账号登录等等,以保障自动化遍历可顺利进行
2、确保手机性能状态正常,包括网络连接通畅、非高温、非低电量(推荐>80%),以及其他可能对性能表现产生影响的变量
3、不要设置各类锁屏密码,确保自动化能完成上滑解锁
4、应用图标在桌面可见,不要藏起来(自动化会翻页查找,但不会打开文件夹)进入服务卡片后,选择要测试的应用,点击创建任务即可开始,任务过程无需人工干预
5.1 创建任务
进入DevEco Testing客户端,在左侧菜单栏选择“稳定性基础质量测试”,点击“稳定性基础质量测试”服务卡片,即进入任务创建界面。按需配置任务参数,点击创建任务即开始测试。
5.2 测试执行
创建任务后,将会跳转到执行页,进入测试环境初始化阶段。测试过程中,在测试页面可以看到测试进度、实时投屏、检测规则及执行日志。
5.3 测试报告
测试完成后,自动生成测试报告。稳定性基础质量测试报告如下:
报告包含任务信息、执行结果、问题统计、检测规则。支持查看当前应用信息、任务执行时长,及详细的环境参数(配置信息及环境信息),支持导出 html 的报告文件。测试概览中,可查看执行结果、问题统计及检测规则。
6. 性能基础质量测试
性能基础质量测试:性能基础质量测试服务通过模拟用户的操作行为,对应用进行长时间、高操作频率的页面遍历,收集遍历过程中的性能数据,提供全面、专业、可靠的测试报告,辅助开发者评估和优化应用的性能质量。
在执行测试前,需检查以下状态,以保证任务的有效性:
1、手动对应用进行必要的预置操作,包括权限授予、用户协议确认、账号登录等等,以保障自动化遍历可顺利进行
2、确保手机性能状态正常,包括网络连接通畅、非高温、非低电量(推荐>80%),以及其他可能对性能表现产生影响的变量
3、不要设置各类锁屏密码,确保自动化能完成上滑解锁
4、应用图标在桌面可见,不要藏起来(自动化会翻页查找,但不会打开文件夹)进入服务卡片后,选择要测试的应用,点击创建任务即可开始,任务过程无需人工干预
6.1 创建任务
进入DevEco Testing客户端,左侧菜单栏选择“应用基础质量测试”,选择“性能基础质量测试”,点击服务卡片,即进入任务创建界面。按需配置任务参数,点击创建任务即开始测试。
6.2 测试执行
任务创建后即进入测试执行页面,测试过程中,在测试页面可以看到测试进度、用例列表、及执行日志。
应用支持情况说明:
- 冷启动测试:支持所有应用;
- 应用内操作测试:遍历目前主要支持arkui原生控件(含ReactNative框架开发应用),WebView页面遍历设备需刷5.0.0.22以上版本
- 不支持Flutter应用,以及其他三方自研的自定义控件识别。
6.3 测试报告
测试完成后,自动生成测试报告。性能基础质量测试报告如下:
报告包含任务信息、总览、测试结论、指标项、测试步骤详情。指标项卡片包含三类状态:绿色为达标,红色为不达标,灰色为该指标项未检测。
达标判定:85分位值超过推荐值小于10%以内算达标。