云上的移动性能测试平台 性能测试平台( 二 )


即便看似相同的场景 , 不同的产品决策也可能带来很大的性能数据差距:比如大多数云盘的相册基于流量与性能的考虑 , 显示的都是压缩后的图片;而我们的本地的一些相册软件 , 显示的基本都是原图 , 这样产品上的选择便导致了内存开销上巨大的差异 。
数据看板在最初设计的时候就吸取了功能自动化用例平台时的建设经验 , 将每一次性能测试任务分用例存储 , 并且按照不同的用例维度对性能数据进行统计 。在 EMAS 移动测试 控制台 , 不同子账号查看和管理相同的app与用例 , 满足多用户云端协作的需求 。
3.3 多维度聚合
在用例维度的基础上 , MQC 性能测试平台提供了多个维度的数据统计、聚合与分析能力 。
? 设备分级
根据设备硬件性能打分 , 划分为网高、中、低三个级别 。
由于不同等级机型对 APP 实际性能指标的影响较大 , 这个因子可以较大程度减少硬件性能对指标置信度的影响 。
? 应用版本
对于性能指标来说 , 通常有三种问题判断标准:
基于行业技术经验定义的基线指标 , 这通常是技术决策网者基于用户体验、性能要求、大数据分析给开发提出的底线标准;
同行业 APP 性能指标横向对比 , 学习行业内优秀的技术实现一直是互联网快速发展的重要原因之一;
同 APP 不同版本间的纵向对比 , 快速的发现新版本的优化效果 , 新功能对 APP 的影响等 。
? 指标分布
指标分布可以帮助开发者快速判断指标区间 , 定位可能的异常任务与异常指标区间 , 更加有针对性的去查阅任务报告 。

云上的移动性能测试平台 性能测试平台

文章插图


4. 未来规划丰富指标:我们将继续完善更多性能指标的采集方案 , 如电量、GPU、温度等;
行业指标:MQC 将基于云上开发者数据、专家测试数据 , 整理并统计各个行业性能指标作为参考分享出来;
性能基线:上文提到 , 通常性能指标的观察标准有三 , 同行业APP性能指标;同APP不同版本性能指标;基于技术方案与行业数据的性能标准 。性能基线的定义可以更好的约束开发者对极致性能体验的追求 , 最大可能降低性能问题出现的概率 , 如OOM、ANR问题 。


推荐阅读