【智能化测试专题】智能化测试技术探索-凯发k8国际娱乐官网入口

devai 发表于 2022/10/17 16:07:33 2022/10/17
【摘要】 随着软件迭代模式的不断发展,测试环节的自动化程度也得到了有效的、持续的提升,智能化测试是结合ai算法和测试数据对测试多个环节进行针对性的优化。华为云智能化测试主要围绕用例生成、用例执行、用例分析三个关键阶段进行测试用例生成、精准筛选测试用例执行以及测试数据智能分析展开的探索实践。


测试是评估和验证输入是否能得到符合预期输出的过程。测试包含了软件测试和硬件测试。测试的早期萌芽是在20世纪50年代,主要是以调试为主,验证程序是否符合预期。1957charles baker在《软件测试发展》中将测试和调试区分开来,提出了测试的概念,指出测试的目的不仅仅是验证还需要确认软件是否满足要求。1983ieee首次召开了软件测试的技术会议,并给出了软件测试的定义。ieee定义的软件测试明确指出测试的目的是为了检验软件是否满足需求,它是一门需要经过设计、开发和维护等完整阶段的过程。随着软件研发模式从瀑布模式到敏捷模式再到devops(其各环节流程如图1所示)devops注重devopsqatester)之间的协同合作,因此为了达到产品质量的持续改进,对测试环节流程自动化与持续进行都提出了更高的要求。

1. devops流程

为了应对日益增长的产品需求与繁重的测试任务,提升测试质量和测试效率,测试团队会把测试专项能力向服务化能力转型,建立自动化为主的测试能力。测试自动化的目的为了减少手工测试和手工操作,如图2所示,测试自动化包括了自动化环境创建与部署、生成测试数据、执行自动化测试,生成测试结果与日志。并对测试相关结果进行自动化监控与分析,自动生成测试报告,以便进行测试定位失败原因与快速修复。

2 测试自动化流程

随着人工智能、机器学习在各个领域的广泛应用,以及应对日益增长的海量数据,自动化测试工具结合ai技术生成了更可靠有效的测试,改善了测试分析的效率等,加速现有的自动化测试需求和进程。 2018gil tayar在文章6 levels of ai-based testing: have no fear, qa pros说明了ai驱动测试的6个自动化阶段,如图3所示,从开始的人工分析与设计自动化测试,到更多环节结合ai辅助进行自动化测试的执行、设计与决策,测试自动化程度得到了有效的、持续的提升。

3 ai驱动测试

智能化测试主要指在持续追求提升研发交付效能下,人工智能技术在测试领域的应用,其本质是结合了ai算法和测试数据对测试多环节进行针对性的优化,具有更强的适应性和响应能力。智能化测试是当前阶段的热门,正在越来越广泛地深入到测试各环节中。智能化测试用例全周期涉及了三个主要关键阶段,包括用例生成,用例执行,用例分析。华为云智能化测试围绕这三个阶段,基于海量测试数据和ai算法辅助测试人员进行测试用例设计和用例生成、精准筛选测试用例执行以及测试数据智能分析。


2.1 智能测试用例生成

测试用例的生成当前主要靠人工设计,并且要求测试人员具有一定的经验和专业水平,随着云化产品的功能日趋复杂、迭代周期不断加快,完全基于经验人工设计的接口测试效率十分低下。因此需要设计一种测试用例自动生成方法。

华为云在智能测试用例生成的实践方面,提出了基于接口文档和现网流量数据的智能api测试生成技术,实现了单接口与多接口业务场景的双覆盖,做到真正帮助测试人员提高工作效率,并有力保障了云化产品质量。该生成服务的具体流程如图所示,其应用前景包括但不局限于以下几个方面:

1)对于小规模测试团队或无专职测试人员的全功能团队或测试小白,可基本实现少人参与或无人参与的无代码化高度自动化rest 接口正常场景级测试用例生成,自动化执行和判定。

2对于有专职测试人员、测试专家的测试团队,可低成本提升测试场景覆盖率、缺陷拦截效率,减少测试设计投入。

3)可以正常场景api测试基础上实现异常场景(可靠性测试)和并发场景(性能压力模型)的全自动化生成,完全替代现有接口fuzz测试,实现接口全场景测试无代码化。


2.2 回归测试用例优选

在日常开发测试活动中,面对项目版本的快速迭代,通常为避免引入缺陷和最早期发现尽可能多的缺陷,测试人员需要在代码小范围变动时进行测试用例的执行。同时,全量地对测试用例进行执行消耗人力、时间成本过高。华为云能精准回归测试用例挑选,在区分黑盒(代码不可见)、白盒(代码可见)不同模式的情况下,黑盒模式根据测试用例历史执行结果预测用例失败率并进行排序,白盒模式通过挖掘代码源文件(函数)与测试用例的关联关系筛选测试用例,精准挑选和排序缺陷探测比高的测试用例进行,以最少的人力、时间成本,发现尽可能多的缺陷。


2.3 测试数据智能分析定位

随着软件规模的持续增长以及产品迭代周期的不断加快,自动化测试用例的数量越来越大,自动化测试工程中的失败日志数量也越来越多,人工分析工作量大、时间成本高。测试数据智能分析定位旨在结合智能化算法根据失败日志和相关测试数据分析可能存在的产品问题,提升分析效率当前华为云测试智能分析是根据产品线测试日志数据特征,在通用的日志预处理后,依照日志量采用不同方式进行特征工程,生成日志特征后,基于随机森林、最近邻、强化学习、神经网络等来做模型融合,进行失败原因的定界与定位


文章来自 paas技术创新lab,隶属于华为云,致力于综合利用软件分析、数据挖掘、机器学习等技术,为软件研发人员提供下一代智能研发工具服务的核心引擎和智慧大脑。我们将聚焦软件工程领域硬核能力,不断构筑研发利器,持续交付高价值商业特性!加入凯发真人首先娱乐,一起开创研发新“境界”!(详情欢迎联系 mayuchi1@huawei.comguodongshuo@huawei.com

paas技术创新lab凯发k8国际娱乐官网入口主页链接:

参考文献

[1] what is devops,

[2] 华为云devops敏捷测试之道,

[3] 6 levels of ai-based testing: have no fear, qa pros,

[4] 基于语义感知sbst的api场景测试智能生成,

【凯发k8国际娱乐官网入口的版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。