自2014年成立以来,新浪金融评测室已连续成功举办六届手机银行APP测评,积攒了丰富的测评经验,获得了业界的广泛认可。2019年,新浪金融研究院对21家主流手机银行APP从用户体验、产品功能、性能安全和发展创新四个方面进行测评分析,并对各个APP的亮点和存在的问题进行了梳理。测评结果显示,工农中建四大行和招商、平安、民生、光大等股份制银行排名靠前,测评结果基本代表了目前银行业资金实力和科技实力最强的银行群体。
用户使用APP过程中最直观的印象几乎都来自用户体验和产品功能。新浪测评中,这两项分值占比高达75%,基本上可以代表测评总分值。得分高的手机银行,用户体验和产品功能一定做得好。带给用户最丰富的产品功能、实现更多地业务在手机银行自助办理,让用户操作更清晰、更流畅始终是每家银行追求的理想状态。
基于新浪测评分析结果,本文从手机银行用户体验测试和产品功能测试两个方面进行论述,提出了用户体验测试的新思路,分析了产品功能测试中手机银行与后台系统的测试边界,并提出了业务流程测试的新思路,以达到更好地从测试层面发现问题,降低测试成本,提升测试质量的目的。
一、用户体验测试的现状与思考
1、用户体验问题的普遍性
体验性问题是每个用户在使用手机银行过程中,根据个人认知和使用感受得出的仁者见仁、智者见智的意见和问题,很难有客观统一的评判标准。界面设计风格和页面跳转是用户对APP的第一印象,是面客应用的脸面。用户体验是新浪测评分值最高的测评维度,总共40分,是用户使用APP过程中最在意的一个方面。新浪测评用户体验测评标准综合了注册开通、日常登录、界面体验、常用功能、变更体验、互动体验、消息提醒、操作流畅度等多个方面,尽可能在测评中发现相对普遍存在的,可以得到大部分用户认可的体验性问题。
新浪测评用户体验测评维度
2、用户体验问题的特殊性
从测评结果来看,每个APP都会有不同程度的体验性问题。比如,某股份制银行用户体验测评结论为APP交互合理、操作流畅,搜索、客服等体验细节不断提升,但APP待办事项没有自动提醒信用卡还款日、电话客服不能一键拨打等。某国有银行APP无法切换用户,若想更换另一账户登录,需将APP删除后重新下载激活。某国有银行APP“消息中心”并没有动账消息,如果要接收余额变动,仍需要下载“融e联”APP来实现。
3、基于众测的用户体验测试流程
致力于解决用户体验问题,不断提升用户体验,是每家银行追求的目标,但是如何更好地做好用户体验测试,又是个长期的、复杂的话题。
3.1 测试标准
在需求零散、客户端需要快速迭代的研发状况下,一份业务需求说明书很难用文字全盘描述清楚所有用户体验需求,类似页面设计工整、字体统一、表达清晰等用户体验需求可以通过详细的UI设计和说明在需求书中描述清楚,可以为开发和测试提供严格的参照标准,但是风格统一的页面动态跳转、良好的人性化的人机交互等用户体验需求很难用文字描述清晰,往往是测试过程中测试人员反复调试、验证形成的主观判断和主观标准。如何制定可量化、常规性的用户体验测试标准是目前手机银行测试中急需解决的一个问题。
3.2 众测评分与标准建立
基于手机银行用户广泛、手机型号和系统版本多样等特点,依靠众测机制定期收集用户体验问题反馈、用户评分和评价信息,逐步了解用户的心理标准,形成一套量化的初始用户体验测试维度和测试标准。初始标准建立后,形成测试制度和测试规范以约束项目内部测试。内部测试只有达到标准后,才符合用户体验测试准出标准。基于此测试流程,可以规范目前存在的用户体验测试标准主观、粒度不一的情况,有效提升内部体验测试质量。新版本发布后,可以大大降低用户普遍反馈的体验性问题数量。
3.3 标准修正
初始用户体验测试标准的建立不代表标准永恒不变,随着用户习惯的改变和新版本的不断发布,用户的心理标准在变,众测评分和用户反馈也一直在变。基本手机银行版本发布周期定期更新用户体验测试维度和测试标准,形成测试标准动态持续改进,保持对用户心理标准的实时跟踪和对标,以此作为测试过程中的默认标尺,持续提升手机银行用户体验。
3.4 基于用户体验标准的测试流程
通过众测机制形成初始标准,建立内部测试制度,内部验证通过并发布新版本,可以有效提高手机银行新版本质量。通过收集新版本众测建议和评分,定期修正测试标准,指导新产品、新功能的测试,形成一套循环前进的“初始标准—测试版本发布—内部验证—公开版本发布—众测反馈—标准修正—测试版本发布”的用户体验测试生态闭环圈。
用户体验测试标准建立与实施
4、用户体验测试的长尾端——兼容性测试
兼容性问题属于长尾体验性问题,虽然出现频率低,但是造成的负面影响大,比如部分操作系统版本和机型,会出现闪退,页面跳转失败等现象。测试过程中不可能遍历所有机型和版本,这些问题会在产品发步后小概率出现,但是会造成客户端直接不可用,造成用户投诉,甚至卸载客户端,造成不可逆转的影响。
新浪测评中,同样测试条件同样机型,多家手机银行出现每步操作加载时间较长、不同机型体验差别大、部分机型出现多次闪退等情况。长尾兼容性问题的低概率和高风险,决定了兼容问题的最优解决方式是众测,通过众测让小概率事件逐步现身,以此推动兼容性问题的发现与跟踪,可以大幅度降低测试成本。
二、产品功能测试的特点、难点及解决方法探索
1、产品功能的基本内容
做好做多产品功能,增强系统前后台交互是手机银行最基本的目标。目前,手机银行作为个人业务的线上化渠道排头兵,基本产品功能包括存款、贷款、投资理财、代理业务以及衍生的多种个性化服务,如资产负债视图、转账明细查询等。各大银行线上化建设进度不一,产品功能和服务参差不齐。产品比较丰富的手机银行,如建设银行、工商银行,投资模块均有原油期货、粮食商品期货和贵金属期货等账户类产品,这些产品允许个人用户通过银行中介参与证券投资市场门槛很高的投资业务。
手机银行个人资产视图
2、产品功能测试的特点
手机银行产品功能性建设中,测试过程是复杂的渠道系统和后台系统联动测试,多种复杂规则的验证需要前后台开发测试人员深度配合。按照系统分工进行测试,容易出现测试真空,导致前后台测试不一致、脱节,比如测试结果的伪成功,即渠道端交易提示成功,后台系统其实并未被调起。由于很多后台系统没有单独的前台页面,手机银行作为其唯一业务办理渠道,众多的中间过程只有靠手机银行前台页面展示,导致接口级测试越来越多,越来越重要。在新产品建设过程中,手机银行作为展示层,强大的中台和后台系统服务能力就显得异常重要。
3、产品功能测试的难点
手机银行测试中,最缺乏的就是稳定的前后台测试环境和符合产品业务规则的测试数据,其中部分数据通过在后台系统数据库插入或者直接查询可以获得,但部分数据由于表结构的复杂性等原因,需要在测试环境各系统中进行全流程操作才可以生成。就手机银行测试而言,只要具备符合业务规则的数据,将其开通电子银行即可开展测试,便于及时发现其本身存在的功能性问题和页面设计问题,极大提升测试效率。
4、系统维度测试下的测试边界分析
以我行手机银行贷款业务功能测试为例,贷款业务关联系统众多、从前到后层层交互。项目实施过程中,各系统对口开发人员会针对系统进行严格区分,对相应改造内容进行功能点估算,工作量分工十分明确。贷款业务处理逻辑的开发工作在后台的信贷系统和核心系统,手机银行前端开发工作主要由接口开发和UI开发组成,开发过程相对独立,但测试工作是非独立的,流程性的。
农行手机银行贷款首页
以系统维度进行测试,手机银行端只需要关注UI展示是否正常、页面跳转是否合理、请求和应答报文是否可以正常发送和接收、前后台数据是否一致等内容。后台系统返回的数据错误、业务逻辑处理错误等直接展示在手机银行上的报错,其实属于后台系统的测试范围。实际测试中,针对这些错误提示,手机银行测试人员也会一一关注,联系后台开发人员及时定位解决。
这部分错误如何处理恰好就是手机银行测试边界的模糊地带。按照开发与测试严格意义上对应的测试范围,测试中不可能完全实现。系统之间的关联越来越复杂,单独切分系统进行测试,严格区分系统边界很难对业务流程进行全面测试。探索基于产品分工的业务流程测试是更精确地界定测试边界,提升测试效率和测试质量的可能方法之一。在系统关联层级越来越多的环境下,它的应用价值会逐步凸显。
提升用户体验,实现产品功能极大丰富是手机银行永恒的追求,不断在实践中探索新的测试思路,提升测试质量和效率是测试人员的使命。本文从用户体验和产品功能两个方面对目前手机银行测试中存在的问题进行分析,提出了基于众测机制构建用户体验测试标准及体验测试新思路和基于产品分工的业务流程测试新方法,期望可以给手机银行测试提供实践指导和更多有益的启发。
版权声明:本文出自51Testing会员投稿,51Testing软件测试网及相关内容提供者拥有内容的全部版权,未经明确的书面许可,任何人或单位不得对本网站内容复制、转载或进行镜像,否则将追究法律责任。