• 1
  • 2
分享
  • 携程网站可用性测试报告
  • 饭团🍙 2020-09-17 16:38:40 字数 4768 阅读 4236 收藏 2

   测试结果(图示+文字说明结论):

  图1:按照任务来呈现二分式成功率

  图2:按照2类用户类型来呈现二分式成功率

  图3:成功等级呈现

  图4:每个任务的平均时间呈现

  图5:综合多种因素的严重性评估 附件提交:访谈录音文件 + 原始数据excel表(3张)

  一、测试基本信息 -3

  测试网站:

  携程

  测试目标:

  通过测试携程网站发掘用户体验存在的问题,并就出现问题提出合理的建议 - 用户对网站使用程度的满意状况如何

  测试规则制定:

  每一次任务都需要有清晰界定的开始和结束状态,测试者的每一个任务被标记为成功或失败 

   1.任务成功:每一次任务都需要有清晰界定的开始和结束状态。   

   例如:找到IBM股票的5年收益或损失就是一个明确的结束状态,具体任务成功标准由每一项任务本身决定,会在每一项任务后面进行详细说明。 

   2.任务失败:放弃:参加者提出不想再继续完成任务了。   

   主持人喊停:由于很明显就能看出参加者已经继续做下去或变得格外沮丧,研究中的主持人主动终止了测试任务。   

   时间太长:参加者完成任务却超出了预定的时间范围(有些任务事先定义了需要在规定时间内完成才算成功)。   

   错误:参加者认为他们已经完成了任务,但实际上并没有。

  测试对象:

  根据使用携程网站的频率,将划分为两组,一组为使用过,另一组为没使用,每组4人不限男女。编号1-4为使用过,编号5-8为没使用过

  测试时间:

  每项任务都制定有规定结束时间,详细见每次任务

  二、制定三个二分式成功 任务-5

  任务设计(罗列3个二分式成功任务,任务需明确可操作,且制定合理的成功/失败的标准):

  1.测试者在携程网站?登录首页"忘记密码"进行密码重置

  目标:测试携程忘记密码功能开启的页面是否合理 

   成功:测试者在60s内完成更改密码并成功登录携程首页 

   失败:

   测试者完成任务但超出90s 

   测试者无法登录携程首页    

   测试者以为完成任务但是实际并没有完成任务

  2.测试者找到湛江金沙湾相关游记,并且查看2018-4-21 广东游记之湛江金沙湾观海长廊的文章

  目标:测试携程游记页面的查找是否容易,文章的分类是否合理 

   成功:测试者在90s内完成在攻略导航栏搜索湛江金沙湾并查看文章 

   失败:

   测试者完成任务但超出90s; 

   测试者无法查看文章;

   测试者以为完成任务但是实际并没有完成任务

  3.测试者找到有关明星领队 叶宝珠的评价

  目标:测试携程导游页面的设置是否合理,能否容易查找 

   成功:测试者在90s内完成在跟团游导航栏搜索叶宝珠并查看评价 

   失败:            

   测试者完成任务但超出90s    

   测试者无法查看指定导游    

   测试者以为完成任务但是实际并没有完成任务

  任务测试结果:图表展示二分式成功任务的结果,使用 excel 来进行标注测试者成功率,并用图表来绘画任务完成率

1.png

  制图1 任务成功率

  2.png

  对二分式任务进行数据分析

  任务一(重置密码): 本次任务通过率百分之百,只是进行简单的密码忘记来进行密码重置,并且登录页面效果比较明显,但是要考虑到是否有账号的用户与没有账号的用户的区别。有账号的用户会比没有账号的用户更快登录忘记密码界面进行密码重置,是因为没有账号的用户必须先需要进行注册再来进行忘记密码重置,但是网站效率比较高,没有出现卡顿情况,与宽带的速率也有一定关系。但是发现一个小细节,在进行密码重置之前必须要对手机号码进行验证,向手机发送验证码。验证码的右侧按钮必须式本人进行点击发送才会发送,而不是直接拉动滚条拼完图就直接发送。测试者中有一半都对这个设计有过迟疑和忘记,可以在用户交互上面再进行优化,或者是去掉发送验证码

3.png

  任务二 (湛江金沙湾): 半数用户直接使用搜索框来进行搜索关键字“湛江金沙湾”,然后顺着下文来找文章,但是因为是一日游所以会在这个地方卡点,并且又是游记,而导航栏设置里面不够明显会让用户看走眼而产生焦躁心情没有办法集中精力。使用过与没有使用过的差别还是很大,但是都会是优先使用搜索框或者是 ctrl+F 搜索关键字词来进行查找,可见搜索还是用户的第一选择而不是漫无目的地一头乱窜,是在搜索不出来才会进行地毯式搜索,很少有人会先判断再来进行查找,看来信息导航地优化也是很有必要的

4.png

  任务三 (叶宝珠): 使用过与没有使用过网站地区别还是很大的,会有一定的学习轨迹与路线规划知道网站地图怎么走,使用过就会有优势来进行查找。但是这个在网页上面不属于重点内容,查找起来也要耗费一定的时间和精力,况且不是在主要页面来进行查找就显得比较吃力与盲选。甚至是使用过网站地测试者也会出现一定的卡顿与疑惑。网站查找会逐步打击用户的信心从而使用户产生放弃的念头

5.png

  三、制定?三个成功等级 任务 -5

  任务设计:罗列2个成功等级任务,任务需明确可操作,且制定合理的成功等级标准

  1.测试者预订?学生党?第一次出境?广州直飞纽约?6月28号的美国航空AA7054

  目标:测试携程导航模块设置是否合理,购买票种是否方便快捷  

   成功:测试者在120s内在特价机票选定条件学生第一次出境,找到纽约直飞的美国航空AA7054  

   失败:

   测试者完成任务但超出120s

   测试者未能根据限定的4个条件( *学生党** **第一次出境** **广州直飞纽约** **6月28号** )查找到指定航班

  1.测试者收藏?麻省理工大学一日游 62块起的活动并查看交通信息

  目标:测试携程页面分类是否合理,收藏商品是否方便快捷  

   成功:测试者在120s内在跟团游中的酒店+景点搜索麻省理工,在一日游中找到 **美国剑桥90分钟麻省理工学院一日游** **58块起** 的商品  

   失败:测试者完成任务但超出120s    

   测试者未能根据限定的2个条件( **美国剑桥90分钟麻省理工学院一日游** **58块起** )查找到指定航班

  任务测试结果:图表展示等级成功任务的结果,使用 excel 来进行标注测试者成功率,并用图表来绘画任务完成率

6.png

  制图2 任务成功率?当用户被安排在不同的组别中,不同组别的任务成功率可以进行比较

7.png

  定义成功等级: 基于用户的体验进行审定: ◆ 1=没有问题。参加者没有任何困难或不顺而成功完成了任务。 ◆ 2=小问题。参加者成功地完成了任务,但完成过程中出了1-2个小错误,但很快就修改过来了,因此成功了。 ◆ 3=大问题。参加者成功完成了任务,但完成过程中存在大问题,花费了较长时间才修改过来。 ◆ 4=失败/放弃。参加者给出了错误的回答或自己放弃了,或主持人判断为任务失败而中止了该任务。

  制图3 成功等级报告,需要把每个等级的数据都展示出来

  第一种分类方式:

8.png

  第二种分类方式:

0.png

  对成功等级任务进行数据分析

  ?任务一 (美国航空): 这是一次比较艰巨的任务,因为设置了一些限定条件致使测试者钻牛角尖,并且2/3的测试者都是直接搜索机票航班信息,但是这样子只是能够查到那班的航班动态而不能够进入预定界面也被判定为失败;1/3的测试者是使用部分的限定信息来进行航班的查找,但是因为信息不全没有办法搜索到具体的航班信息,因为网站会过滤掉一些没有在限定范围内的航班信息,直接走进了死胡同里面。不仅如此,测试者在尝试几个方法都没有起到自己预期效果会产生焦躁情绪而是慌乱地找航班,这样就是完全打乱了正常的测试活动的进行,在超出规定的时间后主持人进行暂停,结束测试任务。将用户分为两组分别是使用过与没有使用过网站的测试者来进行测试还是可以体现出两者巨大的差距,熟悉与不熟悉就是决定了最终结果的判向。

9.png

  任务二 (麻省理工): 这个任务相较容易上手,如果能够在导航中找寻得到就是没有多大问题的。但是大部分还是使用了搜索框来进行搜索,但是由于路径的错误导致耗费时间比较长但是也是可以在规定时间内完成,总体的状况还是比较良好的,没有出现过多的路线错误,是在可控范围之内可以接受的。但是页面活动的价格会是随着日期而改动,页面的排版方式也会产生变化,这就会对测试的结果产生一定的影响,但是还是在可以接受的范围之内是可以忽略不计的

10.png

  四、合理的?任务时间的计算规则 制定 -2

  1.确认何时开/关计时器 计时方法: - 计时开始:测试者说开始就同步进行计时 - 计时结束:测试者说任务结束同步结束计时

  记录数据的表(以秒或分钟)

11.png

  制作图表每个任务的平均时间

12.png

  五、任务分析图表 -4

  两个用户组别的结果图表

  二分式:

13.png

  成功等级:

15.png

  任务时间的结果图表:

16.png

  六、测试总结-2

  总结出网站的”可用性问题”,有清晰、合理的测试结果论述

  密码重置的发送验证码可以进行改进:

  设置没有发送验证码,直接验证拼图成功后就可以直接向手机发送验证码,而不需要等待用户点击发送再发送,可以剩下至少1s的动作。但是还一直保留至今应该是因为手机验证码设置的时长是1min,需要等待用户找到手机再来进行验证会比较注重用户体验

  设置有发送验证码,但是需要将发送验证码的引导设置更加羡慕,更改配色或者是增大字体或者是两种方式都可以进行更改

  游记的排列方式可以选用时间顺序或者是倒序来进行排列,而不是乱序。阅读量也可以是一个重要的参考方式但是不是唯一的方式,部分游记可以进行标记加精,这样用户在进行搜索的时候是可以一目了然地找到自己想要找寻到地资料与信息,而不是像蜜蜂一样乱窜,这样就会使网站地可用性大大下降甚至是影响到了用户体验

  找寻制定的人可以单独开一个专栏,而不必要在不显眼的地方来设置入口链接,并且搜索是没有用的,应该是觉得没有搜索的必要就没有进行收录,让用户花费在找寻的时间会比直接搜索还要麻烦与浪费时间

  网站对一些限定条件的搜索时需要进行再次显示,而不是显示在上一个页面就没有下一个页面的道理。限定条件应该是紧紧跟着搜索要素的,以最重达到用户的目的为准再来进行撤销

  网站的导航栏过多导致用户在体验时眼花缭乱没有办法集中精力来进行查找,在找寻无果后会产生急躁心理从而影响搜索进度甚至是放弃查找,这个才是最大的弊害,并且页面的设置分类并不合理,会给用户带来一定的抵触心理与排错心态,更会影响用户体验

  七、对网站问题进行?综合多种因素的严重性评估-5

  第5张图表

  严重性等级制定:对低、中、高的不同严重性等级有合理、普适性强的制定

  ?产品定位:高-做国内最大的旅游平台、中-与国内其他旅游平台平行竞争、低-紧跟时代潮流不落伍

  ?用户痛点:高-需要高密集的旅游信息发布平台、中-大部分的旅游信息、低-低效的信息发布

  ?用户体验:高-想用户之所想,用用户之所用、中-用户体验较好,但是还不够好、低-用户体验较差

  ?产品周期:高-迭代更新较快,适应市场变化、中-与市场需求保持同步、低-滞后于市场需求

  ?技术开发:高-技术成熟且稳定、中-技术刚刚好支撑、低-技术老化难以改变原先架构

  携程产品定位较为明确,但是竞争对手多且强大。能够在一定程度上面解决用户需求的痛点,高密集的旅游信息发布,但是需要及时更新与日常维护,信息量过大会造成负载不均衡等问题。用户体验较为一般,导航栏的排列与设计不太合理,让用户迷失在数字面包屑中走不出来而产生放弃的念头。产品周期的迭代更新换代快,需要一定的技术支撑来适应市场的需求,技术较为稳定可以提供强有力的后备支撑

  八、制作客户旅程地图-4

17.png


作者:狂三   

来源:51Testing软件测试网原创

  • 【留下美好印记】
    赞赏支持
登录 后发表评论
+ 关注

热门文章

    最新讲堂

      • 推荐阅读
      • 换一换
          • 前言selenium自动化+ pytest测试框架本章你需要一定的python基础一定的selenium基础——不讲selenium,不会的自己去看selenium中文翻译网测试框架简介测试框架有什么优点呢:代码复用率高,如果不使用框架的话,代码会很冗余可以组装日志、报告、邮件等一些高级功能提高元素等数据的可维护性,元素发生变化时,只需要更新一下配置文件使用更灵活的PageObject设计模式测试框架的整体目录目录/文件说明是否为python包common这个包中存放的是常见的通用的类 是config配置文件目录是logs日志目录page对selenium的方放进行深度的封装是pag...
            5 9 5835
            分享
          •   先看一下LoadrunnerControler的界面是什么样的:  第一部分:scenarioscript  (1)scriptname:选择脚本的名字;  (2)scriptpath:脚本路径(自动);  (3)分配虚拟用户的方式:百分比/用户组--可以在scenario->convertscenariotothevusergroupmode可以切换到用户组模式。  这里切换到用户组模式后,如何修改里面的quantity?  需要到,录制脚本的vusergenerator中Tools->Createcontrolerscenario里面设置虚拟用户数和用户组的而名称,然后加载...
            0 0 276
            分享
          •   前言  在做自动化的过程中,编写用例时候需要用到用例的前置和用例的后置,其中pytest中有setup_class和teardown_class可以帮助我们完成这些,但是不够完善而且灵活性不够强。举个简单的例子,一个calss中有3条用例,其中2条需要登录,1条不需要登录,这个时候如果在用setup和teardown来做就有点不方便。这个时候就引入了新的知识点fixture。  fixture简单介绍  fixture属于pytest中的一个方法。fixture可以用作测试用例的前置和后置操作,其中fixture命令规范没有像setup和teardown固定格式。可以随意命名。控制fixt...
            13 13 4944
            分享
          • 输入框1、字符型输入框:单行文本输入框:英文全角、英文半角、数字、空或者空格、特殊字符“~!@#¥%……&*?[]{}”,特别要注意单引号和&符号。如果禁止直接输入特殊字符时,使用“粘贴、拷贝”功能尝试输入;长度检查:最小长度、最大长度、最小长度-1、最大长度+1、输入超过字符比如把整个文章拷贝过去;空格检查:输入的字符间有空格、字符前有空格、字符后有空格、字符前后有空格;多行文本框输入:允许回车换行、保存后再显示能够保存输入的格式、仅输入回车换行,检查能否正确保存(若能,检查保存结果,若不能,查看是否有正常提示);安全性检查:输入特殊字符串(null,NULL ,javasc...
            12 14 3857
            分享
          • 问题场景:执行完一个测试计划后,在察看结果树或者聚合报告里可以看到执行结果,但是如果关闭JMeter后再打开该测试计划后,却发现上次的执行结果就被清空了,那怎么办呢?解决办法:JMeter提供了生成HTML报告的功能,这样保存后我们就能看到之前的执行结果生成的报告了。当然,这个报告不仅仅能看到执行结果,还有很多的统计图表,清晰明了,非常有用。操作步骤:            1   创建一个csv格式或jtl格式的文件    ...
            0 0 4858
            分享
      • 51testing软件测试圈微信