• 0
  • 0
分享
  • 基于模糊测试方法实现车载通信测试——软件测试圈
  • 橙子 2024-11-21 16:08:59 字数 2884 阅读 38 收藏 0

  1.前言

  模糊测试是网络安全测试领域必然会被提及的一类测试方法。它有着极其鲜明的特点,包括极低的需求依赖性、可逆向的测试理念等,与常规测试方法显得是那么的“风格迥异”。但同时,这种测试方法又常常能发现一些核心、严重的BUG,因此其在整个测试体系中有着重要的地位,且这种测试方法也已“润物细无声”地融入到我们的测试活动中了。本次就为大家介绍如何在车载通信领域运用模糊测试。

  2.什么是模糊测试

  模糊测试的整体测试思路非常简单,给待测系统输入“随机值”,然后监测是否出现异常。

1-1.jpg

图1模糊测试示意图

  这个过程中有这样几个特点:

  1)随机值:

  随机值可以是正常的数据,也可以是非预期的数据,通常可以通过变异(篡改原有数据)和生成(通过规则伪造数据)来获得。且整个测试不是找几个随机值来做测试,而是不断地输入大量的随机值(可以理解为无穷尽)来做长时间的持续测试。

1-2.png

图2功能性测试与模糊测试对比

  2)监测异常:

  正是由于待测系统可能接收处理非预期数据,因此其会有各种各样的表现。而异常表现可以是服务停止、程序崩溃,也可以是资源过载、数据丢失。

  3)自动化:

  每个测试轮次都是给定输入然后监测异常,而对于模糊测试来说,这样的轮次需要执行非常多的次数,甚至可以永无止境,所以自动化是基本必须要实现的内容。

  3.模糊测试运用到车载通信

  虽然模糊测试在车载通信测试中很少被单独拿出来,但实则我们在很多的测试中使用了这种方法。比如:

  1)CAN通信测试中的高负载测试。

  对CAN通信注入特定的报文,形成期望的负载条件,然后监测是否有异常。这个测试中的随机值变量为负载率和产生负载的报文ID,异常的判断可能包括错误帧、通信恢复等,这就形成了一个高负载模糊测试。

  2)网络管理中的休眠唤醒测试。

  在控制器休眠的各个时刻触发唤醒事件,然后监测是否正常唤醒。这个测试中随机值变量是时序,即唤醒事件的触发是在什么时刻,异常的判断是唤醒行为,这就形成了一个休眠唤醒时序模糊测试。

  这里举的2个例子比较特别,想要说明的是我们提及的随机值并不仅仅是协议字段或者信号数值这种很容易联想到的数据,还包括各种状态值(如负载率、吞吐量、频率等)、时序(如休眠唤醒过程、TCP连接的三次握手、诊断服务的解锁交互等)等数据。尤其是时序,通常是有一连串的步骤,这一过程中不仅可以将每一步的间隔时间用作随机值,还可以在各个步骤本身“大做文章”,比如每一步再耦合随机信号值。

  概括起来就是万物皆可数据化,数据皆可随机化,这或许是模糊测试的核心思想。

  而结合车载通信本身的特点,我们可以得到一些典型的模糊测试内容:

  1)针对协议中数据格式的模糊测试:

  如CAN总线中接收到不同ID、DLC时,是否出现错误帧。这种测试可能更针对CANFD节点或者OBD节点,甚至还包括扩展帧、远程帧等特殊数据。

  又比如以太网中接收到不同的源MAC、目标MAC、源IP、目标IP、源端口、目标端口时,是否出现异常。这里的异常又会根据防火墙策略变得不尽相同,比如无响应、重启、发出不可达的错误报文等。

1-3.png

图3针对协议中数据格式的模糊测试示例-CANID模糊测试

  2)针对信号值的模糊测试:

  如CAN总线中接收到不同的信号值(包括非法值、无效值等),是否出现重启、死机等情况。

  又比如SOME/IP中接收到各种请求、响应、订阅等数据(包括非预期的数据类型、编码、字节顺序等),是否出现服务暂停、服务崩溃、死机等情况。

1-4.png

图4针对信号值的模糊测试示例-CAN信号模糊测试

  3)针对时序的模糊测试:

  如上文提及的网络管理休眠唤醒测试。

  又比如SecOC或者时间同步机制中,需要周期性地对特定基准进行同步处理,又有其他数据会使用同步后的基准,而在同步时序中出现各种偏移(包括基准本身的偏移、应用数据使用的基准与基准更新时刻的偏移等),判断同步机制是否崩溃。

1-5.png

图5针对时序的模糊测试示例-休眠唤醒模糊测试

  4)针对流量的模糊测试:

  如上文提及的高负载测试。

  又比如网关节点的性能测试中,在各端口并行接收不同的数据流以构成不同的吞吐量,判断路由机制是否崩溃。

1-6.png

图6针对流量的模糊测试示例-吞吐量模糊测试

  4.模糊测试中需要注意的问题

  虽然有大量的测试可以使用模糊测试方法,但同样的,模糊测试也有着其局限性或者说不足,如何尽可能地发挥其优点、规避其不足可能需要考虑以下内容:

  1)异常

  对于异常的判断是一个十分困难但又非常重要的点。困难是在于异常的情况比较复杂且能够监测的手段很多时候是有限的,尤其是需要实现异常情况的自动化监测。在车载网络中可以用来判断异常的包括特定信号值、周期报文的周期波动、控制器的电流值、DTC等。对于每一种不同的模糊测试,应该需要根据测试内容选择合适的异常判断方式。另一个有效的方法是进行“插桩”,用来突破控制器本身的局限性,突破常规“黑盒测试”的局限性。

1-7.jpg

图7插桩示意图

  2)平衡

  由于模糊测试是一种趋近于无穷测试的方式,带来的必然影响就是时间成本的增加。但是我们实际的产出并不会随时间增加而呈现线性的增加,因此测试效率会变得越来越低。为了提高测试效率,我们必然会使用一些规则做随机值的筛选,但这又必然导致随机性的降低。正如很多测试理论所描述,“测试可以证明存在缺陷,但不能证明不存在缺陷”。我们很多的测试都是在投入和产出中寻求平衡,模糊测试由于其特点显得更加明显,以至于我们要界定测试是否完成会存在一些争议和博弈,要处理这样的平衡,难度会可能大于测试本身。

  3)定位及修复

  测试会发现问题,这带来的另一个问题就是如何定位。而模糊测试的特点又会导致问题的定位(包括问题复现)会有很大的难度和不确定性,尤其是当模糊测试中随机值是更多维度的情况下,事情就会变得更加复杂。另一个需要考虑的点就是问题修复后的复测工作,这可能比做一次完整的模糊测试还要麻烦,此时需要解决的点是如何快速验证问题已被修复和如何验证修复方案是否会产生新的问题。虽然这两个点在所有测试中都存在,但是由于模糊测试的随机性,这两个问题显得更加困难。

  综合上述几点考量,个人认为对于当前的车载通信来说,在开发前中期采用模糊测试时需要有规则性和针对性的,虽然我们降低了发现问题的范围,但得到的是测试效率、问题修复效率、资源利用率的有效提升。而随着软件的逐步成熟,可以逐步放开原有规则,增加随机性。这一过程中也需要结合自身的情况来做调整,总之,关键点其实就两个字:平衡。

  5.总结

  模糊测试是一个相当有效的测试方法,其随机性的思想可以让我们发现通过逻辑很难想到的问题,这扩大了我们发现问题的范围和手段,能有效提高测试经验,这与场景测试有着异曲同工之妙。但同时,其投入多、修复难的问题也是不可忽视的内容。如何达到平衡是我们必须要考虑的点,总的来说,这是个以时间换经验还是以经验换时间的选择题。


作者:佚名    

来源:http://www.51testing.com/html/88/n-7795688.html

  • 【留下美好印记】
    赞赏支持
登录 后发表评论
+ 关注

热门文章

    最新讲堂

      • 推荐阅读
      • 换一换
          • 11月2日晚,华为发布上下折的折叠手机新品,把价格下探到6000元以下。“符合之前判断,这是折叠手机价格下探的一个契机点。”群智咨询副总经理、首席分析师陈军向第一财经记者分析说,这意味着折叠手机普及上量的速度在加快。今年预计全球折叠手机的出货量将达1400万台,明年将进一步翻倍增至3000台,背后是价格持续下探。陈军说,折叠手机价格持续下探的背后,是铰链、盖板等配件的价格逐步走低,折叠手机整个供应链逐步走向成熟。从市场整体竞争格局看,陈军认为,明年初折叠手机仍在4000元档以上,仍以华为、三星为主要玩家,国内市场OPPO、vivo、小米的份额也会走高,这也是一个明显的趋势。“对显示面板行业来讲...
            0 0 1050
            分享
          • 一、软件测试的目的1)软件测试是为了发现错误而执行程序的过程。2)测试是为了证明程序有错,而不是证明程序无错。(发现错误不是唯一目的)3)一个好的测试用例在于它发现至今未发现的错误。4)一个成功的测试是发现了至今未发现的错误的测试。注意:1、测试并不仅仅是为了要找出错误。通过分析错误产生的原因和错误的分布特征。可以帮助项目管理者发现当前所采用的软件过程的缺陷,以便改进。同时,通过分析也能帮助我们设计出有针对性的检测方法,改善测试的有效性。2、没有发现错误的测试也是有价值的,完整的测试是评定测试质量的一种方法。详细而严谨的可靠性增长模型可以证明这一点。例如BevLittlewood发现一个经过测...
            0 0 3388
            分享
          •   前言  前面小编介绍了如何通过Pytest的插件来实现自动化测试的环境的切换,当时使用的方法是通过钩子函数进行获取命令行参数值,然后通过提前配置好的参数进行切换测试环境地址。  今天小编再次介绍一种方法,通过Pytest的插件:pytest-base-url进行来实现。  pytest-base-url  pytest-base-url 是Pytest的第三方插件,主要用来帮助我们进行切换测试环境地址,其中配置方法存在两种,一种直接在命令行中进行添加url参数,一种是通过pytest.ini的方法进行提前存储测试环境地址,接下来跟着小编一起看看两种方式都是如何实现的吧。  命令行参数传入 ...
            0 0 1202
            分享
          •   问题描述  前后端分离体系中,后端接口变动时,前端需要相应调整,但是往往没有提供详细的接口调整说明,无法开展测试。  拟通过编写代码并在构建后端程序时自动执行,自动生成接口文档并可查看变动情况。  解决方案  通过Junit自动执行Swagger的API获取工程后台接口信息,并将接口信息写入ShowDoc,通过ShowDoc可直观查看接口变动情况,解决接口变化感知的问题。  适用技术栈  适用于服务端,Java技术栈。  应用价值点和创新点  通过Junit自动执行Swagger的API获取工程后台接口信息,然后将获取的接口信息写入ShowDoc,每次后端程序构建时自动写入接口信息,通过S...
            0 0 1189
            分享
          •   前言  在做自动化的过程中,编写用例时候需要用到用例的前置和用例的后置,其中pytest中有setup_class和teardown_class可以帮助我们完成这些,但是不够完善而且灵活性不够强。举个简单的例子,一个calss中有3条用例,其中2条需要登录,1条不需要登录,这个时候如果在用setup和teardown来做就有点不方便。这个时候就引入了新的知识点fixture。  fixture简单介绍  fixture属于pytest中的一个方法。fixture可以用作测试用例的前置和后置操作,其中fixture命令规范没有像setup和teardown固定格式。可以随意命名。控制fixt...
            13 13 4944
            分享
      • 51testing软件测试圈微信