• 0
  • 1
分享
  • 数据库迁移——表结构及迁移数据测试
  • 恬恬圈 2020-01-03 14:39:40 字数 2229 阅读 3598 收藏 1

信息时代,随着用户数量不断增加,业务量不断增长,企业原有数据库不足以有效支撑业务的发展,在此情况下,企业更多的是寻求一款更加稳定的数据库进行替代。本文以Sybase数据库和Oracle数据库为例。

Oracle数据库是目前世界上流行的关系数据库,采用多进程多线索体系结构,而Sybase数据库采用单进程多线索体系结构。两者均采用多线索的模式,该模式能用较少的线索管理大量的用户进程,降低了对系统资源的占用,提高了系统资源的利用率。多进程较单进程的优势在于,能实现数据库事务的并行处理,提高并发事务处理的响应速度,避免了单服务器结构中很容易造成服务器进程瓶颈,进而避免了因此而引起的单服务器进程死锁。因此,当前企业一般以Oracle数据库替代Sybase数据库。

数据库迁移后,需要测试人员进行有效的验证,以保障系统的可用性,这是一个必不可少的环节。本文以实际项目测试经历为依据,对数据库表结构及迁移数据的测试方法、经验进行了总结,供测试人员使用。

1、数据库表结构测试

数据库迁移普遍会涉及表字段的变换,包括字段的新增、删除或修改等情况,此时,测试需关注以下3个方面:

(1)新增字段测试:关注表结构,检查新库中新增字段的字段类型是否与预先定义一致;检查迁移前后新增的字段在数据库记录中是否有值及其正确性。数据库迁移后,新增字段根据业务需求可能会存在以下两种插入方式:一是系统上线前就通过数据变更导入数据,这种情况下我们需要验证该新增字段在数据库表中是否都已按照业务需求填充完整。二是系统上线后,客户发生实际业务后获取并填充该新增字段,针对这种情况,则建议验证涉及该字段增删改查的系统功能在迁移后能否正常使用。

(2)删除字段测试:关注表结构,检查删除的字段在新库中是否已被删除,确认被删除字段数据是否需要导入新库,还是直接删除,如需导入新库,需确定数据导入规则,然后验证导入后数据的准确性、完整性等。此外,需要选择关联功能进行验证。

(3)修改字段测试:关注表结构,检查新库中新增字段的字段类型是否与预先定义一致。数据库迁移时,部分字段类型、字段内容可能会发生改变。针对字段内容发生变化的情况,也需要验证相关系统功能能否正常使用,以及表中数据的准确性及完整性。针对字段类型,Sybase及Oracle数据库存在一些差别,以Sybase的datetime字段为例,它保留了毫秒级的数据,而Oracle的date类型只保留到秒级别数据,因此测试时需要关注因字段类型变化带来的数据一致性问题。同时,在测试时要极为关注,并与开发确认字段类型的差别是否会对系统功产生影响。下表列出了Sybase及Oracle部分常见字段类型,供测试人员参考:

表1 Sybase及Oracle常见数值类型

15243603_201912311101271LvXo.png 

2、迁移数据测试

对于进行数据库迁移的数据,要关注以下几点:迁移过程中出现的脏数据,数据的提取方式,迁移前后的数据一致性。

(1)脏数据

脏数据是指源系统中的数据不在给定的范围内、对于实际业务毫无意义、数据格式非法、以及在源系统中存在不规范的编码和含糊的业务逻辑。数据从Sybase数据库中迁移出来时会有一部分脏数据,包含重复数据、无效数据、不可见数据等,首先需要在Sybase数据库中处理脏数据,再导出数据,最后将数据导入Oracle数据库。所以迁移后:

Oracle数据库的数据量=实际迁移数据量=迁移前Sybase数据量-脏数据量。

(2)数据提取方式

数据的提取是为了更好的进行数据一致性对比,考虑到Sybase数据库与Oracle数据库导出数据的规则不同,直接对比各自导出数据文件需要进行大量的格式和文本转换,我们采用直接从两种数据库中查询,然后以统一格式生成文本文档的方式提取数据,并在数据之间以特定的分隔符进行分割。在实际操作中需要针对不同处理字段类型,定义不同的转换函数,例如定义一段Oracle数据库中clob字段转string的函数:

然后通过用Java语句提取到文本文档当中,而Sybase数据库中的字段则可直接转为string然后写入文本文档。

这样就可以获取到格式为TXT的数据提取文本。

(3)基于Beyond Compare工具进行数据对比

Beyond Compare是一种文本比对工具,此工具主要用途是对比两个文件夹或者文件,并将其差异以颜色标出。针对迁移前后数据的一致性测试,我们的基本思路是对于没有发生改变的字段的数据进行全量的文本对比,再采用抽样的方式选中一部分数据进行所有字段的人工对比。前文中数据库结构测试里的表结构在这里就是数据一致性测试的一个基础,确定了需要使用文本对比的字段。在Beyond Compare工具中,选择文本比较,将两份提取出的数据文本分别放入两侧对比框中,将立即对文本进行比较,并标注出有差异的项。一般选择显示差异项来锁定有差异的数据。当两份文本对比无差异时,我们就可以确认数据库迁移前后的数据是完全一致的了。

15243603_201912311101272i9SF.png

图1 Beyond Compare比较界面

以上,便是我们本文的主要内容。当然,数据库迁移测试,并不能只从数据库结构、迁移数据两个维度进行验证,我们还需在数据迁移后的环境开展功能验证,通过全量的功能回归,发掘数据迁移后的缺陷。此外,为了保障系统上线后的稳定性,我们需要开展性能测试,这些我们将在以后再进行分享,希望上述内容能对开展数据库迁移测试的朋友提供帮助!


 本文内容不用于商业目的,如涉及知识产权问题,请权利人联系我们将立即处理。

  • 【留下美好印记】
    赞赏支持
登录 后发表评论
+ 关注

热门文章

    最新讲堂

      • 推荐阅读
      • 换一换
          • 首先我们来说下接口测试工具如postman,jmeter等的缺点。最大的不足就是接口测试数据的不可控,这个环节接口工具是没有办法完成的。举个例子:比如我们调用商品查询列表或者某个商品详情信息,比如商品列表有50条数据,商品详情比如说是连衣裙,尺码是s,品牌是某某,大家想一下,如果数据库中没有这些数据,那我们怎么验证该接口功能是否正确?所以说,在我们测试接口前,是需要对测试数据进行初始化的操作的,这个初始化的操作也只能通过谢代码的方式来解决。接口工具测试过程: 1、接口工具调用被测系统的接口。 2、系统的接口根据入参向数据库发送请求进行查询。 3、系统的接口得到查询...
            0 7 6704
            分享
          • 前言本文章使用王者荣耀游戏接口、企业微信接口的展示结合理论知识,讲解什么是接口测试、接口测试理论、疑问收录与扩展相关知识点的知识学院,快来一起看看吧~1 接口测试基础理论接口测试:接口测试是测试系统组件间接口的一种测试,主要用于测试系统与外部其他系统之间的接口,以及系统内部各个子模块之间的接口。接口原理:模拟客户端向服务器发送请求报文,服务器接收请求报文后对相应的报文做判断并将最终结果返回至客户端,客户端再次接收返回结果并应答的过程。检查重点:测试的重点是检查接口参数传递、接口功能实现、输出结果的正确性,以及对各类异常情况容错处理的完整性与合理性。接口类型:内部接口及外部接口,内部接口为程序开...
            0 0 1169
            分享
          • 一、对系统整体的了解Server端:jsp+Servlet+json数据库:sql、MySQL、oracle等前台:涉及到jstl,jsp,js,css,htm等方面后台:servlet,jms,ejb,还有很多框架,struts,hibernate,spring,ibatisJsp:分不清前后台的,因为这里涉及到一个运行时刻的问题,它们的运行时刻是不同。用户发出请求后,服务器解析用户请求,转至对应的jsp,这个时候可以说是整个jsp都是后台程序。而Jsp做出响应后,把响应的内容返回给浏览器,这个时候浏览器就只看见html,css,javascript,这个时候所有的程序又都是前台程序。二、前...
            0 0 2993
            分享
          • 1、软件测试的目的是发现软件中存在的错误,提高软件质量,降低软件项目的风险。2、软件测试只能证明软件存在错误,而不能证明软件没有错误。测试的目的只是把软件的错误控制在一个可以进行产品交付/发布的程度上,可以交付/发布产品并不是没有错误的产品。3、软件测试不可能无休止的进行下去。随着测试时间的延伸,发现错误的成本会越来越大,这就需要测试有度,而这个度并不能由项目计划实际判断,而是要根据测试发现错误的概率来判断。4、第三方测试指独立于软件公司自身测试的测试,所谓第三方是指在软件公司和软件用户之间的一方,是一个中介的服务机构,第三方测试除了发现软件问题之外,还要对软件进行科学、公正的评价的职能。5、...
            12 14 4532
            分享
          •   前言  我们编写自动化的测试用例,通常会编写在单元测试框架中。python的单元测试有自带的unittest和第三方的pytest,今天主要介绍下我们在python中如何通过unittest编写自动化测试用例。  unittest介绍  unittest属于python自带的单元测试框架,类似与java的junit。unittest支持编写测试自动化用例,多个用例中共享一个前置和后置内容,有多种执行测试用例的方法,支持生成独立的测试报告内容。  官方文档:https://docs.python.org/2/library/unittest.html  unittest常用方法  无论是什么...
            12 12 1998
            分享
      • 51testing软件测试圈微信