• 0
  • 0
分享
  • 浅谈TDSQL数据库的性能调优——软件测试圈
  • 曼倩诙谐 2023-08-02 11:38:46 字数 1933 阅读 1194 收藏 0

  一、TDSQL概述

  TDSQL是腾讯研发的一款兼容MySQL协议的国产分布式数据库,适用于大并发、高性能、大容量的 OLTP 类场景。TDSQL分为集中式和分布式版本,分布式版可支持分布式事务,但性能不如单机事务,性能会有一定的损耗,如需使用,需要进行实际测试结果来决定是否使用。

  二、TDSQL性能监控分析工具

  1. 赤兔平台

  赤兔平台中通过DB监控、实例监控和SQL Engine监控可以查看查看数据库及网关的监控指标,通过日志管理查看慢查询和SQL Engine日志,同时还可以通过性能分析报告(实例管理-》“点击实例 ID 进入”-》性能分析)查看系统状态、表空间分布、冗余索引、死锁诊断、锁等待诊断、慢查询分析、DB状态检查等信息。

  (1)慢查询

  慢查询诊断通过TDSQL的监控库汇总set中主备慢查询的分析结果,并对每个摘要对应的样例SQL生成的索引建议作为该类SQL的建议。点击实例管理-实例ID-日志查询-慢查询,查看DB是否有慢查询SQL。如果有慢查询,可以点击SQL分析可以查看修改建议和SQL的查询计划。

  (2)SQL Engine慢查询

  SQL Engine慢查询与慢查询相比,增加了sql在SQL Engine的执行时间。如没有慢查询,可以查看是否有SQL Engine慢查询,如不存在慢查询,仅存在porxy慢查询,可考虑对porxy服务器扩容。

  (3)死锁或锁等待

  通过实例管理-实例ID-性能分析-实时诊断,可查看数据库是否存死锁。通过实例管理-实例ID-性能分析-实时诊断,可查看数据库是否存在锁等待。

  (4)冗余索引

  冗余索引意味着update/insert/delete需要更新不必要的索引,带来潜在的性能影响。通过实例管理-实例ID-性能分析-实时诊断,可查看数据是否存在冗余索引。

  (5)会话检查

  通过性能分析-会话检查可以查看数据库的所有会话。也可通过异常会话菜单可以查看实时会话和异常会话。

  2. APM监控工具

  通过APM工具和全链路监控工具中交易的堆栈信息可以查看sql语句的执行时长,进而发现执行慢的SQL语句。

  3.DBbrain

  DBbrain为腾讯新开发的TDSQL性能分析工具,可以实现从业务SQL到DB SQL双向追踪,还可以对死锁、等待行锁等多个锁冲突场景进行异常诊断,还可以对慢查询进行分析并给出优化建议。

  三、性能问题排查思路

  1.检查运行状态

  登录赤兔,通过DB监控和SET管理均可以查看TDSQL各节点的运行情况。此外,也可以登录TDSQL服务器,通过PS -ef|grep tdsql_run查看TDSQL进程是否存在。

  2. 检查配置参数

  (1)查看数据库参数

  登录赤兔,通过实例管理-数据库管理-数据库参数,可以参看数据库配置参数,重点关注最大连接数的设置。

  (2)查看数据库连接串参数

  登录POD的控制台,在/soft/tomcat/conf目录下查看context.xml

  文件,可以看到数据库连接串配置的参数。连接串参数可以重点关注serverTimezone、rewriteBatchedStatements、netTimeoutForStreamingResults、allowMultiQueries等参数。

  3.借助监控工具查看异常

  通过赤兔及DBbrain可以查看慢查询、SQL Engine慢查询、死锁等监控项,并查看SQL优化建议,此外,通过APM和全链路监控工具也可以查看响应时间慢的SQL语句。

  4.检查Engine日志

  TDSQL SQL Engine日志文件分为接口日志文件(interf_instance_xxx)、SQL日志文件(SQL_instance_xxxx)和慢查询日志文件(slow_SQL_instance_xxxx)。接口日志文件接口日志主要存储了由客户端传输给服务器的原始SQL信息,包括客户端,后端服务器、新建连接的数量、新建连接的花费的时间、查询得到的结果集总量、操作影响的行数等;SQL日志文件记录了在set中具体执行的SQL信息;慢查询日志慢查询日志主要存储了ddl语句及响应时间超过1s的dml语句。

  5.关注数据分布情况

  对于批量程序,应关注各节点的处理的数据量差异,尽可能使各节点的数据量保持均匀,避免因各节点数据量差异影响批量程序的执行时长。此外,批量提交的size可以在性能测试中进行调整,从而找对批量执行效率最高的size设置值。


作者:赵俊杰    

来源:http://www.51testing.com/html/92/n-7796692.html

  • 【留下美好印记】
    赞赏支持
登录 后发表评论
+ 关注

热门文章

    最新讲堂

      • 推荐阅读
      • 换一换
          •   互联网的发展催生了大数据行业的诞生和发展。大数据平台和大数据应用成为了各家排兵布阵的重要之地。那么,从测试的视角来看,大数据平台和应用的测试,我们应该关注哪些点呢?  换个姿势看问题。今天我们从问题域的角度来聊一聊。  什么是问题域?  指的是问题的范文,问题之间存在的关系和可能逻辑空间。  比如,在测试过程中我们面临的“xx接口是否正常?”这样的问题,我们可以将它归纳到某个与之有关的问题域中(比如功能测试)。  在我们测试的时候,经常会先入为主的提出:功能测试、性能测试、压力测试等等分类。然后在对应的测试类型中设置问题,观察软件或系统的反应,从而解决我们的问题,并依据我们的期望判定问题答...
            0 0 499
            分享
          •       一、前言      作为移动互联网产品『最后一公里的守护者』,我们必须要清楚的知道自己该做什么、怎么做。但从版本迭代速度、需求量级、测试人员不断变动等方面综合来看,我们很多人都没有做好充分的准备。测试方法落后、测试用例覆盖不全、测试效率低下,使得测试将要成为阻碍产品质量进一步提升的另一瓶颈。      因此,沉淀一下自己的工作心得,希望能帮助更多的人完善测试设计,提升自我测试能力。      二、提高测试用例质量  &nbs...
            0 0 1933
            分享
          • 在实现接口自动测试的时候,会经常遇到接口参数依赖的问题,例如调取登录接口的时候,需要先获取登录的key值,而每次请求返回的key值又是不一样的,那么这种情况下,要实现接口的自动化,就要用到postman中设置环境变量这个功能了;在postman中,可以利用tests将接口返回的response设置为环境变量,供后续接口使用(类似参数化的概念)获取环境变量需要具体方法如下图所示;var jsonData =JSON.parse(responseBody);//获取body中返回的所有参数 postman.setEnvironmentVariable("appKey&...
            0 1 5207
            分享
          •   前言  无论什么自动化,都会需要参数化。unittest可以通过ddt来完成参数化,那么pytest通过什么呢?  parametrize  pytest中自带的装饰器parametrize可以来实现测试用例的参数化功能。  使用方法  通过下方装饰器,使用在需要传入参数的case中。用例传参中的值和装饰器传入的参数值一致。@pytest.mark.parametrize('参数化名称',参数化值)  安静举一个登录传参的例子。import pytest # 登录参数 data = [('anjing', &...
            13 15 2629
            分享
          •   一、缓存测试  缓存系统的使用,在一定程度上,极大的提升了应用程序的性能和效率,在秒杀系统的建设上,缓存系统出力不小,特别是数据查询方面,数据的快速返回广受好评。但同时,它也带来了一些问题,测试过程中,如果没有及时关注到缓存系统,整个测试环节是有遗漏的。缓存系统没有经过严格的测试,容易产生一个严重的问题,就是数据的一致性问题。如果没有对缓存系统进行测试,并且后端系统对数据的一致性要求很高,那么就不能使用缓存。  缓存的主要作用:是将业务系统的数据处理结果,暂时在内存中保存,并且等待下次访问的时候,立马从内存中取出。在日常开发场景中,因为服务器的性能或者自身业务对数据处理非常耗时的时候,当发...
            14 15 1582
            分享
      • 51testing软件测试圈微信