在测试中,为了度量产品质量,代码覆盖率被作为一种测试结果的评判依据,在Python代码中用来分析代码覆盖率的工具当属Coverage。代码覆盖率是由特定的测试套件覆盖被测源代码的程度来度量,Coverage是一种用于统计Python代码覆盖率的工具,通过它可以检测测试代码的有效性,即测试case对被测代码的覆盖率几何。
Coverage支不仅持分支覆盖率统计,还可以生成HTML/XML报告。并且XML报告可以结合Jenkins和Sonar集成工具一起使用。
Coverage官方文档:http://coverage.readthedocs.org/en/latest/
Coverage作为Python的一个第三方库,使用时需要先安装,使用pip命令进行安装。
安装命令:
pip install coverage
C:\Users\TynamYang>pip install coverage Collecting coverage Downloading coverage-5.1-cp37-cp37m-win32.whl (204 kB)|████████████████████████████████| 204 kB 731 kB/s Installing collected packages: coverage Successfully installed coverage-5.1C:\Users\TynamYang>
安装完成后可以看到安装的版本:coverage-5.1
安装完成后使用coverage,coverage有两种使用方法,一种是在命令行中使用,一种是调用API使用。方便控制部分需要测试的代码。
1、基本参数
命令行中使用文档:http://coverage.readthedocs.org/en/latest/cmd.html
命令行中使用时常用参数:
run – 运行Python程序并收集执行数据
report – 报告覆盖率结果
html – 生成HTML文件,内容含覆盖率结果列表
json – 生成JSON文件,内容含覆盖率结果
xml – 生成XML报告文件,内容含覆盖率结果
erase – 清除之前收集的覆盖率数据
combine – 合并多个数据文件
debug – 获取调试信息
可以使用help命令查看帮助:
coverage help
2、运行代码收集信息
在使用coverage时,基本需要两步运行,第一步运行源代码,收集被测试的源代码覆盖率的信息,第二步生成代码覆盖率的信息报告。
如下测试代码:
#test.py # coding:utf-8 import unittest def add_numb(a, b): return a + b def division_numb(a, b): return a / b class Test(unittest.TestCase): def test_add_1(self): self.assertEqual(add_numb(1,1), 2) def test_add_2(self): self.assertEqual(add_numb(2,0), 1) def test_division_1(self): self.assertEqual(division_numb(2,1), 2) def test_division_2(self): self.assertEqual(division_numb(2,0), 2) if __name__ == "__main__": unittest.main(verbosity=2)
使用命令运行:
coverage run test.py
C:\Users\TynamYang\Desktop> coverage run test.py test_add_1 (__main__.Test) ... ok test_add_2 (__main__.Test) ... FAIL test_division_1 (__main__.Test) ... ok test_division_2 (__main__.Test) ... ERROR ====================================================================== ERROR: test_division_2 (__main__.Test) ---------------------------------------------------------------------- Traceback (most recent call last): File "test.py", line 22, in test_division_2 self.assertEqual(division_numb(2,0), 2) File "test.py", line 9, in division_numb return a / b ZeroDivisionError: division by zero ====================================================================== FAIL: test_add_2 (__main__.Test) ---------------------------------------------------------------------- Traceback (most recent call last): File "test.py", line 16, in test_add_2 self.assertEqual(add_numb(2,0), 1) AssertionError: 2 != 1 ---------------------------------------------------------------------- Ran 4 tests in 0.003s FAILED (failures=1, errors=1) PS C:\Users\TynamYang\Desktop>
代码执行完成后会生成一个覆盖率统计结果文件:.coverage。该文件名可通过设置COVERAGE_FILE环境变量进行修改。
3、生成报告
查看报告有两种方式,一种是在当前命令行模式下查看,一种是生成HTML报告文件查看。
命令行模式下查看
根据运行代码后生成的.coverage文件,使用report参数可在命令行模式下查看覆盖率统计结果。
使用命令:
coverage report
PS C:\Users\TynamYang\Desktop> coverage report Name Stmts Miss Cover ----------------------------- test.py 16 0 100% PS C:\Users\TynamYang\Desktop>
由结果可以得知,执行的test.py文件,代码覆盖率是100%
结果展示中的字段含义:
tmts:语句总数
Miss:未执行到的语句数
Cover:覆盖率,计算公式 Cover=(Stmts-Miss)/Stmts
生成HTML报告文件
使用命令生成HTML报告:
coverage html -d covhtml
其中参数-d是指定生成的html所在的文件夹名
命令执行完成后会生成一个covhtml文件。
文件中的index.html文件覆盖率数据统计。
也可以看一些示例:https://nedbatchelder.com/files/sample_coverage_html/
各字段说明:
Stmts 总的有效代码行数(不包含空行和注释行)
Miss 未执行的代码行数(不包含空行和注释行)
Branch 总分支数
BrMiss 未执行的分支数
Cover 代码覆盖率
Missing 未执行的代码部分在源文件中行号
以执行的测试原文件命名的文件,可以高亮显示覆盖和未覆盖的代码。如test_py.html。
也可以看一些示例,如http://nedbatchelder.com/code/coverage/sample_html/
调用API使用文档:http://coverage.readthedocs.org/en/latest/api.html
在python代码中通过调用coverage模块执行代码生成代码覆盖率的统计结果。使用方法也非常简单,如下示例:
if __name__ == "__main__": # 实例化对象 cov = coverage.coverage() # 开始分析 cov.start() suite = unittest.defaultTestLoader.discover(os.getcwd(), "test.py") unittest.TextTestRunner().run(suite) # 结束分析 cov.stop() # 结果保存 cov.save() # 命令行模式展示结果 cov.report() # 生成HTML覆盖率报告 cov.html_report(directory='covhtml')