使用pytest测试

简介

pytest:帮助你写出更好的程序:

  • 开源,免费。
  • 升级pytest,严格的向后兼容性。
  • 丰富的第三方插件。
  • 内置assert断言。

安装

1
2
3
pip install -U pytest
# or
easy_install -U pytest

查看版本

1
py.test --version

也许你已经使用unittest和doctest写了很多的测试用例了,不过你可以直接使用pytest运行他们。

pytest fixtures

fixture可以声明function,module,fixture。也可以使用xunit的fixture的格式,setup和teardown。使用fixtures作为function的参数使用

分类

像unittest有setup和teardown固定装置,pytest扩展了该功能。

  1. 模块的固定装置:setup_module/teardown_module
  2. 类的固定装置:setup_class/teardown_class
  3. 可替代的类级别的固定装置:setup/teardown
  4. Module级别方法装置:setup_function
  5. Class级别方法装置:setup_method

pytest_fixtrue.py

1
2
3
4
5
6
7
8
9
10
11
12
13
def setup_module()
def teardown_module()
def setup_function()
def teardown_funcion()
def module_funtion()
class class_name:
def setup()
def teardown()
def setup_class()
def teardown_class()
def setup_method()
def teardown_method()
def class_function()

运行后,执行顺序:

1
2
3
4
5
6
7
8
9
10
11
12
setup_module()
setup_function()
module_function()
teardown_funtion()
setup_class()
setup_method()
setup()
class_function()
teardown()
teardown_method()
teardown_class()
teardown_module()

需要哪些装置写哪些。

fixture参数scope

scope控制fixtrue调用的频率,默认是function。可选的有:

  • function:每个测试函数之前执行一次
  • class:每个测试类之前执行一次
  • module:每个module之前执行一次
  • session:每次session之前执行一次,即每次测试执行一次

fixture参数Request

使用request参数,当要添加finilizer到fixture中。
相当于pytest内置的一个fixture,需要传递给fixture,才能识别finilizer。

1
2
def test_data(request):
......

fixture参数params

1
2
3
4
5
@pytest.fixture( params=[1,2,3] )
def test_data(request):
return request.param def test_not_2(test_data):
print('test_data: %s' % test_data)
assert test_data != 2

依次循环传入params中的每个值作为参数。

参数化方法

pytest支持在多个完整测试参数化方法:

  1. pytest.fixture(): 在fixture级别的function处参数化
  2. @pytest.mark.parametrize:允许在function或class级别的参数化,为特定的测试函数或类提供了多个argument/fixture设置。
  3. pytest_generate_tests:可以实现自己的自定义动态参数化方案或扩展。

@pytest.mark.parametrize

内建的pytest.mark.parametrize装饰器可以参数化测试函数的参数。

1
2
3
4
5
6
7
8
import pytest
@pytest.mark.parametrize("test_input,expected", [
("3+5", 8),
("2+4", 6),
("6*9", 42),
])
def test_eval(test_input, expected):
assert eval(test_input) == expected

conftest文件多个py共享fixture

如果一个fixture需要共享,不用在每个py文件中写一遍,写在conftest.py文件中就好。

在module/class/session件share一个fixture)

1
2
3
4
5
6
7
8
9
def test_ehlo(smtp):
response, msg = smtp.ehlo()
assert response == 250
assert b"smtp.gmail.com" in msg
assert 0 # for demo purposes
def test_noop(smtp):
response, msg = smtp.noop()
assert response == 250
assert 0 # for demo purposes

共享一个smtp实例。

特殊参数单独处理

当fixture很多,但在参数化的测试用例中,参数名称和fixture名称同名,有需要使用fixure处理的特殊参数,使用关键字indirect指定特殊参数, indirect接收list或者tuple,剩余未指定的为普通的参数

1
2
3
4
5
6
7
8
9
10
11
12
13
import pytest
@pytest.fixture(scope='function')
def x(request):
return request.param * 3

@pytest.fixture(scope='function')
def y(request):
return request.param * 2

@pytest.mark.parametrize('x, y', [('a', 'b')], indirect=['x'])
def test_indirect(x,y):
assert x == 'aaa' # 只有参数x使用fixture
assert y == 'b'

注意,该方法用于需要对数据进行同样处理时,如果是随机那种,直接使用fixture就可以:

1
2
3
4
5
6
7
8
9
10
11
12
@pytest.fixture(scope='function')
def rand():
return random.randint(0, 10)

@pytest.mark.parametrize('x, y', [
('a', 'b'),
('c', 'b')
])
def test_only_fix(rand, x, y):
print(rand)
assert rand == x
assert rand != y

fixture终止/执行teardown

当最后一个需要fixture的test执行结束后,可指定执行终止的代码。可以传递一个request作为参数,在结束后回调fin函数

1
2

request.addfinalizer(fin)

fin为自定义的回调函数。

执行用例

pytest将运行所有在当前目录及其子目录的test_*.py or *_test.py.形式。遵循标准测试发现test discovery规则。

组织测试:当有许多的测试用例了,注意使用class或者module组织测试用例。

1
python -m pytest [...]

或者

1
py.test [...]

查看选项名称,环境变量

1
2
py.test --fixtures  # show available builtin function arguments
py.test -h | --help # show help on command line and config file options

选择要运行的测试

1
2
3
4
5
pytest test_mod.py   # 运行test_mod.py所有测试
pytest somepath #运行某个路径下的所有测试
pytest -k stringexpr # 运行匹配stringexpr的测试函数
pytest test_mod.py::test_func # 运行test_mod.py模块中的test_func测试函数
pytest test_mod.py::TestClass::test_method # TestClass类下的test_method测试方法

忽略查找路径 --ingore

1
2
3
4
5
6
7
8
9
10
11
12
13
14
tests/
|-- example
| |-- test_example_01.py
| |-- test_example_02.py
| '-- test_example_03.py
|-- foobar
| |-- test_foobar_01.py
| |-- test_foobar_02.py
| '-- test_foobar_03.py
'-- hello
'-- world
|-- test_world_01.py
|-- test_world_02.py
'-- test_world_03.py

忽略 test_footbar_03.py

1
--ignore=tests/foobar/test_foobar_03.py

忽略 整个hello目录

1
--ignore=tests/hello/

修改Python的trace输出

1
2
3
4
5
6
7
8
9
10
py.test --showlocals # show local variables in tracebacks
py.test -l # show local variables (shortcut)

py.test --tb=auto # (default) 'long' tracebacks for the first and last
# entry, but 'short' style for the other entries
py.test --tb=long # exhaustive, informative traceback formatting
py.test --tb=short # shorter traceback format
py.test --tb=line # only one line per failure
py.test --tb=native # Python standard library formatting
py.test --tb=no # no traceback at all

请求一个唯一的临时目录

1
2
3
def test_needsfiles(tmpdir):
print (tmpdir)
assert 0

pytest会寻找并创建一个fixture在调用其他test方法时。
在每个测试方法前面创建一个临时的目录。
查看内建的fixture

1
py.test --fixtures # shows builtin and custom fixtures

运行顺序说明

pytest按照在.py中的出现位置(从上到下)执行用例,可以改变执行顺序
使用pytest-orderingpytest-dependency

打印结果

pytest在通过测试时会忽略中间的print信息。要打印则需要assert为false,打印好看用json来格式化下:

1
2
3
import json
print json.dumps(posts_local, indent=4)
assert False

也可以使用pprint.pprint()

处理失败

使用-r可以查看skips和xfails的详细信息。

Skip

预期测试能通过,除非环境(如:错误的python解释器,缺少依赖)阻止其不能正常的运行。

跳过一个测试函数

通过skip装饰器:

1
2
3
@pytest.mark.skip(reason="no way of currently testing this")
def test_the_unknown():
...

设置跳过测试的条件

小于python3.3解释器运行时,跳过:

1
2
3
4
5
import sys
@pytest.mark.skipif(sys.version_info < (3,3),
reason="requires python3.3")
def test_function():
...

在module之间共享跳过条件

1
2
3
4
5
6
7
8
# content of test_mymodule.py

import mymodule
minversion = pytest.mark.skipif(mymodule.__versioninfo__ < (1,1),
reason="at least mymodule-1.1 required")
@minversion
def test_function():
...

导入跳过

1
2
3
4
5
6
# test_myothermodule.py
from test_mymodule import minversion

@minversion
def test_anotherfunction():
...

对于大型测试套件是一个好主意,有一个文件,你定义的标记然后一直应用在整个测试套件。

跳过一个类的所有测试函数或模块

在类上使用skipif :

1
2
3
4
5
6
@pytest.mark.skipif(sys.platform == 'win32',
reason="does not run on windows")
class TestPosixCalls:

def test_function(self):
"will not be setup or run under 'win32' platform"

跳过所有测试方法:在global level使用pytestmark 名称

1
2
# test_module.py
pytestmark = pytest.mark.skipif(...)

xfail

测试可以运行,但是你期望其失败,因为有实现上的问题。

1
def xfail(condition=None, *, reason=None, raises=None, run=True, strict=False):

一个测试函数标记为失败

使用xfail marker:

1
2
3
@pytest.mark.xfail
def test_function():
...

这样,会运行该测试,但失败了无输出信息。

设定失败的理由

1
2
def test_hello6():
pytest.xfail("reason")

测试报告

pytest可以方便的生成测试报告,即可以生成HTML的测试报告,也可以生成XML格式的测试报告用来与持续集成工具集成。
查看pytest-html

  • Copyrights © 2016-2020 蜀山柚柚
  • Visitors: | Views:

请我喝杯咖啡吧~

支付宝
微信