Pytest从入门到精通 on 重定向学院

1.快速开始

Thu, 02 Nov 2017 07:22:42 +0800

简介

pytest测试框架可以让我们很方便的编写测试用例，这些用例写起来虽然简单，但仍然可以规模化以及编写更加复杂的测试用例。

安装

pip install -U pytest

用下面的命令去检查一下pytest是否成功安装

$ pytest --version
This is pytest version 3.x.y, imported from $PYTHON_PREFIX/lib/python3.5/site-packages/pytest.py

快速开始

创建名为test_quick_start.py的文件，敲如下内容

def reverse(string):
 return string[::-1]

def test_reverse():
 string = "good"
 assert reverse(string) == "doog"

 another_string = "itest"
 assert reverse(another_string) == "tseti"

上面的代码做了2件事情

定义了名为reverse(string)的全局函数，作用是把string反转并返回。比如输入"abc"会反转成"cba"
定义了名为test_reverse()的函数，包含了2个断言，用来测试reverse()方法的正确性

在命令行中使用下面的命令去运行用例

pytest

结果应该大致如下

========================================================================= test session starts =========================================================================
platform darwin -- Python 2.7.12, pytest-3.2.3, py-1.4.34, pluggy-0.4.0
rootdir: /Users/easonhan/code/testclass.net/src/pytest, inifile:
collected 1 item

test_quick_start.py .

====================================================================== 1 passed in 0.01 seconds =======================================================================

总结

这是最简单的单元测试实例，实现了用代码去测试代码的目的。

原始封面

2.运行多个文件

Wed, 01 Nov 2017 07:22:42 +0800

背景

在现实的测试活动中，我们经常会定义多个用例文件，用来实现业务逻辑或其他逻辑上用例的物理分隔，比如

login_test.py # 登录相关功能的测试用例
cart_test.py # 购物车相关功能的测试用例
checkout_test.py # 结算相关功能的用例
order_test.py # 订单相关功能的用例

使用pytest可以很方便的执行批量执行一组文件中定义的用例。

潜规则

在批量执行用例之前，我们需要了解一下pytest的潜规则，注意，由于pytest可以支持丰富的定制选项，下面的潜规则是在没有定制的默认情况下的缺省规则

pytest会找当前以及递查找子文件夹下面所有的test_*.py或*_test.py的文件，把其当作测试文件
在这些文件里，pytest会收集下面的一些函数或方法，当作测试用例
- 不在类定义中的以test_开头的函数或方法
- 在以Test开头的类中(不能包含__init__方法)，以test_开头的方法
pytest也支持unittest模式的用例定义

实例

新建test_calc.py文件，与上一节的test_quick_start.py放在同一文件夹下，敲入下面的内容

def add(x, y):
 return x + y

def test_add():
 assert add(1, 0) == 1
 assert add(1, 1) == 2
 assert add(1, 99) == 100

现在当前文件夹下应该有2个文件

test_calc.py
test_quick_start.py

运行

在当前文件夹敲下面的命令

pytest

结果大致应该如下所示

$ pytest
========================================================================= test session starts =========================================================================
platform darwin -- Python 2.7.12, pytest-3.2.3, py-1.4.34, pluggy-0.4.0
rootdir: /Users/easonhan/code/testclass.net/src/pytest, inifile:
collected 2 items

test_calc.py .
test_quick_start.py .

====================================================================== 2 passed in 0.01 seconds =======================================================================

总结

上面的例子里

所有以test_开头的py文件都被当成了测试文件
所有测试文件中以test开头的方法被当成了测试用例执行

原始封面

3.Assert

Wed, 01 Nov 2017 07:22:42 +0800

Assert就是断言，每个测试用例都需要断言。

与unittest不同，pytest使用的是python自带的assert关键字来进行断言，大大降低了学习成本。

assert关键字后面可以接一个表达式，只要表达式的最终结果为True，那么断言通过，用例执行成功，否则用例执行失败。

详尽的用例失败描述

pytest的用例失败描述非常详尽，一目了人。考虑下面的例子

# content of test_assert1.py
def f():
 return 3

def test_function():
 assert f() == 4

执行上面的用例

$ pytest test_assert1.py
======= test session starts ========
platform linux -- Python 3.x.y, pytest-3.x.y, py-1.x.y, pluggy-0.x.y
rootdir: $REGENDOC_TMPDIR, inifile:
collected 1 item

test_assert1.py F

======= FAILURES ========
_______ test_function ________

 def test_function():
> assert f() == 4
E assert 3 == 4
E + where 3 = f()

test_assert1.py:5: AssertionError
======= 1 failed in 0.12 seconds ========

可以很明显的看出，pytest给出的错误提示是：f()的值是3，也就是实际结果是3，而预期结果是4，3不等于4，因此断言未通过，用例失败。

4.Fixture

Tue, 31 Oct 2017 07:22:42 +0800

我们可以简单的把Fixture理解为准备测试数据和初始化测试对象的阶段。

一般我们对测试数据和测试对象的管理有这样的一些场景

所有用例开始之前初始化测试数据或对象
所有用例结束之后销毁测试数据或对象
每个用例开始之前初始化测试数据或对象
每个用例结束之后销毁测试数据或对象
在每个／所有module的用例开始之前初始化数据或对象
在每个／所有module的用例开始之后销毁数据或对象
……
……

pytest的fixture特性可以满足上面的需求。

简单的例子

考虑这种场景，我们需要判断用户的密码中包含简单密码，规则是这样的，密码必须至少6位，满足6位的话判断用户的密码不是password123或者password之类的弱密码。

我们将用户的信息导出成名为users.dev.json的文件，该文件如下所示

[
 {"name":"jack","password":"Iloverose"},
 {"name":"rose","password":"Ilovejack"},
 {"name":"tom","password":"password123"}
]

新建名为test_user_password.py的文件，键入以下内容，一定要保证users.dev.json文件与该文件在同一路径下

import pytest
import json

class TestUserPassword(object):
 @pytest.fixture
 def users(self):
 return json.loads(open('./users.dev.json', 'r').read()) # 读取当前路径下的users.dev.json文件，返回的结果是dict

 def test_user_password(self, users):
 # 遍历每条user数据
 for user in users:
 passwd = user['password']
 assert len(passwd) >= 6
 msg = "user %s has a weak password" %(user['name'])
 assert passwd != 'password', msg
 assert passwd != 'password123', msg

运行

pytest可以通过指定文件名的方式运行单个用例文件，这里我们只运行test_user_password.py文件

pytest test_user_password.py

运行结果

$ pytest test_user_password.py
========================================================================= test session starts =========================================================================
platform darwin -- Python 2.7.12, pytest-3.2.3, py-1.4.34, pluggy-0.4.0
rootdir: /Users/easonhan/code/testclass.net/src/pytest, inifile:
collected 1 item

test_user_password.py F

============================================================================== FAILURES ===============================================================================
_________________________________________________________________ TestUserPassword.test_user_password _________________________________________________________________

self = <test_user_password.TestUserPassword object at 0x1046e3290>
users = [{'name': 'jack', 'password': 'Iloverose'}, {'name': 'rose', 'password': 'Ilovejack'}, {'name': 'tom', 'password': 'password123'}]

 def test_user_password(self, users):
 for user in users:
 passwd = user['password']
 assert len(passwd) >= 6
 msg = "user %s has a weak password" %(user['name'])
 assert passwd != 'password', msg
> assert passwd != 'password123', msg
E AssertionError: user tom has a weak password
E assert 'password123' != 'password123'

test_user_password.py:14: AssertionError
====================================================================== 1 failed in 0.03 seconds =======================================================================

分析

使用@pytest.fixture装饰器可以定义feature
在用例的参数中传递fixture的名称以便直接调用fixture，拿到fixture的返回值
3个assert是递进关系，前1个assert断言失败后，后面的assert是不会运行的，因此重要的assert放到前面
E AssertionError: user tom has a weak password可以很容易的判断出是哪条数据出了问题，所以定制可读性好的错误信息是很必要的
任何1个断言失败以后，for循环就会退出，所以上面的用例1次只能发现1条错误数据，换句话说任何1个assert失败后，用例就终止运行了

执行顺序

pytest是这样运行上面的用例的

5.参数化的Fixture

Mon, 30 Oct 2017 07:22:42 +0800

背景

继续上一节的测试需求，在上一节里，任何1条测试数据导致断言不通过后测试用例就会停止运行，这样每次只能检查出1条不符合规范的数据，有没有什么办法可以一次性把所有的不符合结果都测出来呢？

这时候我们就需要用到参数化的fixture特性了

更新数据文件

新建users.test.json文件，内容如下

[
 {"name":"jack","password":"Iloverose"},
 {"name":"rose","password":"Ilovejack"}
 {"name":"tom","password":"password123"},
 {"name":"mike","password":"password"},
 {"name":"james","password":"AGoodPasswordWordShouldBeLongEnough"}
]

我们增加了2条用户信息，其中mike的密码是弱密码。

参数化fixture

参数化fixture允许我们向fixture提供参数，参数可以是list，该list中有几条数据，fixture就会运行几次，相应的测试用例也会运行几次。

参数化fixture的语法是

@pytest.fixture(params=["smtp.gmail.com", "mail.python.org"])

其中len(params)的值就是用例执行的次数

在fixture的定义中，可以使用request.param来获取每次传入的参数，如下:

@pytest.fixture(scope="module",
 params=["smtp.gmail.com", "mail.python.org"])
def smtp(request):
 smtp = smtplib.SMTP(request.param, 587, timeout=5)
 yield smtp
 print ("finalizing %s" % smtp)
 smtp.close()

上面的代码smtp fixture会执行2次
第1次request.param == 'smtp.gmail.com'
第2次request.param == 'mail.python.org'

实现用例

我们现在使用参数化fixtures来实现一次性检查出弱密码的用例。

新建文件test_user_password_with_params.py，内容如下:


import pytest
import json
users = json.loads(open('./users.test.json', 'r').read())

class TestUserPasswordWithParam(object):
 @pytest.fixture(params=users)
 def user(self, request):
 return request.param

 def test_user_password(self, user):
 passwd = user['password']
 assert len(passwd) >= 6
 msg = "user %s has a weak password" %(user['name'])
 assert passwd != 'password', msg
 assert passwd != 'password123', msg

上面的例子里，我们先把所有用户信息读到users变量里，注意users这时候是list类型，可以直接传入到fixture的params

运行及结果

运行

pytest test_user_password_with_params.py

结果

$ pytest test_user_password_with_params.py
========================================================================= test session starts =========================================================================
platform darwin -- Python 2.7.12, pytest-3.2.3, py-1.4.34, pluggy-0.4.0
rootdir: /Users/easonhan/code/testclass.net/src/pytest, inifile:
collected 5 items

test_user_password_with_params.py ..FF.

============================================================================== FAILURES ===============================================================================
_________________________________________________________ TestUserPasswordWithParam.test_user_password[user2] _________________________________________________________

self = <test_user_password_with_params.TestUserPasswordWithParam object at 0x10de1d790>, user = {'name': 'tom', 'password': 'password123'}

 def test_user_password(self, user):
 passwd = user['password']
 assert len(passwd) >= 6
 msg = "user %s has a weak password" %(user['name'])
 assert passwd != 'password', msg
> assert passwd != 'password123', msg
E AssertionError: user tom has a weak password
E assert 'password123' != 'password123'

test_user_password_with_params.py:15: AssertionError
_________________________________________________________ TestUserPasswordWithParam.test_user_password[user3] _________________________________________________________

self = <test_user_password_with_params.TestUserPasswordWithParam object at 0x10de1df50>, user = {'name': 'mike', 'password': 'password'}

 def test_user_password(self, user):
 passwd = user['password']
 assert len(passwd) >= 6
 msg = "user %s has a weak password" %(user['name'])
> assert passwd != 'password', msg
E AssertionError: user mike has a weak password
E assert 'password' != 'password'

test_user_password_with_params.py:14: AssertionError
================================================================= 2 failed, 3 passed in 0.05 seconds ==================================================================

稍微留意一下, 可以看出tom和mike使用了弱密码。总共运行了5个用例,3个成功,2个失败。

6.Parametrize Fixture

Sun, 29 Oct 2017 07:22:42 +0800

背景

@pytest.mark.parametrize 装饰器可以让我们每次参数化fixture的时候传入多个项目。回忆上一节，我们参数化的时候只能传入传入1个字符串或者是其他的数据对象，parametrize每次多个参数，更加灵活。

例子

import pytest
@pytest.mark.parametrize("test_input,expected", [
 ("3+5", 8),
 ("2+4", 6),
 ("6*9", 42),
])
def test_eval(test_input, expected):
 assert eval(test_input) == expected

test_eval方法中传入了2个参数，就如同@pytest.mark.parametrize装饰器中定义的那样，因此简单理解，我们可以把parametrize装饰器想象成是数据表格，有表头(test_input,expected)以及具体的数据。

运行结果

$ pytest
======= test session starts ========
platform linux -- Python 3.x.y, pytest-3.x.y, py-1.x.y, pluggy-0.x.y
rootdir: $REGENDOC_TMPDIR, inifile:
collected 3 items

test_expectation.py ..F

======= FAILURES ========
_______ test_eval[6*9-42] ________

test_input = '6*9', expected = 42

 @pytest.mark.parametrize("test_input,expected", [
 ("3+5", 8),
 ("2+4", 6),
 ("6*9", 42),
 ])
 def test_eval(test_input, expected):
> assert eval(test_input) == expected
E AssertionError: assert 54 == 42
E + where 54 = eval('6*9')

test_expectation.py:8: AssertionError
======= 1 failed, 2 passed in 0.12 seconds ========

原始封面

7.常见套路

Sat, 28 Oct 2017 07:22:42 +0800

在使用pytest的时候，下面这些问题我们可能会经常遇到，这里给出官方的解决方案，按照套路来执行就可以了。

基础用法

参数化

原始封面

8.使用pytest做简单的接口测试

Fri, 27 Oct 2017 07:22:42 +0800

背景

我们现在需要测试v2ex网站的查看论坛节点信息的api。具体如下:

节点信息

获得指定节点的名字，简介，URL 及头像图片的地址。

https://www.v2ex.com/api/nodes/show.json

Method: GET
Authentication: None
接受参数：

name: 节点名（V2EX 的节点名全是半角英文或者数字）
例如：

https://www.v2ex.com/api/nodes/show.json?name=python

接口返回

{
 "id" : 90,
 "name" : "python",
 "url" : "http://www.v2ex.com/go/python",
 "title" : "Python",
 "title_alternative" : "Python",
 "topics" : 7963,
 "stars" : 5138,

 "header" : "这里讨论各种 Python 语言编程话题，也包括 Django，Tornado 等框架的讨论。这里是一个能够帮助你解决实际问题的地方。",


 "footer" : null,

 "created" : 1278683336,
 "avatar_mini" : "//v2ex.assets.uxengine.net/navatar/8613/985e/90_mini.png?m=1509941286",
 "avatar_normal" : "//v2ex.assets.uxengine.net/navatar/8613/985e/90_normal.png?m=1509941286",
 "avatar_large" : "//v2ex.assets.uxengine.net/navatar/8613/985e/90_large.png?m=1509941286"
}

需求分析

该接口是获取数据的接口，一般来说，这种接口我们的测试重点是验证数据的准确性。

根据3A原则，我们可以设计如下的用例

测试数据: 节点的名称:python
接口地址: https://www.v2ex.com/api/nodes/show.json
断言: 返回的结果里，id必须是90,name必须等于python，大家想一想为什么？

代码

新建名为v2ex_api_test.py的文件，键入如下内容

9.使用fixture参数化接口入参

Thu, 26 Oct 2017 07:22:42 +0800

背景

接上一节v2ex网站的查看论坛节点信息的api。具体如下:

节点信息

获得指定节点的名字，简介，URL 及头像图片的地址。

https://www.v2ex.com/api/nodes/show.json

Method: GET
Authentication: None
接受参数：

name: 节点名（V2EX 的节点名全是半角英文或者数字）
例如：

https://www.v2ex.com/api/nodes/show.json?name=python

我们试一下，通过传入不同的name，我们可以获取不同的节点信息。上面例子里我们获取了python讨论区的信息。现在我们把name改成java，该接口会返回java讨论区节点的信息，如下所示

https://www.v2ex.com/api/nodes/show.json?name=python

{
 "id" : 63,
 "name" : "java",
 "url" : "http://www.v2ex.com/go/java",
 "title" : "Java",
 "title_alternative" : "Java",
 "topics" : 1219,
 "stars" : 1547,

 "header" : "The most popular programming language.",


 "footer" : null,

 "created" : 1272669207,
 "avatar_mini" : "//v2ex.assets.uxengine.net/navatar/03af/dbd6/63_mini.png?m=1509589840",
 "avatar_normal" : "//v2ex.assets.uxengine.net/navatar/03af/dbd6/63_normal.png?m=1509589840",
 "avatar_large" : "//v2ex.assets.uxengine.net/navatar/03af/dbd6/63_large.png?m=1509589840"
}

那么新的需求来了，现在我们要测试给定的几个节点名称(python/java/go/nodejs)，v2ex的节点api可以正确返回节点的名字

需求分析

根据3A原则，我们可以设计如下的用例

测试数据: 节点的名称:python/java/go/nodejs
接口地址: https://www.v2ex.com/api/nodes/show.json
断言: 返回的结果里，name字段的值必须等于传入的节点名称

代码

在v2ex_api_test.py的文件中添加如下内容

10.使用fixture参数化测试预期结果

Wed, 25 Oct 2017 07:22:42 +0800

背景

接上一节v2ex网站的查看论坛节点信息的api。

我们在上一节的测试用例里只断言了返回值的name字段必须与我们传入的入参相同，但是返回值的id却没有进行判定。这一节里我们加强一下测试脚本，实现判断id的功能。

测试数据

python, id=90
java, id=63
nodejs, id=436
go, id=375

代码实现

在v2ex_api_test.py的文件中加入如下内容:

class TestV2exApiWithExpectation(object):
 domain = 'https://www.v2ex.com/'

 @pytest.mark.parametrize('name,node_id', [('python', 90), ('java', 63), ('go', 375), ('nodejs', 436)])

 def test_node(self, name, node_id):
 path = 'api/nodes/show.json?name=%s' %(name)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == name
 assert res['id'] == node_id
 assert 0

运行及结果

$ pytest v2ex_api_test.py
======================================================================== test session starts ========================================================================
platform darwin -- Python 2.7.12, pytest-3.2.3, py-1.4.34, pluggy-0.4.0
rootdir: /Users/easonhan/code/testclass.net/src/pytest, inifile:
collected 9 items

v2ex_api_test.py .FFFFFFFF

============================================================================= FAILURES ==============================================================================
______________________________________________________________ TestV2exApiWithParams.test_node[python] ______________________________________________________________

self = <v2ex_api_test.TestV2exApiWithParams object at 0x10618eb10>, lang = 'python'

 def test_node(self, lang):
 path = 'api/nodes/show.json?name=%s' %(lang)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == lang
> assert 0
E assert 0

v2ex_api_test.py:27: AssertionError
_______________________________________________________________ TestV2exApiWithParams.test_node[java] _______________________________________________________________

self = <v2ex_api_test.TestV2exApiWithParams object at 0x106691790>, lang = 'java'

 def test_node(self, lang):
 path = 'api/nodes/show.json?name=%s' %(lang)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == lang
> assert 0
E assert 0

v2ex_api_test.py:27: AssertionError
________________________________________________________________ TestV2exApiWithParams.test_node[go] ________________________________________________________________

self = <v2ex_api_test.TestV2exApiWithParams object at 0x10666dc50>, lang = 'go'

 def test_node(self, lang):
 path = 'api/nodes/show.json?name=%s' %(lang)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == lang
> assert 0
E assert 0

v2ex_api_test.py:27: AssertionError
______________________________________________________________ TestV2exApiWithParams.test_node[nodejs] ______________________________________________________________

self = <v2ex_api_test.TestV2exApiWithParams object at 0x106691890>, lang = 'nodejs'

 def test_node(self, lang):
 path = 'api/nodes/show.json?name=%s' %(lang)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == lang
> assert 0
E assert 0

v2ex_api_test.py:27: AssertionError
__________________________________________________________ TestV2exApiWithExpectation.test_node[python-90] __________________________________________________________

self = <v2ex_api_test.TestV2exApiWithExpectation object at 0x1066d20d0>, name = 'python', node_id = 90

 @pytest.mark.parametrize('name,node_id', [('python', 90), ('java', 63), ('go', 375), ('nodejs', 436)])

 def test_node(self, name, node_id):
 path = 'api/nodes/show.json?name=%s' %(name)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == name
 assert res['id'] == node_id
> assert 0
E assert 0

v2ex_api_test.py:40: AssertionError
___________________________________________________________ TestV2exApiWithExpectation.test_node[java-63] ___________________________________________________________

self = <v2ex_api_test.TestV2exApiWithExpectation object at 0x1066e9690>, name = 'java', node_id = 63

 @pytest.mark.parametrize('name,node_id', [('python', 90), ('java', 63), ('go', 375), ('nodejs', 436)])

 def test_node(self, name, node_id):
 path = 'api/nodes/show.json?name=%s' %(name)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == name
 assert res['id'] == node_id
> assert 0
E assert 0

v2ex_api_test.py:40: AssertionError
___________________________________________________________ TestV2exApiWithExpectation.test_node[go-375] ____________________________________________________________

self = <v2ex_api_test.TestV2exApiWithExpectation object at 0x10666d790>, name = 'go', node_id = 375

 @pytest.mark.parametrize('name,node_id', [('python', 90), ('java', 63), ('go', 375), ('nodejs', 436)])

 def test_node(self, name, node_id):
 path = 'api/nodes/show.json?name=%s' %(name)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == name
 assert res['id'] == node_id
> assert 0
E assert 0

v2ex_api_test.py:40: AssertionError
_________________________________________________________ TestV2exApiWithExpectation.test_node[nodejs-436] __________________________________________________________

self = <v2ex_api_test.TestV2exApiWithExpectation object at 0x1066d2710>, name = 'nodejs', node_id = 436

 @pytest.mark.parametrize('name,node_id', [('python', 90), ('java', 63), ('go', 375), ('nodejs', 436)])

 def test_node(self, name, node_id):
 path = 'api/nodes/show.json?name=%s' %(name)
 url = self.domain + path
 res = requests.get(url).json()
 assert res['name'] == name
 assert res['id'] == node_id
> assert 0
E assert 0

v2ex_api_test.py:40: AssertionError
================================================================ 8 failed, 1 passed in 1.81 seconds =================================================================

原始封面

11.生成xml格式的测试报告

Wed, 25 Oct 2017 07:22:42 +0800

pytest有非常友好的命令行报告输出，在做用例开发的时候，这是极好的。然而我们在运行用例后经常会需要将测试结果广而告之，发送给相关责任人浏览，所以生成简洁美观的测试报告是很有必要的。

生成junit格式的xml报告

pytest可以生成junit格式的xml报告，在命令行中加入--junit-xml=path 参数就可以了。

pytest test_quick_start.py --junit-xml=report.xml

上面的命令在当前文件夹中生成了名为report.xml的测试报告

<?xml version="1.0" encoding="utf-8"?><testsuite errors="0" failures="0" name="pytest" skips="0" tests="1" time="0.009"><testcase classname="test_quick_start" file="test_quick_start.py" line="3" name="test_reverse" time="0.000499725341797"></testcase></testsuite>%

ci集成

jenkins在build后可以通过插件展示junit格式的测试报告，具体步骤就不描述了。

原始封面