近期準備優先做接口測試的覆蓋，為此需要開發一個測試框架，經過思考，這次依然想做點兒不一樣的東西。

• 接口測試是比較講究效率的，測試人員會希望很快能得到結果反饋，然而接口的數量一般都很多，而且會越來越多，所以提高執行效率很有必要
• 接口測試的用例其實也可以用來兼做簡單的壓力測試，而壓力測試需要并發
• 接口測試的用例有很多重復的東西，測試人員應該只需要關注接口測試的設計，這些重復勞動最好自動化來做
• pytest和allure太好用了，新框架要集成它們
• 接口測試的用例應該盡量簡潔，最好用yaml，這樣數據能直接映射為請求數據，寫起用例來跟做填空題一樣，便于向沒有自動化經驗的成員推廣
  加上我對Python的協程很感興趣，也學了一段時間，一直希望學以致用，所以http請求我決定用aiohttp來實現。
  但是pytest是不支持事件循環的，如果想把它們結合還需要一番功夫。于是繼續思考，思考的結果是其實我可以把整個事情分為兩部分。
  第一部分，讀取yaml測試用例，http請求測試接口，收集測試數據。
  第二部分，根據測試數據，動態生成pytest認可的測試用例，然后執行，生成測試報告。
  這樣一來，兩者就能完美結合了，也完美符合我所做的設想。想法既定，接著 就是實現了。

第一部分（整個過程都要求是異步非阻塞的）

讀取yaml測試用例

一份簡單的用例模板我是這樣設計的，這樣的好處是，參數名和aiohttp.ClientSession().request(method,url,**kwargs)是直接對應上的，我可以不費力氣的直接傳給請求方法，避免各種轉換，簡潔優雅，表達力又強。

args:
  - post
  - /xxx/add
kwargs:
  -
    caseName: 新增xxx
    data:
      name: ${gen_uid(10)}
validator:
  -
    json:
      successed: True

異步讀取文件可以使用aiofiles這個第三方庫，yaml_load是一個協程，可以保證主進程讀取yaml測試用例時不被阻塞，通過await yaml_load()便能獲取測試用例的數據

async def yaml_load(dir='', file=''):
    """
    異步讀取yaml文件，并轉義其中的特殊值
    :param file:
    :return:
    """
    if dir:
        file = os.path.join(dir, file)
    async with aiofiles.open(file, 'r', encoding='utf-8', errors='ignore') as f:
        data = await f.read()

    data = yaml.load(data)

    # 匹配函數調用形式的語法
    pattern_function = re.compile(r'^\${([A-Za-z_]+\w*\(.*\))}$')
    pattern_function2 = re.compile(r'^\${(.*)}$')
    # 匹配取默認值的語法
    pattern_function3 = re.compile(r'^\$\((.*)\)$')

    def my_iter(data):
        """
        遞歸測試用例，根據不同數據類型做相應處理，將模板語法轉化為正常值
        :param data:
        :return:
        """
        if isinstance(data, (list, tuple)):
            for index, _data in enumerate(data):
                data[index] = my_iter(_data) or _data
        elif isinstance(data, dict):
            for k, v in data.items():
                data[k] = my_iter(v) or v
        elif isinstance(data, (str, bytes)):
            m = pattern_function.match(data)
            if not m:
                m = pattern_function2.match(data)
            if m:
                return eval(m.group(1))
            if not m:
                m = pattern_function3.match(data)
            if m:
                K, k = m.group(1).split(':')
                return bxmat.default_values.get(K).get(k)

            return data

    my_iter(data)

    return BXMDict(data)

可以看到，測試用例還支持一定的模板語法，如${function}、$(a:b)等，這能在很大程度上拓展測試人員用例編寫的能力

http請求測試接口

http請求可以直接用aiohttp.ClientSession().request(method,url,**kwargs)，http也是一個協程，可以保證網絡請求時不被阻塞，通過await http()便可以拿到接口測試數據

async def http(domain, *args, **kwargs):
    """
    http請求處理器
    :param domain: 服務地址
    :param args:
    :param kwargs:
    :return:
    """
    method, api = args
    arguments = kwargs.get('data') or kwargs.get('params') or kwargs.get('json') or {}

    # kwargs中加入token
    kwargs.setdefault('headers', {}).update({'token': bxmat.token})
    # 拼接服務地址和api
    url = ''.join([domain, api])

    async with ClientSession() as session:
        async with session.request(method, url, **kwargs) as response:
            res = await response_handler(response)
            return {
                'response': res,
                'url': url,
                'arguments': arguments
            }

收集測試數據

協程的并發真的很快，這里為了避免服務響應不過來導致熔斷，可以引入asyncio.Semaphore(num)來控制并發

async def one(case_dir='', case_name='', semaphore=None):
    """
    一份測試用例執行的全過程，包括讀取.yml測試用例，執行http請求，返回請求結果
    :param case_dir:
    :param case_name:
    :param semaphore:
    :return:
    """
    # 控制并發量
    async with semaphore:
        project_name = case_name.split(os.sep)[1]
        domain = bxmat.url.get(project_name)
        test_data = await yaml_load(dir=case_dir, file=case_name)
        result = BXMDict({
            'case_dir': os.path.dirname(case_name),
            'api': test_data.args[1].replace('/', '_'),
        })
            for index, each_data in enumerate(test_data.kwargs):
                step_name = each_data.pop('caseName')
                r = await http(domain, *test_data.args, **each_data)
                r.update({'case_name': step_name})
                result.setdefault('responses', BXMList()).append({
                    'response': r,
                    'validator': test_data.validator[index]
                })
        return result

事件循環負責執行協程并返回結果，在最后的結果收集中，我用測試用例目錄來對結果進行了分類，這為接下來的自動生成pytest認可的測試用例打下了良好的基礎

def main(test_cases):
    """
    事件循環主函數，負責所有接口請求的執行
    :param test_cases:
    :return:
    """
    loop = asyncio.get_event_loop()
    semaphore = asyncio.Semaphore(bxmat.semaphore)
    # 需要處理的任務
    tasks = [asyncio.ensure_future(one(case_name=test_case, semaphore=semaphore)) for test_case in test_cases]
    # 將協程注冊到事件循環，并啟動事件循環
    try:
        loop.run_until_complete(asyncio.gather(*tasks))
        # loop.run_until_complete(asyncio.wait(tasks))
    finally:
        loop.close()

    res = BXMDict()
    for task in tasks:
        data = task.result()
        res.setdefault(data.pop('case_dir'), BXMList()).append(data)
    return res

第二部分

動態生成pytest認可的測試用例

首先說明下pytest的運行機制，pytest首先會在當前目錄下找conftest.py文件，如果找到了，則先運行它，然后根據命令行參數去指定的目錄下找test開頭或結尾的.py文件，如果找到了，如果找到了，再分析fixture，如果有session或module類型的，并且參數autotest=True或標記了pytest.mark.usefixtures(a...)，則先運行它們；再去依次找類、方法等，規則類似。大概就是這樣一個過程。
可以看出，pytest測試運行起來的關鍵是，必須有至少一個被pytest發現機制認可的testxx.py文件，文件中有TestxxClass類，類中至少有一個def testxx(self)方法。
現在并沒有任何pytest認可的測試文件，所以我的想法是先創建一個引導型的測試文件，它負責讓pytest動起來。可以用pytest.skip()讓其中的測試方法跳過。然后我們的目標是在pytest動起來之后，怎么動態生成用例，然后發現這些用例，執行這些用例，生成測試報告，一氣呵成。

# test_bootstrap.py
import pytest

class TestStarter(object):

    def test_start(self):
        pytest.skip('此為測試啟動方法, 不執行')

我想到的是通過fixture，因為fixture有setup的能力，這樣我通過定義一個scope為session的fixture，然后在TestStarter上面標記use，就可以在導入TestStarter之前預先處理一些事情，那么我把生成用例的操作放在這個fixture里就能完成目標了。

# test_bootstrap.py
import pytest

@pytest.mark.usefixtures('te', 'test_cases')
class TestStarter(object):

    def test_start(self):
        pytest.skip('此為測試啟動方法, 不執行')

pytest有個--rootdir參數，該fixture的核心目的就是，通過--rootdir獲取到目標目錄，找出里面的.yml測試文件，運行后獲得測試數據，然后為每個目錄創建一份testxx.py的測試文件，文件內容就是content變量的內容，然后把這些參數再傳給pytest.main()方法執行測試用例的測試，也就是在pytest內部再運行了一個pytest！最后把生成的測試文件刪除。注意該fixture要定義在conftest.py里面，因為pytest對于conftest中定義的內容有自發現能力，不需要額外導入。

# conftest.py
@pytest.fixture(scope='session')
def test_cases(request):
    """
    測試用例生成處理
    :param request:
    :return:
    """
    var = request.config.getoption("--rootdir")
    test_file = request.config.getoption("--tf")
    env = request.config.getoption("--te")
    cases = []
    if test_file:
        cases = [test_file]
    else:
        if os.path.isdir(var):
            for root, dirs, files in os.walk(var):
                if re.match(r'\w+', root):
                    if files:
                        cases.extend([os.path.join(root, file) for file in files if file.endswith('yml')])

    data = main(cases)

    content = """
import allure

from conftest import CaseMetaClass


@allure.feature('{}接口測試({}項目)')
class Test{}API(object, metaclass=CaseMetaClass):
    
    test_cases_data = {}
"""
    test_cases_files = []
    if os.path.isdir(var):
        for root, dirs, files in os.walk(var):
            if not ('.' in root or '__' in root):
                if files:
                    case_name = os.path.basename(root)
                    project_name = os.path.basename(os.path.dirname(root))
                    test_case_file = os.path.join(root, 'test_{}.py'.format(case_name))
                    with open(test_case_file, 'w', encoding='utf-8') as fw:
                        fw.write(content.format(case_name, project_name, case_name.title(), data.get(root)))
                    test_cases_files.append(test_case_file)

    if test_file:
        temp = os.path.dirname(test_file)
        py_file = os.path.join(temp, 'test_{}.py'.format(os.path.basename(temp)))
    else:
        py_file = var

    pytest.main([
        '-v',
        py_file,
        '--alluredir',
        'report',
        '--te',
        env,
        '--capture',
        'no',
        '--disable-warnings',
    ])

    for file in test_cases_files:
        os.remove(file)

    return test_cases_files

可以看到，測試文件中有一個TestxxAPI的類，它只有一個test_cases_data屬性，并沒有testxx方法，所以還不是被pytest認可的測試用例，根本運行不起來。那么它是怎么解決這個問題的呢？答案就是CaseMetaClass。

function_express = """
def {}(self, response, validata):
    with allure.step(response.pop('case_name')):
        validator(response,validata)"""


class CaseMetaClass(type):
    """
    根據接口調用的結果自動生成測試用例
    """

    def __new__(cls, name, bases, attrs):
        test_cases_data = attrs.pop('test_cases_data')
        for each in test_cases_data:
            api = each.pop('api')
            function_name = 'test' + api
            test_data = [tuple(x.values()) for x in each.get('responses')]
            function = gen_function(function_express.format(function_name),
                                    namespace={'validator': validator, 'allure': allure})
            # 集成allure
            story_function = allure.story('{}'.format(api.replace('_', '/')))(function)
            attrs[function_name] = pytest.mark.parametrize('response,validata', test_data)(story_function)

        return super().__new__(cls, name, bases, attrs)

CaseMetaClass是一個元類，它讀取test_cases_data屬性的內容，然后動態生成方法對象，每一個接口都是單獨一個方法，在相繼被allure的細粒度測試報告功能和pytest提供的參數化測試功能裝飾后，把該方法對象賦值給test+api的類屬性，也就是說，TestxxAPI在生成之后便有了若干testxx的方法，此時內部再運行起pytest，pytest也就能發現這些用例并執行了。

def gen_function(function_express, namespace={}):
    """
    動態生成函數對象, 函數作用域默認設置為builtins.__dict__，并合并namespace的變量
    :param function_express: 函數表達式，示例 'def foobar(): return "foobar"'
    :return:
    """
    builtins.__dict__.update(namespace)
    module_code = compile(function_express, '', 'exec')
    function_code = [c for c in module_code.co_consts if isinstance(c, types.CodeType)][0]
    return types.FunctionType(function_code, builtins.__dict__)

在生成方法對象時要注意namespace的問題，最好默認傳builtins.__dict__，然后自定義的方法通過namespace參數傳進去。

后續（yml測試文件自動生成）

至此，框架的核心功能已經完成了，經過幾個項目的實踐，效果完全超過預期，寫起用例來不要太爽，運行起來不要太快，測試報告也整的明明白白漂漂亮亮的，但我發現還是有些累，為什么呢？
我目前做接口測試的流程是，如果項目集成了swagger，通過swagger去獲取接口信息，根據這些接口信息來手工起項目創建用例。這個過程很重復很繁瑣，因為我們的用例模板已經大致固定了，其實用例之間就是一些參數比如目錄、用例名稱、method等等的區別，那么這個過程我覺得完全可以自動化。
因為swagger有個網頁啊，我可以去提取關鍵信息來自動創建.yml測試文件，就像搭起架子一樣，待項目架子生成后，我再去設計用例填傳參就可以了。
于是我試著去解析請求swagger首頁得到的HTML，然后失望的是并沒有實際數據，后來猜想應該是用了ajax，打開瀏覽器控制臺的時，我發現了api-docs的請求，一看果然是json數據，那么問題就簡單了，網頁分析都不用了。

import re
import os
import sys

from requests import Session

template ="""
args:
  - {method}
  - {api}
kwargs:
  -
    caseName: {caseName}
    {data_or_params}:
        {data}
validator:
  -
    json:
      successed: True
"""


def auto_gen_cases(swagger_url, project_name):
    """
    根據swagger返回的json數據自動生成yml測試用例模板
    :param swagger_url:
    :param project_name:
    :return:
    """
    res = Session().request('get', swagger_url).json()
    data = res.get('paths')

    workspace = os.getcwd()

    project_ = os.path.join(workspace, project_name)

    if not os.path.exists(project_):
        os.mkdir(project_)

    for k, v in data.items():
        pa_res = re.split(r'[/]+', k)
        dir, *file = pa_res[1:]

        if file:
            file = ''.join([x.title() for x in file])
        else:
            file = dir

        file += '.yml'

        dirs = os.path.join(project_, dir)

        if not os.path.exists(dirs):
            os.mkdir(dirs)

        os.chdir(dirs)

        if len(v) > 1:
            v = {'post': v.get('post')}
        for _k, _v in v.items():
            method = _k
            api = k
            caseName = _v.get('description')
            data_or_params = 'params' if method == 'get' else 'data'
            parameters = _v.get('parameters')

            data_s = ''
            try:
                for each in parameters:
                    data_s += each.get('name')
                    data_s += ': \n'
                    data_s += ' ' * 8
            except TypeError:
                data_s += '{}'

        file_ = os.path.join(dirs, file)

        with open(file_, 'w', encoding='utf-8') as fw:
            fw.write(template.format(
                method=method,
                api=api,
                caseName=caseName,
                data_or_params=data_or_params,
                data=data_s
            ))

        os.chdir(project_)

現在要開始一個項目的接口測試覆蓋，只要該項目集成了swagger，就能秒生成項目架子，測試人員只需要專心設計接口測試用例即可，我覺得對于測試團隊的推廣使用是很有意義的，也更方便了我這樣的懶人。