1 Star 0 Fork 4.9K

武江波 / docs

forked from OpenHarmony / docs 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
XTS认证子系统开发指南.md 23.96 KB
一键复制 编辑 原始数据 按行查看 历史
NEEN 提交于 2021-03-12 17:59 . !197 Docs Update version 1.0.1

XTS认证子系统开发指南

简介

XTS子系统是OpenHarmony生态认证测试套件的集合,当前包括acts(application compatibility test suite)应用兼容性测试套件,后续会拓展dcts(device compatibility test suite)设备兼容性测试套件等。

XTS子系统当前包括acts与tools软件包:

  • acts,存放acts相关测试用例源码与配置文件,其目的是帮助终端设备厂商尽早发现软件与OpenHarmony的不兼容性,确保软件在整个开发过程中满足OpenHarmony的兼容性要求。
  • tools,存放acts相关测试用例开发框架。

设备类型

OpenHarmony支持如下几种设备类型:

  • 轻量系统类设备(参考内存≥128KB)

    面向MCU类处理器,例如Arm Cortex-M、RISC-V 32位的设备,资源极其有限,参考内存≥128KB,提供丰富的近距连接能力以及丰富的外设总线访问能力。典型产品有智能家居领域的联接类模组、传感器设备等。联接类模组通常应用在智能物联网设备中,负责实现联接部分的硬件模块,在智能家居领域由厂家集成到其设备中。例如:联接类模组提供WLAN/Bluetooth的接入和数据的联接,模组与厂家家居的芯片通常通过UART或GPIO等总线接口进行通信。

  • 小型系统类设备(参考内存≥1MB)

    面向应用处理器,例如Arm Cortex-A的设备,参考内存≥1MB,提供更高的安全能力,提供标准的图形框架,提供视频编解码的多媒体能力。典型产品有智能家居领域的IPCamera、电子猫眼、路由器以及智慧出行域的行车记录仪等。

目录

/test/xts
├── acts                 # 测试代码存放目录
│   └── subsystem       # 大型系统类设备子系统测试用例源码存放目录
│   └── subsystem_lite  # 轻量系统类设备、小型系统类设备子系统测试用例源码存放目录
│   └── BUILD.gn        # 大型系统类设备测试用例编译配置
│   └── build_lite      # 轻量系统类设备、小型系统类设备测试用例编译配置存放目录
│       └── BUILD.gn    # 轻量系统类设备、小型系统类设备测试用例编译配置
└── tools                # 测试工具代码存放目录

约束

轻量系统类设备用例开发语言是C,小型系统类设备用例开发语言是C++。

使用说明

表 1 用例级别说明

级别名称

基本定义

测试范围

Level0

冒烟

验证关键功能点基本功能/最基本DFX属性在最常见输入下的表现,通过表示功能基本可运行。

Level1

基本

验证各功能点基本功能/基本DFX属性在常见输入下的表现,通过表示功能基本可测试。

Level2

重要

验证各功能点的基本功能/基本DFX属性在常规输入/常见异常情况下的表现,通过表示功能基本正常可用,可开展Beta。

Level3

一般

验证各功能点的全部功能/全部DFX属性在各种常规/非常规输入组合下,或各种正常/异常预置条件组合下的表现。

Level4

生僻

验证关键功能点在极端异常预置条件下、用户难以触及的异常输入组合下的表现。

表 2 用例粒度说明

用例规模

被测试对象

测试环境

LargeTest

业务功能/全场景特性/整机及场景级DFX

尽量使用贴近真实的环境设备

MediumTest

模块/子系统集成至设备后的功能/DFX

使用真实的单设备进行验证,可进行消息模拟,尽量不对函数进行MOCK

SmallTest

模块/类/函数

在开发者个人环境进行测试,尽量不依赖其他模块,存在大量的MOCK

表 3 测试类型说明

测试类型名称

测试类型定义

Function

验证被测对象提供给用户的业务功能实现正确性的测试项,这里的“用户”可以是终端用户或开发者,功能包括业务功能及平台功能

Performance

验证被测对象在特定预置条件/负载模型下的处理能力的测试项,“处理能力”一般以单位时间内可处理的业务量来衡量,如呼叫/秒,帧率/秒,事件处理量/秒等

Power

验证被测对象在特定预置条件/负载模型下在一定时间内能源消耗量的测试项

Reliability

验证被测对象在正常/异常输入情况下,或业务量压力和长时间连续运行压力情况下业务表现的测试项,含稳定性、压力、故障注入、Monkey测试项

Security

验证系统对恶意威胁的防护能力,威胁包括但不限于未授权访问、使用、泄露、破坏、修改、毁灭,以保障信息的机密性、完整性和可用性; 验证系统对用户隐私的保护能力,保障用户的隐私数据被收集、使用、保有、披露和处置符合法律规范,保障用户的隐私权; 验证对各类安全规范的遵从情况,如安全设计规范、安全红线、工信部安全认证规范等,保障安全相关法律法规的合规。

Global

验证被测对象在是否具有国际化数据支持和本地化能力的测试项,包括语言显示、输入/输出习惯、时间显示、区域特性如货币时间禁忌等等

Compatibility

当被测对象为应用时,包括被测对象对于自身数据的后向兼容性、对于系统的前后向兼容性、对于不同用户数据(如播放器之音频文件格式/智能短信之用户短信内容)的兼容性测试项; 当被测对象为系统时,包括被测系统对于系统自身数据的后向兼容性、以及对于生态中常用应用的兼容性测试项;当被测对象为软件时,包括被测系统对于相关的硬件的兼容性;

User

验证被测对象在真实用户场景下的用户体验感受的测试项,注意此种情况下没有客观的“正确”与“失败”,所有的结论及评价都应该来自于用户

Standard

验证被测对象对于行业及公司内标准/协议/规范的遵从情况的测试项,注意此处的“标准”不包含任何安全标准,针对安全标准的测试项划归为“安全测试”类型

Safety

验证被测对象的Safety属性,避免产品可能对人身安全、健康以及产品本身带来的危害。

Resilience

验证被测对象的韧性属性,确保系统受攻击时承受并保持在有定义的运行状态(包括降级)、恢复并适应攻击以保障Mission达成。

用例开发指导

根据测试设备选择测试框架和对应测试用例语言。

表 4 设备和测试框架、开发语言对应关系

设备

测试框架

语言

轻量系统类设备

hctest

c

小型系统类设备

hcpptest

c++

标准系统类设备

HJUnit、hcpptest

java、c++

大型系统类设备

HJUnit、hcpptest

java、c++

C语言用例开发编译指导(适用于轻量系统类设备产品用例开发)

示例:轻量系统类设备测试用例开发

当前使用的测试框架是hctest,hctest测试框架支持使用C语言编写测试用例,是在开源测试框架unity的基础上进行增强和适配。

  1. 用例目录规范:测试用例存储到test/xts/acts仓中

    ├── acts
    │ └──subsystem_lite
    │ │ └── module_hal
    │ │ │ └── BUILD.gn
    │ │ │ └── src
    │ └──build_lite
    │ │ └── BUILD.gn
  2. src目录下用例编写样例。

    1.引用测试框架

    #include "hctest.h"
    1. 使用宏定义LITE_TEST_SUIT定义子系统、模块、测试套件名称
    /**  
    * @brief  register a test suit named "IntTestSuite"  
    * @param  test subsystem name  
    * @param  example module name  
    * @param  IntTestSuite test suit name  
    */
    LITE_TEST_SUIT(test, example, IntTestSuite);
    1. 定义Setup与TearDown

    命名方式:测试套件名称+Setup,测试套件名称+TearDown。

    Setup与TearDown必须存在,可以为空函数。

    1. 使用宏定义LITE_TEST_CASE写测试用例

    包括三个参数:测试套件名称,测试用例名称,用例属性(测试类型、用例粒度、用例级别)。

    LITE_TEST_CASE(IntTestSuite, TestCase001, Function | MediumTest | Level1) 
    {  
      //do something 
    };
    1. 使用宏定义 RUN_TEST_SUITE注册测试套件
    RUN_TEST_SUITE(IntTestSuite);
  3. 测试模块的配置文件(BUILD.gn)样例:

    在每个测试模块目录下新建BUILD.gn编译文件,用于指定编译后静态库的名称、依赖的头文件、依赖的库等;具体写法如下:

    import("//test/xts/tools/lite/build/suite_lite.gni")
    hctest_suite("ActsDemoTest") {
        suite_name = "acts"
        sources = [
            "src/test_demo.c",
        ]
        include_dirs = [ ]
        cflags = [ "-Wno-error" ]
    }
  4. acts下BUILD.gn增加编译选项。

    需要将测试模块加入到acts目录下的编译脚本中,编译脚本路径:test/xts/acts/build_lite/BUILD.gn。

    lite_component("acts") {  
        ...
        if(board_name == "liteos_m") {
            features += [    
                ...
                "//xts/acts/subsystem_lite/module_hal:ActsDemoTest"
            ]    
        }
    }
  5. 测试套件编译命令。

    随版本编译,debug版本编译时会同步编译acts测试套件

    说明: acts测试套件编译中间件为静态库,最终链接到版本镜像中 。

C语言用例执行指导(适用于轻量系统类设备产品用例开发)

示例:轻量系统类设备测试用例执行

将版本镜像烧录进开发板。

测试步骤

  1. 使用串口工具登录开发板,并保存串口打印信息。
  2. 重启设备,查看串口日志。

测试结果分析指导

基于串口打印日志进行分析;

每个测试套件执行以Start to run test suite开始,以xx Tests xx Failures xx Ignored结束。

相关仓

xts_acts

xts_tools

1
https://gitee.com/wujiangbo2/docs.git
git@gitee.com:wujiangbo2/docs.git
wujiangbo2
docs
docs
master

搜索帮助