AB测试运行原理

关键指标：
    总检出率、总误报率、检测效率、特定物品检出情况、以及其它维度检出情况等

模型部署：
    在同一型号、配置的设备上分别部署相应（2种或以上）对照AI模型，并进行对数据进行分别存储（并进行特征编号，以进行区分）。
数据采集：
    在保障AI识别标的物相近情况下（尽可能保证样品数量一致、种类齐全），在保证项目开发速度下，尽可能样本量越多越好。    
    一般情况下，测试集与验证集数量不会太多，但必须具有代替整体数据特征，具体数量一般没有硬性规定，需要综合考虑具体情况。

1.数据管理：
    在数据采集过程中，保证对数据的质量监控（数据格式、数据缺失、数据维度信息等）
2.数据清洗：
    得到数据后（原始表、原始文本、数据库）进行数据清洗，去重、缺失
3.数据分析：
    通过技术（execl、python或其它统计分析类软件/语言）得到关键性指标。

理论：
    越大越好，越接近实际越好
实际：
    数据获取存在一定成本，还要保障项目开发效率

第一类错误：
    坏的改动误认为是得到了正收益
第二类错误：
    好的改动误认为是得到了负收益/无收益
在实际的工作中，第一类错误是不能接受的。一个坏的产品/模型上线，比砍掉好的产品/模型/功能影响更大。
避免：
    从多维度上观察数据关键性指标，在多维度上表现优异，一定程度上避免了第一\二类错误发生的概率定义一个显著水平，数据结果在提升2%以内（根据实际情况决定），将认为没有显著性改善

数据样本是否具有代表性？
数据指标是否合理？是否存在权重？
数据维度是否齐全？
提出的假设是否被证明？如果被证明，那么模型改善在哪里？如果被证否，那么分析是模型问题还是ABtest测试方法问题？
模型训练集与测试集尽可能要完全区分开，避免结果过拟合，造成第一类错误。