EUS辅助人工智能识别系统
1. 背景
- 内窥镜设备的使用学习曲线陡峭，有效且高质量的图像获取要求使用者：
- 对设备功能及人体内部环境有良好的理解；
- 具备良好的影像分析能力及疾病诊断常识。
2. 数据集构建
基本信息
- 数据来源于4家内镜中心，不同的内镜中心设备有所差异
- 9家内镜中心，4家带标签，2家带少量标签，3家临床验证
- 带标签内镜中心1-4病例数分别为62，101，124，88
- 带少量标签内镜中心5-6病例数为309，150
- 临床验证数据3家内镜中心7-9（待处理），病例数分别为170，188，164
- 经过医生的筛选，不同病人具有不同的图像数量
- 筛选标准：按照医生理解，图像能够反映起源层次与疾病类别，则保留；若疾病无关或无法反映层次，则删除
- 同一病人的EUS成像位置有时变化大，因此图像差异有时较大
难点
- 图像标签并不明确，大多是以病理诊断结果的文字描述，人为筛选后依据<内镜诊疗专家共识>确定疾病标签
- 图像影像学表现标签稀疏，且同一病人的标签存在一对多的情况，因而存在不可忽视的标签噪声
- 上述两点应该在未来采集与图像筛选过程加以注意
- 图像质量低，低对比，低清晰度(整幅图像约640x640，而小目标情况常见)，斑点噪声密布
- 由于成像环境的不同及成像质量低，不同起源层次的对应模式极为抽象，非专业人士无法通过读图理解
2.1. 标签分布情况
2.1.1. 疾病种类标签分布情况
逐病人：
逐图像：
2.1.2. 超声图像-起源层次标签分布情况
逐病人：
逐图像：
2.1.3. 粘膜下肿瘤影像学诊断知识图谱
- 通过构建知识图谱，可以直观筛选部分样本量极少的标签
- 其中病人命名为smt{i}p{j}表示第i份smt数据的第j位病人
- 可见，虽然smt1p71与smt1p10具有相同的发病部位，起源层次，回声强度，形状规则与否特点，边缘光滑与否特点，仅存在回声均匀与否的不同，但却对应截然不同的病变（平滑肌瘤与胃肠道间质瘤）
- 因此，将任务定义为特征多标签识别+肿瘤类别识别的两阶段任务，或直接基于病理多标签的预测任务都是不合理的，疾病分类过程不可丢弃图像特征。
2.1.3. 采样方式
- 各内镜中心所有疾病下病人实例图像数量统计
- 前面提到，病人标签存在多对一的情况
- 同一病人的不同图像可能对于不同的属性特征有着不同程度的反映情况
- 因此多实例对应病人单组标签必然会引入标签噪声，而这一过程如果要医生进行手动筛选，其工作量巨大因此成本昂贵。
- 各内镜中心指定疾病对应病人实例图像数量统计
- 若需应用多实例进行推理，可针对每位病人采样合适下限2张图像
- 或采样n张，数量不足的做(n-2)张数据增强
2.2. 特定任务数据集构建
2.2.1. 肿瘤区域分割数据集
| 来源 |
内镜中心1-2 |
内镜中心3 |
内镜中心4 |
| 比例 |
6 |
2 |
2 |
| 数量 |
1642 |
548 |
548 |
3. 超声图像
Endoscopic ultrasonography (EUS) has emerged as a reliable investigative procedure for evaluation of SMTs. EUS has the ability to differentiate intramural tumors from extraluminal compressions and can also show the layer of origin of SMTs. Tumors can be further characterized by their layer of origin , echo pattern and margin. [1]
[1] Papanikolaou, Ioannis S., et al. "Endoscopic ultrasonography for gastric submucosal lesions." World journal of gastrointestinal endoscopy 3.5 (2011): 86.
3.1. 粘膜下肿瘤(SMT)肿瘤分割
3.1.1. 医学分割网络
- Unet为baseline方法，对比EAM预处理(自适应直方图均衡化，阈值处理)前后模型性能。
- EAM预处理方法能够有效去除冗余信息，从直观视觉上使得目标更为显著，然而，由于该过程同样存在去除关键信息的风险，因此在一阶段过程中使用会使模型性能大幅度下降。
最终采用方案：Unet
3.4. 肿瘤目标定位及跟踪
3.4.1. 基于图像
尽在部分数据集做验证。
4. 白光图像-可疑病灶检测
4.1. 隆起病变检测
5. 电子诊断报告
5.1. 电子诊断报告识别
