• 1. 四川大学口腔疾病研究国家重点实验室,国家口腔疾病临床医学研究中心(成都 610041);
  • 2. 四川大学计算机学院(成都 610065);
  • 3. 四川大学华西口腔医院口腔颌面外科,华西口腔医学院循证口腔医学教研室(成都 610041);
导出 下载 收藏 扫码 引用

目的 评价采用深度学习算法卷积神经网络(CNN)智能识别中文医学文献中随机对照试验(RCT)的效果。方法 计算机检索 CNKI 数据库,限定年限为 2014 年、主题为“口腔”的医学文献并导出包含标题、摘要信息的题录,采用双人独立标注后核对、讨论的方式进行 RCT 筛选,并将最终结果用于 CNN 算法模型训练。完成该算法模型训练后,组织前瞻性对照试验,以双人核对后最终结果作为金标准,将 CNN 网络识别算法结果与单人初次标注的结果(人工水平)进行对比,计算两组的灵敏度(SEN)与特异度(SPE)。并调整算法的划分阈值绘制受试者操作特征(ROC)曲线确定最佳阈值。结果 纳入 1 246 条 RCT 和 4 754 条非 RCT 用于 CNN 训练与测试。最终对照试验纳入 RCT 249 条、非 RCT 949 条,得到人工筛选的 SEN=98.01%,SPE=98.82%。该算法模型对 RCT 筛选的 SEN 随阈值升高而减小,SPE 随阈值升高而增大,进行 27 次阈值变动后,所得 ROC 曲线下面积为 0.9977。得到该算法模型的最佳准确度阈值(阈值=0.4,SEN=98.39%,SPE=98.84%)与高 SEN 阈值(阈值=0.06,SEN=99.60%,SPE=94.10%)。结论 经本研究建立的中文 RCT 数据库训练后,CNN 算法对中文 RCT 的筛选效果较为出色,前瞻性对照试验证明其具有足以替代人工水平的 RCT 筛选效果。