查看: 528|回复: 0

基于跨模态的深度学习模型预测乳腺癌新辅助化疗后的病理完全缓解状态(NPJ Precis Oncol)

[复制链接]

802

主题

365

回帖

288

日志

荣誉会员

积分
6271
QQ
发表于 2024-11-19 20:03:34 | 显示全部楼层 |阅读模式
本帖最后由 hyc3140 于 2024-11-19 20:08 编辑

e5b489c51454c53a3ddbba8916c17ec5.png
概要
本研究提出了一种跨模态、多通路的深度学习(SE-CrossT)模型,用于预测乳腺癌新辅助化疗(NAC)后的病理完全缓解(pCR)。模型结合了HE染色病理切片和多时间点超声图像,通过捕捉肿瘤动态异质性信息,提高了pCR的预测性能。

该研究共纳入596名乳腺癌患者数据(单病灶491例,多病灶105例)。模型在验证集的AUC为0.851,加入临床病理特征后提升至0.875,并在多病灶患者中展现了良好的泛化能力(AUC为0.819)。研究通过对比多种深度学习方法(如ResNet50、Swin-Transformer)及消融实验验证了SE模块和多模态融合的优势,为乳腺癌精准医疗提供了重要工具。

研究背景
乳腺癌是全球女性中最常见的癌症类型,新辅助化疗(NAC)被广泛应用于乳腺癌治疗中,能够缩小肿瘤体积,提高乳腺保留率,并减少腋窝手术的需求。病理完全缓解(pCR)是衡量NAC疗效的关键指标,成功预测pCR可以帮助避免不必要的手术或化疗周期,降低患者的副作用和心理负担。

当前预测pCR所面临的挑战:
肿瘤异质性:不同亚型的乳腺癌对NAC治疗的反应具有明显的差异,导致利用单一模态的数据(如影像或病理)难以全面反映肿瘤的动态变化。

现有研究不足:虽然影像和病理学研究均发现了一些pCR的预测因子,但大多数研究集中在单模态上,缺乏综合预测模型。

人工智能的局限性:尽管卷积神经网络(CNN)在医学影像分析中表现出色,但其对全局的捕捉能力有限,导致预测准确性受到影响。

为了解决上述问题,本研究提出一种整合病理和超声图像信息的跨模态多通路深度学习模型,旨在提升pCR预测的准确性和实用性。

方法1)数据收集与患者纳入标准患者来源:本研究的数据来源于哈尔滨医科大学肿瘤医院,纳入时间范围为2017年7月-2022年7月。纳入标准:经超声引导活检确诊为单侧原发性浸润性乳腺癌的女性患者;患者接受标准化NAC方案,并在化疗后1个月内接受手术;治疗前1周和治疗过程中进行了超声检查;活检病理切片进行HE染色。排除标准:肿瘤转移、影像或病理数据质量差、未按标准完成NAC治疗等。

77299235dba816753c1e1eecafbbb9a8.png
2)数据处理与特征提取超声图像:分别在NAC前(US-0)和两次化疗后(US-1)采集超声图像,每例患者选择15-20张图像中最优的静态图像,标注肿瘤区域及其周围组织。病理图像:通过全切片扫描获取活检组织的HE染色图像,病理专家选取浸润性肿瘤区域作为ROI。数据增强:采用旋转、翻转、缩放等技术对数据集进行扩充,确保pCR和非pCR样本的比例平衡,并减小网络过拟合风险。3)模型设计提出的SE-CrossT网络包含以下模块:输入阶段:标准化输入图像大小为[3, 512, 512],以适应深度学习网络的输入需求;特征提取阶段:通过多路径架构并行提取不同模态和时间点的特征:Path-Ult Net提取病理和单时间点超声图像的特征;Dou-Ult Net提取双时间点超声图像的变化特征;SE模块增强了通道特征的权重,从而突出与pCR预测相关的重要特征。输出阶段:将病理和超声特征与临床病理特征(如ER状态、Ki-67等)融合,输入分类网络以输出预测结果。

1f4379580960b162fc8cb251b4b776fc.png
4)性能验证与实验设置基线比较:将SE-CrossT模型与传统的深度学习架构(如VGG16、ResNet50、DenseNet121、Swin-Transformer等)进行性能比较,使用AUC、ACC、SENS、SPEC等指标评估预测能力。消融实验:通过构建单模态模型和移除SE模块的模型,验证多模态融合和SE模块的必要性。多病灶患者验证:独立测试模型在多病灶患者(肿瘤异质性更强)中的适用性,以评估模型的泛化性能。
f8ced701433e90d48a715745a3dfa66c.png 图2. a 乳腺癌患者纳入流程;b 获取病理图像;c 获取超声 (US) 图像并进行预处理;d 进行logistic 回归,以确定与 pCR 相关的具有临床意义的特征作为基线特征,然后使用特征构建一个整合临床病理特征的模型;e 数据集划分;f 人工智能模型的示意图;g 预测模型的性能结果和可视化。结果1)模型总体性能在单病灶验证集和测试集中,SE-CrossT模型的AUC均达到0.851,显著优于其他深度学习模型(如ResNet50的AUC为0.718)。当将临床病理特征(ER状态、Ki-67指数等)融合到模型中时,AUC提升至0.875,同时模型的准确率(ACC)超过91%。2)单模态与跨模态性能对比单模态模型中,病理图像和超声图像的AUC分别为0.810和0.837,均低于跨模态融合模型的0.851。这表明病理和超声图像中的互补信息对提升预测性能至关重要。
01abe052a106f4d7fecb0fac574978f0.png 3)多病灶患者验证在更具异质性的多病灶测试集中(TC2),SE-CrossT模型的AUC达到0.819,明显优于其他DL模型(如Swin-Transformer的AUC为0.713)。这说明该模型对复杂病灶的预测能力具有较好的适应性。
c3592ca4e6b5ef4f1441aa0bb90856ca.png
4)消融实验结果移除SE模块后,模型的AUC显著下降,验证了SE模块对特征提取的贡献。单模态(仅病理或超声图像)模型的性能明显低于跨模态融合模型,证明了模态间信息交互的优势。5)热图可视化热图显示,病理图像中肿瘤浸润淋巴细胞(TILs)和侵袭性癌组织是关键区域;超声图像中,肿瘤边界及其灰度变化是显著特征。这些结果增强了模型的可解释性,有助于临床医生理解模型预测依据。
309ee93120d78083dd80ff277e651d36.png

结论
提出的SE-CrossT模型在乳腺癌pCR预测中表现出色,能有效整合病理和超声图像的多尺度、多时间点信息。模型具有广泛的临床应用潜力,不仅能提升NAC疗效预测,还可为个体化治疗提供科学依据。主要创新点跨模态整合:首次将未分割的HE病理切片与多时间点的超声图像结合,用于pCR预测。网络改进:通过SE模块提升通道注意力,优化特征提取和多模态信息交互。临床转化:结合临床病理特征,增强了模型的预测性能和泛化能力。局限性数据单中心:数据来源于单一机构,样本量相对有限,可能影响模型的泛化性。依赖手动标注:目前仍需专家手动选择肿瘤区域,流程繁琐,自动化程度有限。未纳入新药数据:由于数据不足,未考虑新型NAC药物的影响。未来展望多中心验证:开展前瞻性、多中心研究以验证模型的鲁棒性和适用性。全自动化处理:开发自动图像分割和标注技术,提高工作流程效率。多模态数据整合:结合其他功能成像(如MRI)和更多临床数据,进一步提升预测能力。扩展应用领域:将模型应用于其他类型肿瘤,探索其在多种疾病中的适用性。
原文链接:https://www.nature.com/articles/s41698-024-00678-8

本文仅用于学术分享和交流。文字内容是来自文献翻译及小编个人理解整理总结,如有侵权或错漏,请联系小编修改或删除。点击左下角阅读原文可直达论文原网站。欢迎关注私信,一起学习,共同进步!
回复 关闭延时

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则

快速回复 返回顶部 返回列表