01文献信息本次分享的文献是由哈尔滨医科大学附属肿瘤医院王瑞涛团队联合哈尔滨理工大学计算机学院、哈尔滨医科大学第一、第二附属医院等多家单位2025年2月在《European Radiology》中科院2区IF4.7上发表的研究“Multimodal deep learning: tumor and visceral fat impact on colorectal cancer occult peritoneal metastasis”即多模态深度学习肿瘤和内脏脂肪对结直肠癌隐匿性腹膜转移的影响开发了一种名为MSFF-Net的多模态深度学习模型结合结直肠癌CRC患者的CT图像肿瘤最大截面和L3水平内脏脂肪与临床数据用于预测隐匿性腹膜转移PM。模型在内部和外部测试集上均表现出色AUC分别达到0.941和0.911显著优于传统方法和放射科医生判断。图 2实验流程与MSFF-Net 架构图输入肿瘤最大径CT切片 L3水平内脏脂肪CT切片均与掩码通道拼接。特征提取双路改进ResNet18肿瘤路径 脂肪路径。掩码引导注意力在残差块末端添加掩码目标区域0.5背景-0.5增强目标区域响应。多尺度特征融合MSFF融合Layer2、Layer3、Layer4的特征。通过下采样、1×1卷积、双线性上采样统一尺度至H/16×H/16×3C。分类器全连接层输出特征 逻辑回归筛选的临床特征 → 输入随机森林RF分类器。02研究背景及目标研究背景结直肠癌CRC是全球高发肿瘤腹膜转移PM预后极差。术前CT对腹膜转移检出率有限隐匿性PM常在手术中才被发现。既往研究多聚焦于单模态影像如肿瘤大小、形态少有将肿瘤特征内脏脂肪特征结合。深度学习在胃癌、直肠癌转移预测中已有应用提示其潜力。研究目标建立一种多模态深度学习模型MSFF-Net整合肿瘤影像特征、内脏脂肪指数VATI及临床数据以提高CRC隐匿性PM的预测准确性。03数据和方法研究对象内部队列416例CRC患者2017–2023年哈医大肿瘤医院67例伴PM。外部验证集119例患者哈医大一院、二院22例伴PM。图 1患者纳入流程图数据处理CT图像取肿瘤最大径切面和L3水平第三腰椎层面脂肪分布。内脏脂肪分割使用HU阈值−150至−50ImageJ测量。计算VATIVAT面积/身高²。图像增强翻转、标准化。数据平衡使用Borderline-SMOTE过采样。模型方法基础网络对比ResNet18、ResNet34、ResNet101、DenseNet121→选取ResNet18。提出多尺度特征融合网络MSFF-Net引入掩码注意力机制融合多尺度特征肿瘤脂肪。融合方式深度学习影像特征临床因子CEA、CA199、肿瘤大小、VATI等最终分类器随机森林RF。统计分析单变量多变量Logistic回归→独立预后因子。性能评估ROC曲线AUC、DCA临床决策曲线。04实验结果图图 3不同模型的ROC曲线对比(a)不同机器学习模型RF、SVM、XGBoost在相同输入下对比 → RF最佳。(b)单肿瘤、单脂肪、肿瘤脂肪、再加临床因子 → 性能逐步提升最终AUC0.941。(c)外部验证集 与放射科医生对比 → 模型稳定优于医生。图 4决策曲线分析DCA(a)内部验证集(b)外部验证集多模态MSFF-Net在10–90%阈值范围内均显示更高净获益。图5Grad-CAM可视化(ResNet卷积层响应图)图6预测纠正与分布散点图(a)内部验证比较“肿瘤临床” vs “肿瘤脂肪临床”脂肪模态修正了部分假阴性/假阳性。(b)预测分布可视化显示Borderline-SMOTE在解决类别不平衡后提升了区分度。05讨论创新点首次结合肿瘤影像脂肪影像临床因子实现CRC隐匿性PM预测。提出MSFF-Net通过掩码注意力机制增强对目标区域的识别。显示内脏脂肪作为可干预因子在转移预测中的价值。局限性仍需人工分割肿瘤和脂肪→不是完全端到端。未纳入基因组学/蛋白质组学等多组学数据。模型可解释性有限仅Grad-CAM。样本来自单一地区需更大规模多中心验证。临床价值预测CRC患者隐匿性PM风险→可辅助术前决策是否行探查性腹腔镜、是否强化治疗。提示肥胖/脂肪代谢管理可能降低转移风险。技术亮点多尺度特征融合注意力机制多模态影像临床整合优于传统放射组学与经验性预测方法