融合临床与超声图像多模态数据的深度学习模型评估脂肪肝分级

蒙文仪; 姚欣蕊; 李任杰; 彭键清; 徐作峰

doi:10.11714/jsysu.med.YX20260026

您当前的位置：

首页 >

文章列表页 >

融合临床与超声图像多模态数据的深度学习模型评估脂肪肝分级

临床研究 | 更新时间：2026-05-25

- 融合临床与超声图像多模态数据的深度学习模型评估脂肪肝分级
- A Multimodal Deep Learning Model Integrating Clinical and Ultrasound Imaging Data for grading steatotic liver disease
- 中山大学学报（医学科学版） 2026年47卷第3期页码：528-538
- 作者机构：
  
  1.中山大学附属第七医院超声科，广东深圳 518107
  2.中山大学电子与通信工程学院，广东深圳 518107
  3.中山大学智能工程学院，广东深圳 518107
- 作者简介：
  
  蒙文仪，第一作者，研究方向：腹部超声诊断，E-mail： mengwy3@mail2.sysu.edu.cn
  姚欣蕊，并列第一作者，研究方向：医疗机器人多模态大模型，E-mail： yaoxr5@mail2.sysu.edu.cn
- 基金信息：
  
  广东省基础与应用基础研究基金(2024A1515012545);临床医学研究“735 计划”项目(ZSQY735202210);深圳市科技计划项目(JCYJ20220530144804009)
- DOI：10.11714/jsysu.med.YX20260026
  中图分类号： R445.1
- 收稿：2026-02-08，
  
  修回：2026-04-20，
  
  录用：2026-04-24，
  
  纸质出版：2026-05-20
- 稿件说明：
移动端阅览
蒙文仪,姚欣蕊,李任杰等.融合临床与超声图像多模态数据的深度学习模型评估脂肪肝分级[J].中山大学学报（医学科学版）,2026,47(03):528-538.

MENG Wenyi,YAO Xinrui,LI Renjie,et al.A Multimodal Deep Learning Model Integrating Clinical and Ultrasound Imaging Data for grading steatotic liver disease[J].Journal of Sun Yat-sen University(Medical Sciences),2026,47(03):528-538.
蒙文仪,姚欣蕊,李任杰等.融合临床与超声图像多模态数据的深度学习模型评估脂肪肝分级[J].中山大学学报（医学科学版）,2026,47(03):528-538. DOI： 10.11714/jsysu.med.YX20260026.

MENG Wenyi,YAO Xinrui,LI Renjie,et al.A Multimodal Deep Learning Model Integrating Clinical and Ultrasound Imaging Data for grading steatotic liver disease[J].Journal of Sun Yat-sen University(Medical Sciences),2026,47(03):528-538. DOI： 10.11714/jsysu.med.YX20260026.

摘要

目的

本研究旨在融合多种易获取的临床数据与二维常规超声图像，构建用于评估脂肪性肝病（SLD）不同严重程度的深度学习神经网络模型。

方法

回顾性收集649例行超声衰减成像（ATI）检查患者的临床数据和超声图像，以ATI作为参考标准，将患者分为正常（S0）及轻（S1）、中（S2）、重度（S3）脂肪肝4组，按8∶2比例随机划分为训练集和验证集。采用对比语言-图像预训练（CLIP）模型提取临床与图像多模态特征，并分别训练随机森林（RF）和多层感知器（MLP）模型。在验证集中对比多模态模型与单一模态的诊断性能。

结果

与RF模型相比，MLP模型表现更优［AUC（95%CI）：S0=0.96 （0.93～0.99），S1=0.99（0.96～1.00），S2=0.75 （0.64～0.82），S3=0.88 （0.81～0.93）］。相较于单模态模型［仅临床数据AUC（95%CI）：0.89 （0.81～0.95）、0.69 （0.52～0.79）、0.64 （0.43～0.67）、0.80 （0.73～0.90）；仅图像数据AUC（95%CI）：0.91 （0.86～0.96）、0.89 （0.67～0.89）、0.69 （0.58～0.78）、0.86 （0.82～0.94）］，图像‑临床数据融合模型在各分级上均表现出显著更优的性能。精确率、召回率、F1分数、F2分数、混淆矩阵与损失函数学习曲线进一步证实，多模态数据融合可显著提升整体训练与预测效果。

结论

本研究构建的基于CLIP的MLP多模态分类模型可有效实现脂肪肝严重程度的自动分级，证实了融合临床与超声数据在脂肪肝精准分级的显著优势，为慢性脂肪肝病的临床管理提供准确、可靠的辅助评估工具。

Abstract

Objective

This study aimed to construct a neural network model integrating readily available clinical data and two-dimensional （2D） conventional ultrasound images to evaluate the severity of steatotic liver disease （SLD）.

Methods

Clinical data and ultrasound images were retrospectively collected from 649 patients who underwent ultrasound attenuation imaging （ATI）. Using ATI as the reference standard， patients were divided into four groups： normal （S0）， mild （S1）， moderate （S2）， and severe （S3） SLD. Data were randomly divided into training and validation sets at an 8∶2 ratio. A contrastive language-image pre-training （CLIP） model was utilized to extract features from both clinical and imaging data， which were then used to train random forest （RF） and multilayer perceptron （MLP） models. The diagnostic performance of these multimodal models was compared their single-modal counterparts in the validation set.

Results

The MLP model outperformed the RF model （AUC［95%CI］： S0 = 0.96 ［0.93-0.99］， S1 = 0.99 ［0.96-1.00］， S2 = 0.75 ［0.64-0.82］， S3 = 0.88 ［0.81-0.93］）. Furthermore， the multimodal fusion model demonstrated significantly superior performance compared to single-modal models （clinical data only： AUC［95%CI］ of 0.89 ［0.81-0.95］， 0.69 ［0.52-0.79］， 0.64 ［0.43-0.67］ and 0.80 ［0.73-0.90］ for S0-S3， respectively； image data only： AUC［95%CI］ of 0.91 ［0.86-0.96］， 0.89 ［0.67-0.89］， 0.69 ［0.58-0.78］ and 0.86 ［0.82-0.94］）. Metrics including precision， recall， F1-score， F2-score， confusion matrices， and loss function learning curves further confirmed that multimodal data fusion significantly improved the predictive capability.

Conclusion

The proposed CLIP-based MLP multimodal model can effectively and automatically grade SLD severity. This demonstrates the significant advantage of integrating clinical and ultrasound data， providing an accurate and reliable adjunctive tool for the clinical management of chronic SLD.

关键词

Keywords

references

Israelsen M ， Francque S ， Tsochatzis EA ， et al . Steatotic liver disease ［J］. The Lancet ， 2024 ， 404 （ 10464 ）： 1761 - 1778 .

Russo FP ， Francque SM ， Shawcross DL ， et al . Advocating for the implementation of the new nomenclature for steatotic liver disease： a call to action for the national associations ［J］. J Hepatol ， 2024 ， 80 （ 3 ）： 384 - 386 .

张月霞，王宇，尤丛蕾，等 . 非酒精性脂肪肝患者肝功能异常相关因素分析［J］. 临床军医杂志， 2025 ， 53 （ 5 ）： 522 - 524 ； + 528 .

Zhang YX ， Wang Y ， You CL ， et al . Analysis of factors associated with abnormal liver function in patients with non-alcoholic fatty liver disease ［J］. Clin J Med Officers ， 2025 ， 53 （ 5 ）： 522 - 524 ； + 528 .

Rinella ME ， Lazarus JV ， Ratziu V ， et al . A multisociety Delphi consensus statement on new fatty liver disease nomenclature ［J］. J Hepatol ， 2023 ， 79 （ 6 ）： 1542 - 1556 .

张黄燕，江杰，胡宗强 . 脂肪变性供肝缺血-再灌注损伤的发生机制及修复策略［J］. 器官移植， 2025 ， 16 （ 4 ）： 620 - 625 .

Zhang HY ， Jiang J ， Hu ZQ ， et al . Mechanisms and repair strategies of ischemia-reperfusion injury in steatotic donor livers ［J］. Organ Transp ， 2025 ， 16 （ 4 ）： 620 - 625 .

Chalasani N ， Younossi Z ， Lavine JE ， et al . The diagnosis and management of nonalcoholic fatty liver disease： practice guidance from the American Association for the Study of Liver Diseases ［J］. Hepatology （Baltimore， Md.）， 2018 ， 67 （ 1 ）： 328 - 357 .

Pirmoazen AM ， Khurana A ， El Kaffas A ， et al . Quantitative ultrasound approaches for diagnosis and monitoring hepatic steatosis in nonalcoholic fatty liver disease ［J］. Theranostics ， 2020 ， 10 （ 9 ）： 4277 - 4289 .

Rinella ME ， Neuschwander-Tetri BA ， Siddiqui MS ， et al . AASLD practice guidance on the clinical assessment and management of nonalcoholic fatty liver disease ［J］. Hepatology ， 2023 ， 77 （ 5 ）： 1797 - 1835 .

Ferraioli G ， Barr RG ， Berzigotti A ， et al . WFUMB guidelines/guidance on liver multiparametric ultrasound. Part 2： guidance on liver fat quantification ［J］. Ultras Med Biol ， 2024 ， 50 （ 8 ）： 1088 - 1098 .

Pirmoazen AM ， Khurana A ， Loening AM ， et al . Diagnostic performance of 9 quantitative ultrasound parameters for detection and classification of hepatic steatosis in nonalcoholic fatty liver disease ［J］. Invest Radiol ， 2021 ， 57 （ 1 ）： 23 - 32 .

Wu S ， Pan J ， Song M ， et al . Performance of magnetic resonance imaging and ultrasound for identifying the different degrees of hepatic steatosis： a systematic review and meta-analysis ［J］. Acad Radiol ， 2025 ， 32 （ 11 ）： 6528 - 6540 .

Chen Z ， Liu G ， Zhang BW ， et al . AltCLIP： altering the language encoder in CLIP for extended language capabilities ［EB/OL］. （ 2023-12-31 ）［ 2026-02-04 ］. https：//aclanthology.org/2023.findings-acl.552/ https://aclanthology.org/2023.findings-acl.552/ .

Radford A ， Kim JW ， Hallacy C ， et al . Learning transferable visual models from natural language supervision ［EB/OL］. （ 2025-08-12 ）［ 2026-02-04 ］. https：//proceedings.mlr.press/v139/radford21a.html https://proceedings.mlr.press/v139/radford21a.html .

Sugimoto K ， Moriyasu F ， Oshiro H ， et al . The role of multiparametric US of the liver for the evaluation of nonalcoholic steatohepatitis ［J］. Radiology ， 2020 ， 296 （ 3 ）： 532 - 540 .

Çetin N ， Güneş Tatar İ ， Yüceege M ， et al . Ultrasonographic evaluation of abdominal wall fat index， carotid intima-media thickness and plaque score in obstructive sleep apnea syndrome ［J］. Med Ultrasonograp ， 2019 ， 21 （ 4 ）： 422 .

Kondo T ， Abe M ， Ueyama J ， et al . Use of waist circumference and ultrasonographic assessment of abdominal fat distribution in predicting metabolic risk factors in healthy Japanese adults ［J］. J Physiol Anthropol ， 2009 ， 28 （ 1 ）： 7 - 14 .

Leung PB ， Davis AM ， Kumar S . Diagnosis and management of nonalcoholic fatty liver disease ［J］. JAMA ， 2023 ， 330 （ 17 ）： 1687 .

Thursz M ， Lingford-Hughes A . Advances in the understanding and management of alcohol-related liver disease ［J］. BMJ ， 2023 ， 383 ： e077090 .

de Moura Almeida A ， Cotrim HP ， Barbosa DBV ， et al . Fatty liver disease in severe obese patients： diagnostic value of abdominal ultrasound ［J］. World J Gastroenterol ， 2008 ， 14 （ 9 ）： 1415 .

Bril F ， Ortiz-Lopez C ， Lomonaco R ， et al . Clinical value of liver ultrasound for the diagnosis of nonalcoholic fatty liver disease in overweight and obese patients ［J］. Liver Int ， 2015 ， 35 （ 9 ）： 2139 - 2146 .

徐海，董帜 . 棕色脂肪治疗代谢相关性脂肪肝病及影像学评估研究进展［J］. 新医学， 2022 ， 53 （ 10 ）： 723 - 726 .

Xu H ， Dong Z . Research progress on brownadipose tissue in treatment of metabolic-associated fatty liver disease and imaging evaluation ［J］. J New Med ， 2022 ， 53 （ 10 ）： 723 - 726 .

Santoro S ， Khalil M ， Abdallah H ， et al . Early and accurate diagnosis of steatotic liver by artificial intelligence （AI）-supported ultrasonography ［J］. Eur J Int Med ， 2024 ， 125 ： 57 - 66 .

Kaffas AE ， Bhatraju KC ， Vo-Phamhi JM ， et al . Development of a deep learning model for classification of hepatic steatosis from clinical standard ultrasound ［J］. Ultras Med Biol ， 2025 ， 51 （ 2 ）： 242 - 249 .

Guo L ， Shi L ， Wang W ， et al . Neural network classification algorithm based on self-attention mechanism and ensemble learning for MASLD ultrasound images ［J］. Ultras Med Biol ， 2024 ， 50 （ 9 ）： 1361 - 1371 .

Bao J ， Lv Y ， Wang K ， et al . A comparative study of ultrasound attenuation imaging， controlled attenuation parameters， and magnetic resonance spectroscopy for the detection of hepatic steatosis ［J］. J Ultras Med ， 2022 ， 42 （ 7 ）： 1481 - 1489 .

Podrug K ， Sporea I ， Lupusoru R ， et al . Diagnostic performance of 2-D shear-wave elastography with propagation maps and attenuation imaging in patients with non-alcoholic fatty liver disease ［J］. Ultras Med Biol ， 2021 ， 47 （ 8 ）： 2128 - 2137 .

Kuroda H ， Abe T ， Fujiwara Y ， et al . Diagnostic accuracy of ultrasound-guided attenuation parameter as a noninvasive test for steatosis in non-alcoholic fatty liver disease ［J］. J Med Ultras ， 2021 ， 48 （ 4 ）： 471 - 480 .

Nishimura T ， Tada T ， Akita T ， et al . Diagnostic performance of attenuation imaging versus controlled attenuation parameter for hepatic steatosis with MRI-based proton density fat fraction as the reference standard： a prospective multicenter study ［J］. J Gastroenterol ， 2025 ， 60 （ 6 ）： 727 - 737 .

Hobeika C ， Ronot M ， Guiu B ， et al . Ultrasound-based steatosis grading system using 2D-attenuation imaging： an individual patient data meta-analysis with external validation ［J］. Hepatology ， 2024 ， 81 （ 1 ）： 212 - 227 .

Kwon H ， Kim MG ， Oh S ， et al . Application of quantitative ultrasonography and artificial intelligence for assessing severity of fatty liver： a pilot study ［J］. Diagnostics ， 2024 ， 14 （ 12 ）： 1237 .

Xu L ， Lu W ， Li P ， et al . A comparison of hepatic steatosis index， controlled attenuation parameter and ultrasound as noninvasive diagnostic tools for steatosis in chronic hepatitis B ［J］. Digest Liver Dis ， 2017 ， 49 （ 8 ）： 910 - 917 .

Kromrey ML ， Ittermann T ， Berning M ， et al . Accuracy of ultrasonography in the assessment of liver fat compared with MRI ［J］. Clin Radiol ， 2019 ， 74 （ 7 ）： 539 - 546 .

Tamaki N ， Ajmera V ， Loomba R . Non-invasive methods for imaging hepatic steatosis and their clinical importance in NAFLD ［J］. Nat Rev Endocrinol ， 2021 ， 18 （ 1 ）： 55 - 66 .

Liu Y ， Yu W ， Wang P ， et al . Deep learning with ultrasound images enhance the diagnosis of nonalcoholic fatty liver ［J］. Ultras Med Bioly ， 2024 ， 50 （ 11 ）： 1724 - 1730 .

Zhao Z ， Liu Y ， Wu H ， et al . CLIP in medical imaging： a survey ［J］. Med Ima Ana ， 2025 ， 102 ： 103551 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

人工智能在临床麻醉中的应用进展

人工智能在颈椎病诊断中的创新与突破

智能髋关节超声技术在婴儿发育性髋关节发育不良筛查中的应用

深度学习分析剪切波弹性图像评估肝纤维化

促性腺激素释放激素类似物治疗中枢性性早熟药物超敏反应分析