Цель данного исследования состоит в объединении различных доступных клинических данных с двумерными обычными ультразвуковыми изображениями для создания глубокой нейронной сети, предназначенной для оценки разных степеней тяжести жировой болезни печени (SLD). Методы Ретроспективно собрано 649 случаев пациентов, прошедших ультразвуковое исследование с AT-амплитудным изображением (ATI), с использованием ATI в качестве эталона. Пациенты были разделены на четыре группы: нормальные (S0), легкие (S1), средние (S2) и тяжелые (S3) жировые изменения печени, затем случайным образом разделены на обучающий и валидационный наборы в отношении 8:2. Использовали модель CLIP для извлечения мультиомодальных признаков из клинических и визуальных данных, а также обучали модели случайного леса (RF) и многослойного перцептрона (MLP) отдельно. Валидационный набор использовался для сравнения диагностической точности мультиомодальной модели и моделей с одним типом данных. Результаты По сравнению с моделью RF, MLP показала лучшее качество [AUC (95% ДИ): S0=0.96 (0.93–0.99), S1=0.99 (0.96–1.00), S2=0.75 (0.64–0.82), S3=0.88 (0.81–0.93)]. По сравнению с моделями с одним типом данных [только клинические данные AUC (95% ДИ): 0.89 (0.81–0.95), 0.69 (0.52–0.79), 0.64 (0.43–0.67), 0.80 (0.73–0.90); только изображения AUC (95% ДИ): 0.91 (0.86–0.96), 0.89 (0.67–0.89), 0.69 (0.58–0.78), 0.86 (0.82–0.94)], модель, объединяющая изображения и клинические данные, показала значительно лучшие показатели на всех степенях. Точность, полнота, F1- и F2-меры, матрица ошибок и кривые функции потерь дополнительно подтвердили, что мультиомодальное объединение данных значительно улучшает общее обучение и прогнозирование. Заключение Построенная в данном исследовании мультиомодальная классификационная модель MLP на основе CLIP эффективно осуществляет автоматическую оценку степени тяжести жировой болезни печени, подтверждая значительные преимущества объединения клинических и ультразвуковых данных для точной классификации жировой болезни печени, предоставляя точный и надежный инструмент для клинического управления хронической жировой болезнью печени.

жировая болезнь печени;ультразвуковые изображения;клинические данные;глубокое обучение;амплитудное изображение