Лаборатория метафорических исследований и ии

   СДК. Сибирская Диагностическая Компания

Лаборатория метафорических исследований и ии

СДК. Сибирская Диагностическая Компания

О ВОЗМОЖНОСТИ ПРИМЕНЕНИЯ ТЕХНОЛОГИЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ В РАСПОЗНАВАНИИ ЗАБОЛЕВАНИЙ СЕРДЕЧНО-СОСУДИСТОЙ СИСТЕМЫ

 Аннотация. работа посвящена применению технологий компьютерного зрения (КЗ) при распознавании различных физиологических состояний сердечно-сосудистой системы. В качестве источников сигналов были использованы изображения магниторезонансной томографии сердца (МРТ), электрокардиограммы (ЭКГ), а также эхокардиография сердца (ЭХГ). МРТ распознавали с помощью сверточной нейронной сети (СНС). ЭКГ были представлены в виде совокупности изображений. Для их классификации использовали 2 СНС, 8 трансформеров, предназначенных для распознавания изображений, модель YOLO и 3 полносвязные нейронные сети (ПСНС). ЭКГ также были представлены в виде видеоклипов, содержащих 150 кадров. Для распознавания видео была использована гибридная модель, включающая в себя СНС и рекуррентную нейронную сеть (РНС). ЭХГ также распознавались с помощью гибридной модели. Была показана высокая эффективность использованных моделей КЗ для распознавания МРТ, ЭКГ и ЭХГ.
Ключевые слова: компьютерное зрение, магниторезонансная томография, электрокардиограмма, эхокардиография, сверточные нейронные сети, трансформеры, полносвязные нейроные сети, рекуррентные нейронные сети, распознавание видео.

Богданов М.Р., Шахмаметова Г.Р.

ВВЕДЕНИЕ

       Заболевания сердечно-сосудистой системы являются важной медицинской и социальной проблемой. Для успешного лечения кардиологических заболеваний необходима точная и своевременная диагностика. Биомедицинские показатели пациентов в электронном виде имеют разную модальность. ЭКГ можно представить в виде совокупности нескольких одномерных массивов в зависимости от числа отведений электрокардиографа. МРТ являются растровыми изображениями, результатом работы эхокардиографа будут видеоклипы, результаты биохимических анализов крови пациентов можно представить в виде ряда вещественных чисел, а анаменез в виде текста. Компьютерная обработка таких биомедицинских сигналов обычно имеет свою специфику и предполагает использование достаточно узкоспециализированных методов.

       В предлагаемой работе предпринимается попытка рассмотреть процесс распознавания МРТ, ЭХГ и ЭКГ под новым углом зрения, предлагая при этом, насколько это возможно, некий универсальный инструментарий для компьютерного анализа таких сигналов. В качестве такого инструментария предлагается использовать технологии компьютерного зрения.

    Успех в области распознавания изображений во многом связан с развитием СНС, в частности, с успешным использованием сети Alexnet [1]. Несколько позже появилась технология трансформеров [2], ставшая со временем стандартом де-факто в области обработки естественных языков (Natural Language Processing, NLP). Трансформеры используют так называемые механизмы внимания (attention) для построения связей между различными языковыми токенами. Оказалось, что эти две технологии можно объединить, получив трансформеры, предназначенные для распознавания изображений (Vision Transformers, ViT). Было показано [3], что на задачах классификации изображений ViT превосходят СНС. ViT все активнее применяется для обнаружения объектов, семантической сегментации и распознавания действий. Параллельно с СНС и ViT происходит дальнейшее развитие ставших уже традиционными полносвязных нейронных сетей ПСНС. В настоящее время очень популярной стала также архитектура YOLO, применяемая для обнаружения объектов. Каждый из описанных подходов имеет свои многочисленные реализации.

   Помимо задач классификации изображений и выделения объектов особый интерес представляет задача распознавания действий, происходящих в видеофильме. В этом случае могут совместно использоваться сверточные и рекурренные нейронные сети (Recurrent Neural Network, RNN-CNN).

    Целью исследования, результаты которого представлены в данной публикации, является оценка возможностей применения технологий компьютерного зрения в качестве универсального инструментария распознавания кардиологических сигналов, представленных в разных модальностях, а именно, в виде МРТ, ЭКГ и ЭХГ. Рассмотрим примеры использования технологий компьютерного зрения для распознавания кардиологических сигналов.

1.    Распознавание МРТ гипертрофической кардиомиопатии (ГТКМ) с помощью СНС

    Гипертрофическая кардиомиопатия (ГТКМ) – это наследственное заболевание, сопровождаемое поражением перегородки между отделами сердца [4]. При ее диагностике в качестве источника сигнала выступают растровые изображения МРТ.

        В предлагаемом исследовании были использованы МРТ-изображения 37421 здорового человека и 21846 пациентов с ГТКМ, полученные в больнице Омид в Тегеране [5]. Набор данных был загружен с сайта kaggle.com [6]. Объем данных составляет 2,73 Gb.

     Для распознавания изображений была использована сверточная нейронная сеть Xception [7]. Сеть основана на разделяемых по глубине сверточных слоях. Архитектура СНС имеет 36 сверточных слоев, объединенных в 14 модулей, каждый из которых имеет линейные остаточные связи вокруг себя, за исключением первого и последнего модулей [7].

        Для проведения вычислительного эксперимента было разработано программное обеспечение, написанное на языке Python. Использовалась следующая вычислительная система: Core i9, 256 Gb RAM, NVIDIA RTX 3080 Ti.

     Исходные изображения МРТ преобразовывались в формат 256*256*3. Обучающий набор данных содержал 29835 изображений, тестовый набор данных – 5460 изображений, набор данных для валидации - 10379.

       Результат: величина ошибки – 0,02, метрика accuracy – 0,96.

       Далее, в качестве источника сигнала были использованы ЭКГ, в последствии преобразованные в изображения.

2.     Распознавание ЭКГ путем преобразования одномерных сигналов в изображения с последующей их классификацией методами компьютерного зрения

2.1. Распознавание опасных форм аритмии

   При распознавании ЭКГ в одном случае использовались короткие фрагменты ЭКГ, а другом – результаты холтеровского мониторирования (24 ч).

   При распознавании ЭКГ в одном случае использовались короткие фрагменты ЭКГ, а другом – результаты холтеровского мониторирования (24 ч).

На ресурсе physionet.org [8] представлен набор данных опасных форм аритмий, подготовленный Немирко с соавторами [9] . При разработке набора данных за основу была взята база данных MIT-BIH Malignant Ventricular Ectopy Database. Авторы разработали набор данных коротких фрагментов ЭКГ пациентов с нарушениями ритма, которые сгруппированы в отдельные классы по степени угрозы жизни пациента. Длина фрагментов ЭКГ составляла 721 элемент, частота дискретизации – 250 Гц, т.е., продолжительность записи была чуть меньше трех секунд (721/250 = 2,884 с). Ниже приводятся выделенные классы аритмий.

         Жизнеугрожающие аритмии, требующие неотложной реанимации:

• VFL: трепетание желудочков (ventricular flutter)
• VF: фибрилляция желудочков (ventricular fibrillation)

         Особая форма жизнеугрожающих аритмий: 

• VTTdP: желудочковая тахикардия типа «пируэт» (ventricular tachycardia torsade de pointes) 

    Жизнеугрожающие желудочковые аритмии:

• VTHR: желудочковая тахикардия высокой частоты (мономорфная и полиморфная) (high rate ventricular tachycardia (monomorphic and polymorphic) 

         Потенциально опасные желудочковые аритмии:

• VTLR: желудочковая тахикардия низкой частоты (мономорфная и полиморфная) (low rate ventricular tachycardia (monomorphic and polymorphic)
• B: желудочковая бигеминия (ventricular bigeminy)
• HGEA: высокая степень желудочковой эктопической активности  (high degree of ventricular ectopic activity)
• VER: желудочковый выскальзывающий ритм  (ventricular escape rhythm) 

         Суправентрикулярные аритмии:

• AFIB: мерцательная аритмия (atrial fibrillation)
• SVTA: наджелудочковая тахикардия (supraventricular tachycardia)
• SBR: синусовая брадикардия (sinus bradycardia)
• BI: блокада сердца первой степени (first-degree heart block)
• NOD: узловой атриовентрикулярный ритм (nodal (a-v) rhythm)

         Синусовый ритм:

• BBB: синусовый ритм с блокадой ножки пучка Гиса (sinus rhythm with bundle branch block)
• N: нормальный синусовый ритм (normal sinus rhythm)
• Ne: нормальный ритм с одиночной экстрасистолой (normal rhythm with single extrasystole) 

        Выборка была несбалансированной, максимальное количество экземпляров в классе составляло 240 штук. Следует обратить внимание на  очень высокую вариабельность ЭКГ в плане геометрии (табл. 1). 

Таблица 1.

Визуализация коротких фрагментов ЭКГ, относящиеся к различным классам аритмий

      Из табл. 1 видно, что, во-первых, геометрия кардиоциклов имеет очень большую вариабельность, во-вторых, при одном и том же заболевании могут встречаться сильно различающиеся паттерны ЭКГ, в-третьих, при разных диагнозах можно встретить похожие паттерны ЭКГ.

       Традиционно, распознавание ЭКГ осуществляется на уровне кардиоциклов (рис. 1).

Рис. 1. Типичное представление PQRST-комплексов. Зеленые стрелки обозначают зубцы P, синие стрелки обозначают комплексы QRS, а красные стрелки обозначают зубцы T [10].

       При этом конвейер распознавания ЭКГ обычно состоит из следующих этапов: регистрация сигнала с помощью электрокардиографов, предварительная обработка сигнала, в ходе которой устраняются шумы, выделение признаков, обучение модели распознавания, оценка эффективности модели [11]. Распространенной является практика, когда на этапе выделения признаков выделяются R-зубцы, далее ЭКГ нарезается на фрагменты, синхронизированные по R-зубцам. Признаки могут выделяться в пространственной области (временные и амплитудные характеристики PQRST-комплексов), во временной области, в частотной области, в частотно-временной области.

         С нашей точки зрения ЭКГ нужно рассматривать не как одномерный сигнал (совокупность одномерных сигналов), а как некий пространственно-временной процесс, в котором фрагменты ЭКГ можно представлять или в виде кадров кинопленки или в виде совокупности видеоклипов, для распознавания которых предлагается использовать современные технологии компьютерного зрения. Первая метафора лучше подойдет для решения задач онлайн мониторинга состояния сердечно-сосудистой системы, например, с использованием умных гаджетов, второй подход лучше для постпроцессинга результатов холтеровского мониторирования.

2.1.1. Распознавание коротких фрагментов ЭКГ

 При проведении вычислительного эксперимента исходные одномерные массивы, содержащие 721 элемент использовались тремя способами:

 1) Их превращали в изображения 721*721 с помощью библиотеки matplotlib.

Изображение 721*721

2) К массиву, содержащему 721 элемент, добавляли 8 нулей, получая массив из 729 элементов. Далее, этот массив превращали в матрицу 27*27.

Изображение 27*27

        3) К массиву из 721 элементов добавляли 47 нулей, получая массив из 768 элементов, из которого, в свою очередь затем получали матрицу 16*16*3.

        Далее, будут приведены примеры классификации изображений, полученных из коротких фрагментов ЭКГ пациентов с опасными формами аритмии с помощью различных моделей распознавания изображений. Для этой цели было разработано программное обеспечение, написанное на языке Python.

        В начале были использованы сверточные нейронные сети.

2.1.1.1. Упрощенная версия модели Xception

      Короткие фрагменты ЭКГ были преобразованы в изображения 721*721. Объем обучающей выбрки составлял 2412 изображений, тестовой выборки – 1188 изображений. Распознавание производили с помощью упрощенной версии модели Xception [12]. 

       Величина ошибки составила: 0,62, метрика accuracy: 0,26

2.1.1.2. Простая сверточная нейронная сеть

     Одномерные массивы были преобразованы в матрицы 27*27. Объем обучающей выбрки: 2412 изображений, тестовой выборки – 1188 изображений. Архитектура сети описана в [13].

          Величина ошибки составила: 0,65, метрика accuracy: 0,81.

          Далее, следуют различные реализации трансформеров, предназначенных для распознавания изображений.

2.1.1.3. Трансформер, предназначенный для распознавания изображений (Vision Transformer)

     В этом примере для классификации изображений была использована модель Vision Transformer (ViT) Алексея Досовицкого и др. [14]. Одномерные массивы были преобразованы в изображения 16*16*3. Обучающий набор включал в себя 2412 изображений, тестовый – 1188 изображений.

         Величина ошибки составила: 0,68, метрика accuracy: 0,79.

2.1.1.4. Классификация с использованием глубокого множественного обучения на основе внимания (Attention-based Deep Multiple Instance Learning, MIL)

     В этом примере для классификации изображений была использована модель Vision Transformer (ViT) Алексея Досовицкого и др. [14]. Одномерные массивы были преобразованы в изображения 16*16*3. Обучающий набор включал в себя 2412 изображений, тестовый – 1188 изображений.

         Величина ошибки составила: 0,68, метрика accuracy: 0,79. 

Multiple instance learning (MIL) — это вариант контролируемого обучения, при котором набору экземпляров присваивается одна метка класса [15]. В данном случае вместо одного конкретного изображения мы имеем дело с некоторой совокупностью объектов (пакетом). Такая ситуация называется множественным обучением (MIL) [16, 17] или обучением на слабо аннотированных данных [18]. Проблема слабо аннотированных данных особенно очевидна в случае распознавания медицинских изображений [19] (например, в случае маммографии или КТ-скрининге легких), где изображение обычно описывается одной меткой (доброкачественное/злокачественное) или приблизительно указанной областью интереса (Region of Interest, ROI) [20].

         В классической (бинарной) задаче обучения с учителем необходимо построить модель, которая предсказывала бы значение целевой переменной, y ∈ {0, 1}, для данного случая, x ∈ RD. Однако в случае с MIL вместо одного экземпляра мы имеем набор экземпляров X = {x1, . . . , xK }. K может различаться для разных пакетов. С пакетом также связана одна двоичная метка Y. Для экземпляров внутри пакета существуют отдельные метки, т. е. y1, . . . , yK и yk ∈ {0, 1}, для k = 1, . . . , K, однако доступа к этим меткам нет и они остаются неизвестными в процессе обучения.

        Механизм внимания широко используется для формирования субтитров к изображениям [21] или при анализе текста [22-23].

         MIL используется для медицинской визуализации. При этом медицинское изображение делится на более мелкие участки, которые в дальнейшем можно рассматривать как пакет с одной меткой [24]. Эта идея вызывает большой интерес в компьютерной гистопатологии [25].

          ЭКГ-сигналы были также преобразованы в изображения 27*27. 

          Величина ошибки – 0,62, значение метрики accuracy – 0,8.

2.1.1.5. Компактный сверточный трансформер

(Compact Convolutional Transformer, CCT)

       В следующем примере для распознавания изображений мы использовали версию ViT,  CCT, оптимизированную для обучения на относительно небольших выборках [26-28].

       ViT состоит из следующих частей: блока токенизации изображения, позиционного внедрения, токена классификации, кодировщика-трансформера и блока классификации. 

       Токенизации изображения 

    На вход трансформера поступают последовательности векторов или токенов. В случае текстов – это некоторые лексемы. В случае с изображениями ViT представляет изображение в виде непересекающихся квадратных областей, которые затем преобразуются в одномерные векторы по аналогии со сверточными слоями CNN.         

       Позиционное внедрение 

Позиционное внедрение добавляет в последовательность информацию о пространственных отношениях между токенами за счет присваивания токенам весов, чтобы модель узнала о существовании позиционной взаимосвязи между этими токенами. 

        Кодер-трансформер 

    Каждый уровень кодера-трансформера состоит из двух подуровней: Multy Head Self Attention (MHSA) и блока полносвязной нейронной сети (Multy Layer Perceptron, MLP). Каждому подуровню предшествует нормализация уровня (Layer Normalization, LN).

        Блок классификации 

    Трансформеры изображений обычно добавляют дополнительный обучаемый токен класса к последовательности встроенных патчей, представляющий параметр класса всего изображения и его состояние после того, как кодировщик преобразователя может быть использован для классификации. Токен содержит скрытую информацию об изображении и благодаря вниманию накапливает больше информации о последовательности, которая позже используется для классификации. 

      В предлагаемом исследовании одномерные массивы были преобразованы в изображения 16*16*3. Обучающий набор включал в себя 2412 изображений, тестовый – 1188 изображений.

          Величина ошибки: 0,11, значение метрики accuracy – 0,78.

2.1.1.6. Трансформатор с внешним вниманием

(External Attention Transformer, EANet)

     Модель EANet представляет собой механизм внимания, известный как внешнее внимание, основанное на двух небольших, обучаемых блоках памяти, реализованных в виде двух каскадных линейных слоях и двух слоях нормализации [29] .

    Одномерные массивы были преобразованы в изображения 16*16*3. Обучающий набор включал в себя 2412 изображений, тестовый – 1188 изображений.

         Величина ошибки: 2,57, значение метрики accuracy – 0,34.

2.1.1.7. Трансформер, оптимизированный для обучения на небольших наборах изображений

     В работе [30] предлагаются токенизация со сдвигом патчей (Shifted Patch Tokenization, SPT) и самообслуживание локальности (Locally Self Attention, LSA), которые позволяют модели обучаться с нуля даже на наборах данных небольшого размера. SPT и LSA  применимы к различным ViT.

      ЭКГ-сигналы были преобразованы в изображения 16*16*3. Величина ошибки: 0,29, значение метрики accuracy – 0,91.

     Современные полносвязные нейронные сети досигли больших успехов в области распознавания изображений. ЭКГ были преобразованы в изображения 16*16*3.

2.1.1.8. MLP-Mixer

     Модель MLP-Mixer, предложенная Ильей Толстихиным с соавторами [31], основана на двух ПСНС. Она принимает в качестве входных данных последовательность линейно проецируемых фрагментов изображения (токенов), имеющих форму таблицы «патчи × каналы». Одна ПСНС используется для смешивания токенов, другая - для смешивания каналов.

       Величина ошибки:  0.47, значение метрики accuracy – 0,87.

2.1.1.9. FNet

   Модель FNet Джеймса Ли-Торпа и др., основанная на непараметрическом преобразовании Фурье [32]. FNet представляет собой архитектуру трансформера, не требующую внимания, в которой каждый уровень состоит из подуровня смешивания Фурье, за которым следует подуровень прямой связи.

       Величина ошибки: 0,41, значение метрики accuracy – 0,88.

2.1.1.10. gMLP

      В работе [33] предлагается модель полносвязной нейронной сети gMLP, построенной на основе базовых слоев MLP со стробированием.  В отличие от трансформеров, gMLP не требуют позиционного кодирования. Авторы отмечают эффективность gMLP как в области компьютерного зрения, так и в области NLP.

       Величина ошибки:  0,49, значение метрики accuracy – 0,93.

       И, в заключение, рассмотрим модель YOLO.

2.1.1.11. Обнаружение объектов с помощью технологии YOLO

      В данной работе была использована модель YOLO v.8 [34] . Обучающий набор данных был подготовлен с помощью платформы Roboflow. Использовались изображения 721*721 в 16 классах. Метрика accuracy оказалась на уровне 0.89. На выходе получали не только метку класса, но и местоположение рамки, окружающей объект. 

{'time': 0.03598729100008313, 'image': {'width': 640, 'height': 480}, 'predictions': [{'x': 330.5, 'y': 228.5, 'width': 467.0, 'height': 375.0, 'confidence':

0.9244921207427979, 'class': 'Potential_Dangerous_B', 'class_id': 2, 'detection_id': '1bf25575-3066-43e7-b1c8-5d9d2678639b'}]}

2.1.2. Обнаружение фибрилляции предсердий на длительных фрагментах ЭКГ

     В предыдущем разделе были приведены результаты вычислительного эксперимента по классификации “кадров кинопленки” – 3-х секундных фрагментов ЭКГ, преобразованных в изображения. Предлагаемый подход позволяет легко формировать общую сводку по различным физиологическим состояниям пациента с привязкой ко времени, а также осуществлять онлайн-мониторинг состояния сердечно-сосудистой системы.

     Для более детального изучения ЭКГ можно использовать более длительные записи. Для проведения вычислительного эксперимента были выбраны следующие наборы данных.

1. Дейтасет ЭКГ здоровых испытуемых MIT-BIH Normal Sinus Rhythm Database [34]  был получен в лаборатории изучения аритмии Бостонской клиники имени дьяконессы Бэт Исраэль размером 582,7 Мб. Частота дискретизации -128 Гц [35].
2. Дейтасет долгосрочных мерцательной аритмии Long Term AF Database [36] объемом 3,4 Gb был представлен компанией MEDICALgorithmics (Варшава. Польша). Частота дискретизации 128 Гц. Измерения проводились 24-25 часов [37]. 

       Как и в случае с распознаванием коротких фрагментов ЭКГ начнем со сверточных нейронных сетей.

2.1.2.1. Простая СНС

        Данная модель уже рассматривалась в разделе 2.1.1.2. В случае с холтеровским мониторированием, ЭКГ-сигналы были преобразованы в изображения 28*28 (28*28/128=6.125 секунды). Обучающая выборка содержала 3072 изображения, тестовая выборка – 1516 изображений.

         Величина ошибки:  0,64, значение метрики accuracy – 0,68.

         Далее, оценим эффективность трасформеров на задачах классификации изображений.

2.1.2.2. Трансформер, предназначенный для распознавания изображений (Vision Transformer)

    Модель описана в разделе 2.1.1.3. ЭКГ-сигналы были преобразованы в изображения 32*32*3 (32*32*3/128=24 секунды). Обучающая выборка содержала 1969  изображений, тестовая выборка – 971 изображение.

        Величина ошибки:  0,0, значение метрики accuracy – 1,0.

2.1.2.3. Классификация с использованием глубокого множественного обучения на основе внимания (Attention-based Deep Multiple Instance Learning, MIL)

       Модель описана в разделе 2.1.1.4. Одномерные ЭКГ-сигналы были преобразованы в изображения 28*28 и 32*32*3 . В первом случае ошибка составила 0,34, метрика accuracy – 0,87, во втором случае ошибка была 0, accuracy=1,0.

2.1.2.4. Компактный сверточный трансформер

(Compact Convolutional Transformer)

       Модель описана в разделе 2.1.1.5. ЭКГ-сигналы преобразовывали в изображения 32*32*3.

       Величина ошибки:  0,66, значение метрики accuracy – 0,67.

2.1.2.5. Трансформатор с внешним вниманием

(External Attention Transformer, EANet)

       Модель описана в разделе 2.1.1.6. ЭКГ-сигналы преобразовывали в изображения 32*32*3. 

       Величина ошибки:  0,9, значение метрики accuracy – 0,68.

2.1.2.6. Трансформер, оптимизированный для обучения на небольших наборах изображений

       Модель описана в разделе 2.1.1.7. ЭКГ-сигналы преобразовывали в изображения 32*32*3.

       Величина ошибки:  0,0, значение метрики accuracy – 1,0.

2.1.2.7. Трансформер без использования технологии внимания

      ЭКГ-сигналы преобразовывали в изображения 32*32*3. В работе [38] описана модификация исходной концепции ViT (ShiftViT), где уровни внимания в ViT заменяются операциями сдвига.

      Величина ошибки: 2,24, значение метрики accuracy – 0,52.

2.1.2.8. ConvMixer

      В работе [31] Илья Толстихин с соаворами расширяют идею использования патчей для обучения сверточной нейронной сети. Предложенная авторами архитектура, получившая название ConvMixer, использует возможности таких архитектур, как ViT и MLP-Mixer, касающиеся использованич одинаковой глубины и разрешения на разных уровнях сети.  Авторы отмечают, что ConvMixer превосходит классические модели машинного зрения, такие как ResNet.

     ЭКГ-сигналы преобразовывали в изображения 32*32*3.

     Величина ошибки:  2,29, значение метрики accuracy – 0,53.

2.1.2.9. Swin-трансформер

   Swin -трансформер — это иерархический трансформер со смещенным окном, который хорошо подходит для обнаружения объектов, представленных в разных масштабах. Эта архитектура имеет линейную вычислительную сложность в зависимости от размера изображения [39]. Swin Transformer строит иерархическое представление, начиная с участков небольшого размера и постепенно объединяя соседние участки в более глубоких слоях трансформера. Благодаря этим иерархическим картам признаков модель Swin Transformer может использовать методы прогнозирования, такие как сети пирамид признаков (FPN) или U-Net.

      ЭКГ-сигналы преобразовывали в изображения 32*32*3.

      Величина ошибки:  0,69, значение метрики accuracy – 0,50.

      Рассмотрим эффективность современных полносвязных нейронных сетей на задачах распознавания изображений.

2.1.2.10. MLP-Mixer

      Модель описана в разделе 2.1.1.8. ЭКГ-сигналы преобразовывали в изображения 32*32*3.

      Величина ошибки: 0,02, значение метрики accuracy – 0,98.

2.1.2.11. FNet

      Модель описана в разделе 2.1.1.9. ЭКГ-сигналы преобразовывали в изображения 32*32*3.

      Величина ошибки: 0,0, значение метрики accuracy – 1,0.

2.1.2.12. gMLP

      Модель описана в разделе 2.1.1.10. ЭКГ-сигналы преобразовывали в изображения 32*32*3.

      Величина ошибки: 0,0, значение метрики accuracy – 1,0.

3. Обнаружение фибрилляции предсердий путем преобразования одномерных сигналов в видеоклипы с последующей их классификацией с помощью гибридного подхода

  В рамках проводимых исследований была предпринята попытка представления одномерных ЭКГ-сигналов в виде видеоклипов. Использовались те же длительные записи ЭКГ (нормальный синусовый ритм и фибрилляция предсердий), что и в предыдущем разделе (2.1.2). Видеоклипы формировали следующим образом. Одномерные ЭКГ-сигналы нарезали на 2-х секундные фрагменты (128 Гц*2сек=256 элементов). Далее, с помощью библиотеки matplotlib строили графики (256*256) (рис. 2), которые использовались в качестве кадров видеоклипов. Каждый видеоклип содержал 150 кадров при кадровой частоте 30 кадров в секунду. Продолжительность видеоклипа была (150 кадров/30 кадров в секунду=5 секунд) и отражала (150 кадров * 2 секунды = 300 секунд) ЭКГ-сигнала. Обучающая выборка включала в себя 1021 видеоклип, тестовая выборка – 400 видеоклипов.

секундный кадр ЭКГ нормального синусового ритма

  Классификация виде имеет свою специфику. Во-первых, в отличие от изображений, содержащих лишь пространственные характеристики объектов, на видео могут присутствовать также звук и текст, во-вторых, категории видео могут содержать как действие (танцы, бег, ходьба и др.), так и или поведенческие эмоции (например, веселье, грусть, удивление) [40]. Видео необходимо классифицировать как на основе пространственного, так и временного контента поскольку, например, в разные периоды времени один и тот же персонаж может выполнять разные действия [41].

      Количество возможных областей применения технологий распознавания видео постоянно расширяется. Сюда  можно отнести, например, биометрическую идентификацию по походке [42], распознавание паттернов агрессивного поведения, аннотация видео. Классификация видео может использоваться в секторе здравоохранения для автоматического анализа медицинских видеороликов, таких как кадры эндоскопии или хирургических операций, для обнаружения и классификации отклонений или для помощи в диагностике и планировании лечения.

         Существует несколько подходов, применяемых для распознавания видео. К ним можно отнести, например:

• Обучение с учителем, когда модель обучается на размеченных данных (3D-CNN, CNN-RNN)
• Обучение с полуконтролем — модель обучается как на размеченных, так и на неразмеченных данных. В таких случаях обычно процент размеченных данных невелик (например, 5% или 10%). В качестве примера можно привести технологию VideoSSL [43].
• Обучение со слабым контролем включает в себя обучение модели на основе слабых меток, т.е. точные метки классификации недоступны, но может быть доступна некоторая другая полезная информация. В этом отличие от полностью контролируемой классификации видео, где модель обучается с использованием большого количества размеченных данных, включая метки классов каждого кадра или сегмента видео. Примером такой структуры является модель UntrimmedNet, которая решает проблему распознавания действий из необрезанных необработанных видео. Здесь слабыми метками являются аннотации видео (например, боулинг, бег и т. д.), а цель — выполнить временную аннотацию, т. е. найти временные метки, между которыми происходит фактическое действие в видео [43].
• Самоконтролируемое обучение — модель на основе обучающей выборки генерирует псевдометки. Из этих псевдометок те, которые были предсказаны с высокой степенью достоверности, используются для следующей итерации алгоритма обучения. Таким образом, весь набор обучающих данных помечается, и сеть становится достаточно обученной, что затем оценивается на тестовом наборе. Примером такого подхода является платформа самоконтролируемого видеотрансформера (Self-supervised Video Transformer, SVT), которая использует ViT в условиях самоконтролируемой дистилляции знаний [43]. Дистилляция знаний включает в себя обучение более простой модели (сеть ученика) для конкретной задачи с помощью изученной семантики с помощью сложной модели (сеть учителя), обученной для решения более универальных задач.

    В рамках проводимых исследований использовалось обучение с учителем. При этом использовался гибридный подход, включающий в себя использование как CNN, так и RNN. Для классификации видео часто используются сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN). CNN используются для изучения пространственной информации в видеосюжете, тогда как RNN используются для изучения временной информации на видео. Так как основное различие между этими двумя архитектурами заключается в способности обрабатывать временную информацию или данные, поступающие последовательно. Таким образом, обе эти сетевые архитектуры в целом используются для совершенно разных целей. Однако природа видеоданных с наличием как пространственной, так и временной информации требует использования обеих этих сетевых архитектур для точной обработки двухпотоковой информации [44-46]. В предлагаемой работе для классификации видео использовалась гибридная модель, описанная в [47].

       Величина ошибки: 0,0, значение метрики accuracy – 1,0.

4.     Распознавание инфаркта миокарда путем анализа эхокардиографии с помощью гибридного подхода

    Очень актуальной медицинской и социальной проблемой является инфаркт миокарда. Для его диагностики используются различные методы, в том числе и эхокардиография. В предлагаемом исследовании был использован набор данных HMC-QU, созданный в результате сотрудничества медицинской корпорации Hamad (HMC), Университета Тампере и Университета Катара. Набор данных включает в себя коллекцию апикальных 4-камерных (A4C) и апикальных 2-камерных (A2C) записей 2D-эхокардиографии, полученных в с 2018 по 2019 годы. Временное разрешение составляет 25 кадров в секунду. Пространственное разрешение варьируется от 422x636 до 768x1024 пикселей. Записи собраны из более чем 10 000 эхосигналов, включая более 800 случаев, госпитализированных с острым ИМ с подъемом сегмента ST [48]. Объем дейтасета составляет 14,42 Гб.

      Из видеоклипов дейтасета  HMC-QU была сформирована обучающая выборка , содержащая 111 образцов для инфаркта миокарда и 93 образца для нормального синусового ритма, а также тестовая выборка (48 образцов – инфаркт миокарда, 40 образцов – нормальный синусовый ритм).

         Для классификации видеоклипов использовалась гибридная модель, описанная в [47].

         Величина ошибки:  0,46, значение метрики accuracy – 0,87.

Результаты и обсуждение

       Итоговые результаты приведены в таблице 2. В исследовании использовались кардиосигналы трех модальностей: МРТ, ЭКГ и эхокардиограммы. МРТ представлены растровыми изображениями. Современная сверточная нейронная сеть Xception показала высокую эффективность на задаче классиикации МРТ (метрика accuracy: 0,96). Далее,  ЭКГ-сигналы были представлены в виде совокупности изображений, характеризующих фрагменты ЭКГ. В одних случаях изображения соответствовали ЭКГ длительностью около трех секунд (721/250), в других случаях – около 6 с (28*28/128) или 24 секунд (32*32*3/128). Для классификации таких изображений были использованы 2 сверточные нейронные сети, 8 трансформеров, модель YOLO и 3 ПСНС. В целом, увеличение продолжительности ЭКГ-фрагментов, преобразованных в видео, повышает эффективность распознавания. Трансформеры и современные ПСНС оказались эффективнее СНС. При преобразовании ЭКГ в видео происходила свертка пятиминутных фрагментов ЭКГ. Гибридная модель, основанная на СНС и РНС показала высокую эффективность на задачах классификации видео. Эффективность гибридной модели при распознавании эхокардиограмм оказалась несколько ниже.

Таблица 2.

Сравнение эффективности распознавания различных методов компьютерного зрения

Выводы:

         Результаты предложенных исследований показывают, что технологии компьютерного зрения могут успешно применяться для распознавания кардиосигналов, представлленных в разных модальностях.

         Благодарности:

         Исследование поддержано грантом Российского Научного Фонда № 22-19-00471.

Литература:

1. Krizhevsky, A.; Sutskever, I.; and Hinton, G. E. 2012. Imagenet classification with deep convolutional neural networks. NIPS, 25: 1097–1105
2. Vaswani, A.; Shazeer, N.; Parmar, N.; Uszkoreit, J.; Jones, L.; Gomez, A. N.; Kaiser, Ł.; and Polosukhin, I. 2017. Attention is all you need. In Advances in neural information processing systems, 5998–6008
3. Dosovitskiy, A.; Beyer, L.; Kolesnikov, A.; Weissenborn, D.; Zhai, X.; Unterthiner, T.; Dehghani, M.; Minderer, M.; Heigold, G.; Gelly, S.; et al. 2020. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR
4. https://www.mayoclinic.org/diseases-conditions/hypertrophic-cardiomyopathy/symptoms-causes/syc-20350198
5. Sharifrazi D, Alizadehsani R, Hoseini Izadi N, Roshanzamir M, Shoeibi A, Khozeimeh F, Alizadeh Sani F, Alizadeh Sani Z, Harlapur C, Khosravi A, Nahavandi S. Hypertrophic Cardiomyopathy Diagnosis Based on Cardiovascular Magnetic Resonance Using Deep Learning Techniques
6. https://www.kaggle.com/datasets/danialsharifrazi/hypertrophic-cardiomyopathy-dataset/data
7. https://arxiv.org/abs/1610.02357. Francois Chollet. Xception: Deep Learning with Depthwise Separable Convolutions.arXiv:1610.02357v3 [cs.CV] 4 Apr 2017
8. https://www.physionet.org/content/ecg-fragment-high-risk-label/1.0.0/
9. Nemirko A, Manilo L, Tatarinova A, Alekseev B, Evdakova E. ECG Fragment Database for the Exploration of Dangerous Arrhythmia (version 1.0.0). PhysioNet. 2022. Available from: https://doi.org/10.13026/kpfg-xs25
10. Sattar Y, Chhabra L. Electrocardiogram. Treasure Island (FL): StatPearls Publishing; 2022
11. Singh, A.K., Krishnan, S. ECG signal feature extraction trends in methods and applications. BioMed Eng OnLine 22, 22 (2023). https://doi.org/10.1186/s12938-023-01075-1
12. https://keras.io/examples/vision/image_classification_from_scratch/
13. https://keras.io/examples/vision/mnist_convnet/
14. Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby. An image is worth 16 x 16 words: transformers for image recognition at scale. arXiv:2010.11929v2 [cs.CV] 3 Jun 2021
15. Maximilian Ilse , Jakub M. Tomczak, Max Welling. Attention-based Deep Multiple Instance Learning. arXiv:1802.04712v4 [cs.LG] 28 Jun 2018.
16. Dietterich, Thomas G, Lathrop, Richard H, and Lozano-Pérez, Tomás. Solving the multiple instance problem with axis-parallel rectangles. Artificial intelligence, 89 (1-2):31–71, 1997
17. Maron, Oded and Lozano-Pérez, Tomás. A framework for multiple-instance learning. In NIPS, pp. 570–576, 1998
18. Oquab, Maxime, Bottou, Léon, Laptev, Ivan, Sivic, Josef, et al. Weakly supervised object recognition with convolutional neural networks. In NIPS, 2014.
19. Quellec, Gwenole, Cazuguel, Guy, Cochener, Beatrice, and Lamard, Mathieu. Multiple-instance learning for medical image and video analysis. IEEE Reviews in Biomedical Engineering, 2017
20. Liu, Guoqing, Wu, Jianxin, and Zhou, Zhi-Hua. Key instance detection in multi-instance learning. In JMLR, volume 25, pp. 253–268, 2012
21. Xu, Kelvin, Ba, Jimmy, Kiros, Ryan, Cho, Kyunghyun, Courville, Aaron, Salakhudinov, Ruslan, Zemel, Rich, and Bengio, Yoshua. Show, attend and tell: Neural image caption generation with visual attention. In ICML, pp. 2048–2057, 2015
22. Bahdanau, Dzmitry, Cho, Kyunghyun, and Bengio, Yoshua. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014
23. Qi, Charles R, Su, Hao, Mo, Kaichun, and Guibas, Leonidas J. PointNet: Deep learning on point sets for 3d classification and segmentation. In CVPR, 2017
24. Quellec, Gwenole, Cazuguel, Guy, Cochener, Beatrice, and Lamard, Mathieu. Multiple-instance learning for medical image and video analysis. IEEE Reviews in Biomedical Engineering, 2017
25. Sirinukunwattana, Korsuk, Raza, Shan E Ahmed, Tsang, Yee-Wah, Snead, David RJ, Cree, Ian A, and Rajpoot, Nasir M. Locality sensitive deep learning for detection and classification of nuclei in routine colon cancer histology images. IEEE Transactions on Medical Imaging, 35 (5):1196–1206, 2016
26. Ali Hassani, Steven Walton1, Nikhil Shah, Abulikemu Abuduweili, Jiachen Li, Humphrey Shi. Escaping the Big Data Paradigm with Compact Transformers. arXiv:2104.05704v4 [cs.CV] 7 Jun 2022
27. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, 2017
28. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, 2019
29. Meng-Hao Guo, Zheng-Ning Liu, Tai-Jiang Mu, Shi-Min Hu, Senior Member. Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks. arXiv:2105.02358v2 [cs.CV] 31 May 2021
30. Seung Hoon Lee, Seunghyun Lee, Byung Cheol Song. Vision Transformer for Small-Size Datasets. arXiv:2112.13492v1 [cs.CV] 27 Dec 2021
31. Ilya Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy. MLP-Mixer: An all-MLP Architecture for Vision. arXiv:2105.01601v4 [cs.CV] 11 Jun 2021
32. James Lee-Thorp and Joshua Ainslie and Ilya Eckstein and Santiago Ontañón. FNet: Mixing Tokens with Fourier Transforms. arXiv:2105.03824v4 [cs.CL] 26 May 2022
33. Hanxiao Liu, Zihang Dai, David R. So, Quoc V. Le. Pay Attention to MLPs. arXiv:2105.08050v2 [cs.LG] 1 Jun 2021
34. https://github.com/ultralytics/ultralytics
35. https://physionet.org/content/nsrdb/1.0.0/
36. Goldberger A, Amaral L, Glass L, Hausdorff J, Ivanov PC, Mark R, Mietus JE, Moody GB, Peng CK, Stanley HE. PhysioBank, PhysioToolkit, and PhysioNet: Components of a new research resource for complex physiologic signals. Circulation [Online]. 101 (23), pp. e215–e220
37. https://www.physionet.org/content/ltafdb/1.0.0/
38. Petrutiu S, Sahakian AV, Swiryn S. Abrupt changes in fibrillatory wave characteristics at the termination of paroxysmal atrial fibrillation in humans. Europace 9:466-470 (2007)
39. Guangting Wang, Yucheng Zhao, Chuanxin Tang, Chong Luo, Wenjun Zeng. When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism. arXiv:2201.10801v1 [cs.CV] 26 Jan 2022.
40. Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. arXiv:2103.14030v2 [cs.CV] 17 Aug 2021
41. https://www.v7labs.com/blog/video-classification-guide
42. Rehman, Atiq; Belhaouari, Samir Brahim (2021): Deep Learning for Video Classification: A Review. TechRxiv. Preprint. https://doi.org/10.36227/techrxiv.15172920.v1
43. Богданов М. Р., Шахмаметова Г. Р., Оськин Н. Н., Корнилов А. В. Биометрическая идентификация, основанная на походке // Системы управления, связи и безопасности. 2024. № 1. С. 191-212. DOI: 10.24412/2410-9916-2024-1-191-212
44. https://www.v7labs.com/blog/semi-supervised-learning-guide
45. Rehman, Atiq; Belhaouari, Samir Brahim (2021): Deep Learning for Video Classification: A Review. TechRxiv. Preprint. https://doi.org/10.36227/techrxiv.15172920.v1
46. Z. Wu, X. Wang, Y. G. Jiang, H. Ye, and X. Xue, “Modeling spatial-Temporal clues in a hybrid deep learning framework for video classification,” in MM 2015 - Proceedings of the 2015 ACM Multimedia Conference, 2015, pp. 461–470.
47. T. Alhersh, H. Stuckenschmidt, A. U. Rehman, and S. B. Belhaouari, “Learning Human Activity From Visual Data Using Deep Learning,” IEEE Access, vol. 9, pp. 106245–106253, 2021.
48. S. Tanberk, Z. H. Kilimci, D. B. Tukel, M. Uysal, and S. Akyokus, “A Hybrid Deep Model Using Deep Learning and Dense Optical Flow Approaches for Human Activity Recognition,” IEEE Access, vol. 8, pp. 19799–19809, 2020.
49. https://www.kaggle.com/datasets/aysendegerli/hmcqu-dataset

Для связи

У вас есть идеи? Вопросы? Мы к ним готовы!