Лаборатория метафорических исследований и ии

   СДК. Сибирская Диагностическая Компания

Лаборатория метафорических исследований и ии

СДК. Сибирская Диагностическая Компания

СДК. Сибирская Диагностическая Компания

Лаборатория метафорических исследований и ии

О ВОЗМОЖНОСТИ ПРИМЕНЕНЕИЯ ГИБРИДНОГО ПОДХОДА ПРИ РАСПОЗНАВАНИИ ПОТЕНЦИАЛЬНО-ОПАСНЫХ ФИЗИОЛОГИЧЕСКИХ СОСТОЯНИЙ

 Аннотация. Работа посвящена распознаванию потенциально-опасных физиологических состояний. Предлагается одномерные сигналы, используемые в медицинской диагностике, преобразовывать в видео ряд. Для распознавания видеоряда предлагается сочетать 
сверточную и рекуррентную нейронную сеть. Проведено сравнение эффективности многоклассовой классификации (нормальный синусовый ритм, инфаркт миокарда, изменения продолжительности ST-интервала, нарушения проводимости и гипертрофия) с помощью метода, сочетающего рекуррентную и сверточную нейронные сети с рекуррентной и сверточной нейронными сетями. Показана высокая эффективность предложенного подхода.
Ключевые слова: Машинное обучение, цифровая обработка сигналов, видеоаналитика  

Богданов М.Р., Шахмаметова Г.Р., Шайбаков И.Ш., Исхаков А.Р., Оськин Н.Н.

ВВЕДЕНИЕ

   В настоящее время видеоаналитика находит все больше областей применения, расширяются и сценарии распознавания видео. Видеоаналитика активно применяется в беспилотных транспортных системах, в системах безопасности, в медицине, при проведении экологических исследований, в военном деле.
    Видео состоит из упорядоченной последовательности кадров. Каждый кадр содержит пространственную информацию, а последовательность этих кадров содержит временную информацию. При этом видео представляет собой сложный мультимодальный объект, включающий в себя визуальную составляющую, звуковую составляющую, временную составляющую, иногда субтитры и текст, присутствующий на кадрах.
      Визуальную составляющую видео можно описать следующим выражением: 𝑧∈RN×H×W×C, где N – количество кадров, W – ширина кадра в пикселях, H – высота кадра в пикселях, C – количество каналов (в случае с RGB, C=3). Аудио составляющую можно описать выражением: CxT, где C число каналов (1-моно, 2-стерео и.т.д.) а T амплитуда сигнала. 

      Можно выделить несколько сценариев распознавания видео: классификация, пространственно-временная привязка, пространственно-временная труба, реидентификация объектов, предсказание траектории движения объекта.
    В случае решения задачи классификации часто используется следующий сценарий. Формируется обучающая выборка, основанная на коротких видеороликах (продолжительностью 10-20 секунд). В качестве примера можно привести набор данных Kinetics [1], предназначеного для обучения моделей ИИ распознавать действия человека. 
       Для распознавания действия, происходящего на видео используют различные алгоритмы классификации. 
       При покадровой классификации видео рассматривается как совокупность 
отдельных изображений, которые распознаются с помощью сверточных нейронных сетей. Полученные метки классов усредняются. 

     В случае так называемого позднего слияния каждая модальность, входящая в состав видео (визуальная, аудио- или текстовая) распознается отдельно, после чего отдельные прогнозы объединяются в итоговый результат с помощью таких методов, как усреднение, объединение или взвешенное усреднение.
      Раннее объединение предполагает объединение информации из разных модальностей на ранних этапах процесса классификации. Вместо того чтобы обрабатывать каждую модальность независимо и объединять их прогнозы позже, при раннем объединении признаки, извлечённые из разных модальностей, объединяются в единое представление перед передачей в классификатор. Такое комбинированное представление позволяет фиксировать визуальную, звуковую и, возможно, текстовую информацию в едином пространстве признаков [2].

     Медленное слияние предполагает постепенную интеграцию информации полученной из разных источников. Оно объединяет признаки и прогнозы на нескольких временных этапах или кадрах. Такой подход позволяет модели учитывать временные зависимости и контекстную информацию в видеопоследовательности [2].
       В приведенных выше примерах для работы с визуальными признаками используются сверточные нейронные сети, а для работы с временными признаками рекуррентные нейронные сети (гибридная модель).
       В качестве метрик качества на задачах классификации обычно используют Accuracy, Precision, Recall, F1 score, Micro-F1 score, K-Fold cross-validation, Top-k. 

      Задача пространственно-временной привязки при распознавании видео направлена на локализацию  объекта интереса на видео (Context-Guided Spatio-Temporal Video Grounding или CA STVG) с помощью пространственно-временной трубы (образованной последовательностью ограничивающих прямоугольников) на основе текстового запроса произвольной формы. Это сложная мультимодальная задача, связанная с изучением и пониманием пространственно-временных визуальных представлений в видео и их связи с лингвистическим представлением текста [3]. 
     При решении задачи пространственно-временной привязки необходимо найти временные метки начала и конца некоего события, происходящего на видео в соответствии с запросом на естественном языке. Задача актуальна в области видеонаблюдения и аннотации видео. При этом иногда достаточно найти временные интервалы события, иногда требуется также распознать целевые объекты на кадре и выделить их рамкой. Родственными задачами являются: визуальное вопросно-ответное взаимодействие, создание подписей к изображениям, создание подписей к видео, преобразование текста в изображение.
   В работе [3] сообщается об использовании визуального контекста видео для распознавания объектов и используования его в качестве ориентира для локализации объекта. 
  Для решения задачи CA STVG в работе [3] предлагается кодировщик, предназначенный для создания мультимодальных визуально-лингвистических признаков. Кодировщик извлекает и объединяет визуальные и текстовые признаки.

Извлечение визуальных признаков

     Различают признаки внешнего вида и признаки движения. В начале из видео выбирается набор кадров F={fi}Ni=1  длиной N, затем с помощью сверточной нейронной сети ResNet-101 [4] извлекаются признаки внешнего вида, а с помощью нейронной сети VidSwin [5] извлекали признаки движения. Признак внешнего вида: Va= {via}Ni=1, где vai ∈ RH×W×C , где H, W и C — высота, ширина и размер канала, признак движения: Vm = {vim}Ni=1, где vim ∈RH×W×C, где C — размер канала. 

Извлечение текстовых признаков

     Для извлечения текстовых признаков используется архитектура RoBERTa [6]. Запрос в начале разбивается на токены с целью получения последовательности слов W = {wi}i=Ni=1, после чего с помощью архитектуры RoBERTa получают последовательность векторных представлений T = {ti}i=Ni=1, где ti∈ RC, а C — размерность векторного представления слова.

Слияние мультимодальных признаков

     Далее, проводится мультимодальное слияние признаков внешнего вида Va, движения Vm и текста T. В начале сопоставляются Va, Vm и T с одним и тем же номером канала с помощью линейной проекции, а затем объединяются соответствующие признаки для получения мультимодальных признаков X = {xi}Ni=1 следующим образом:

                                                      xi=[vai1, vai2 ,…, vaiH×W, vmi1, vmi2 ,…, vmiH×W, t1, t2, …, tNt]

         где xi — мультимодальная характеристика в кадре i. 
         vai-  признаки внешнего вида

         vmi -  признаки  движения
         t – текстовые признаки

     Для определения местоположение цели в пространстве и во времени используется пространственное декодирование и блок временного декодирования [3]. В результате получают оценка прогноза границ объектов BK ={bi}Ni=1 , где bi∈R4 - координаты центра объекта, ширина и высота прогнозируемой границы, а также вероятности начала и окончания каждого кадра HK = {(hstarti, hendi)}Ni=1, где время начала и окончания определяется максимальной совместной вероятностью начала и окончания интересующего события.

      Реидентификация объектов (Re-ID) направлена на сопоставление одного и того же объекта (человека, транспортного средства) снятого с разных ракурсов. Она имеет значительную практическую ценность в таких областях, как интеллектуальное видеонаблюдение, «умные» города, сохранение природных экосистем.

Постановка задачи

     Заболевания сердечно-сосудистой системы являются актуальной проблемой. Для диагностики кардиологических заболеваний широко применяетсся электрокардиография. С технической точки зрения электрокардиографы являются многоканальными цифровыми вольтметрами, различающиеся такими характеристиками, как количество каналов, разрядность, частота дискретизации. Результатом работы электрокардиографа является совокупность одномерных массивов – электракардиосигналов.
       В случае автоматического распознавания ЭКГ обычно электрокардиосигнал нарезаются на кардиоциклы, после чего последние рассматриваются как совокупность геометрических признаков (PQRST-комплекс) (изображений, вейвлетов или временных рядов). Для классификации полученных признаков используют различные методы машинного обучения, такие как ансамблевые методы, сверточные, полносвязные или рекуррентные нейронные сети.
     На наш взгляд, у подобного подхода есть ряд недостатков и ограничений. Во-первых, не всегда из кардиоциклов можно выделить геометрические признаки. Во-вторых, если сконцентрироваться на геометрических характеристиках кардиоциклов (например, с помощью сверточных нейронных сетей), будет упущена вариабельность сердечного ритма. С другой стороны, представление ЭКГ в виде временного ряда (с помощью рекуррентных нейронных сетей) скрывает от нас геометрические особенности кардиоциклов.

   Предлагается рассматривать электрокардиосигнал в виде пространственно-временного процесса и воспринимать его как видеоряд. Видеоряд на наш взгляд позволяет описывать гораздо более сложные процессы и явления, разворачивающиеся в динамике.

Постановка задачи

   Целью предлагаемого исследования является оценка возможности распознавания потенциально-опасных физиологических состояний путем распознавания электрокардиограмм, которые рассматриваются в виде пространственно-временных объектов. Из одномерных ЭКГ-сигналов создаются видеофильмы, которые распознаются с 
помощью методов видеоаналитики (комбинация сверточной и рекуррентной нейронных сетей). Для сравнения использовались методы, используемые для распознавания изображений (сверточная нейроная сеть) и временных рядов (рекуррентная нейронная сеть).

Вычислительный эксперимент

       При проведении исследований использовали базу данных оцифрованных электрокардиограмм PTB-XL (Physikalisch-Technische Bundesanstalt) Национального института метрологии, расположенного в Берлине. Дейтасет содержал 21799 образца 12-канальных ЭКГ, зарегистрированных у 18869 пациентов. Продолжительность измерений составляла 10 секунд, частота дискретизации – 500 Гц, разрядность – 16 бит. С технической точки зрения электрокардиосигнал представляет собой двухмерный массив 12*5000. Среди представленных электрокардиосигналов можно выделить следующие диагностические классы: нормальный синусовый ритм (ЭКГ здоровых испытуемых) (9514 записи), инфаркт миокарда (5469 записей), изменения продолжительности ST-интервала (5235 записей), нарушения проводимости  (4898 записей) и гипертрофия  (2649 записей) [7-10].

    При распознавании электрокардиосигналов последние рассматривали в качестве видео, временных рядов и изображений.

Распознавание видео

       Как уже говорилось выше, электрокардиосигнал в рассматриваемом случае представляет из себя совокупность 12 одномерных массивов, содержащих по 5000 вещественных чисел. Каждый из массивов нарезали на фрагменты, состоящие из 500 элементов, соответствующих 1 секунде ЭКГ. С помощью библиотеки matplotlib одномерные массивы преобразовывали в изображения (рис. 1):

Рис. 1. Односекундный фрагмент ЭКГ нормального синусового ритма.

       Далее, собирали видео, состоящее из 10 кадров (fps=30). Из одной записи ЭКГ получали 12 коротких видео. В следствие ограниченности вычислительных ресурсов рандомным образом выбирали по 500 видео из каждого класса (всего 2500 видео). Обучающая выборка содержала 2000 образцов, тестовая выборка – 500 образцов. Для классификации использовали гибридную нейронную сеть (RNN-CNN), предложенную Сайеком Паулем [11].

Распознавание временных рядов

       Во втором случае одномерные массивы, образующие электрокардиосигнал, также нарезали на фрагменты длиной 500 элементов (120 фрагментов на каждую запись). Для классификации временных рядов использовали метод, описанный в [12] (рекуррентная нейронная сеть) .
      Каждый класс был представлен 10000 образцами (всего 50000 образцов). Обучающая выборка состояла из 40000 образцов, тестовая выборка – 10000 образцов.

Распознавание изображений

       В третьем случае из каждого одномерного сигнала (содержащего 5000 элементов), выбирали первые 4704, которые нарезали на 6 фрагментов по 784 элемента. Далее, каждый из 6 одномерных массива, содержащего 784 элемента, превращали в двумерные массивы (28*28), которые затем превращали в изображения с помощью метода imshow библиотеки matplotlib (рис. 2):

Рис. 2. Изображение, полученное путем преобразования одномерного массива, 
содержащего 784 элемента в двухмерный массив (28*28).

     Из каждой записи получали 72 изображения (12*6). Как и в предыдущем случае обучающая выборка состояла из 40000 изображений, тестовая выборка – 10000 изображений, всего по 10000 изображений на класс. Для классификации изображений использовали сверточную нейронную сеть ConvNet [12].
     Для проведения вычислительного эксперимента было разработано программное обеспечение, написанное на языке Python. Расчеты проводили на компьютере с процессором Intel Core i9, 256 Gb RAM. NVIDIA RTX 3080 Ti.

Результаты и обсуждение:

     Проводилась проверка гипотезы о возможности представления электрокардиограмм в виде видео, с последующим распознаванием с помощью гибридной нейронной сети RNN-CNN. В качестве базовых алгоритмов использовали рекуррентную и сверточную нейронные сети. Во всех трех случаях проводили многоклассовую классификацию (нормальный синусовый ритм, инфаркт миокарда, изменения продолжительности ST-интервала, нарушения проводимости и гипертрофия). В качестве метрики качества использовали метрику accuracy. Результаты распознавания приведены в таблице 1.

Таблица 1.
Сравнение эффективности распознавания электрокардиограмм различными методами                              

     Из таблицы видно, что гибридная нейронная сеть, основанная на совокупности сверточной и рекуррентной нейронной сети показала лучшую эффективность по сравнению с рекуррентной и сверточной нейронной сетями. В настоящее время появилось несколько новых архитектур, предназначенных для распознавания изображений, например, сверточные нейронные сети EfficientNet и MaxVit, а также трансформер BigTransfer. Они показали высокую эффективность при распознавании изображений размерности 224*224*3 (150528 элемента). Возможно они окажутся эффективными при распознавании результатов холтеровского мониторирования (длительная регистрация ЭКГ, порядка 24-х часов). Предоженный в работе подход показал свою эффективность при работе с короткими фрагментами ЭКГ (10 секунд). Полученные предварительные результаты вселяют надежду на успешное развитие предложенного подхода.

Литература:

  1. Kay W., Carreira J., Simonyan K. et al. The Kinetics Human Action Video Dataset. https://arxiv.org/abs/1705.06950
  2. Mao M, Lee A, Hong M. Deep Learning Innovations in Video Classification: A Survey on Techniques and Dataset Evaluations. Electronics. 2024;13:2732. https://doi.org/10.3390/electronics13142732
  3. Gu X, Fan H, Huang Y, Luo T, Zhang L. Context-Guided Spatio-Temporal Video Grounding. arXiv:2401.01578v1 [cs.CV]. https://arxiv.org/abs/2401.01578 (3 Jan 2024)
  4. He K, Zhang X, Ren S,  Sun J. Deep residual learning for image recognition. ArXiv:1512.03385.  2016. https://arxiv.org/abs/1512.03385
  5. Liu Z, Ning J, Cao Y et al. Video swin transformer. ArXiv:2106.13230. https://arxiv.org/abs/2106.13230 (24 Jun 2021)
  6. Liu Y, Ott M, Goyal N et al. Roberta: A robustly optimized bert pretraining approach. ArXiv:1907.11692. https://arxiv.org/abs/1907.11692 (26 Jul 2019)
  7. Wagner P.,   Strodthoff N., Bousseljot R-D., Samek W., Schaeffter T. PTB-XL, a large publicly available electrocardiography dataset. https://physionet.org/content/ptb-xl/1.0.3/. Published: Nov. 9, 2022. Version: 1.0.3
  8. Wagner, P., Strodthoff, N., Bousseljot, R., Samek, W., & Schaeffter, T. (2022). PTB-XL, a large publicly available ectrocardiography dataset (version 1.0.3). PhysioNet. https://doi.org/10.13026/kfzx-aw45.
  9. Wagner, P., Strodthoff, N., Bousseljot, R.-D., Kreiseler, D., Lunze, F.I., Samek, W., Schaeffter, T. (2020), PTB-XL: A Large Publicly Available ECG Dataset. Scientific Data. https://doi.org/10.1038/s41597-020-0495-6
  10. Goldberger, A., Amaral, L., Glass, L., Hausdorff, J., Ivanov, P. C., Mark, R., ... & Stanley, H. E. (2000). PhysioBank, PhysioToolkit, and PhysioNet: Components of a new research resource for complex physiologic signals. Circulation [Online]. 101 (23), pp. e215–e220. 
  11. Paul S. Video Classification with a CNN-RNN Architecture. https://keras.io/examples/vision/video_classification/
  12. Timeseries Classification - Algorithms Review. https://dzlab.github.io/timeseries/2018/11/24/timeseries-classification/
  13. Simple MNIST convnet. https://keras.io/examples/vision/mnist_convnet/ (Last modified: 2020/04/21)