Лаборатория метафорических исследований и ии

   СДК. Сибирская Диагностическая Компания

Лаборатория метафорических исследований и ии

СДК. Сибирская Диагностическая Компания

О возможности применения механизма внимания при распознавании заболеваний сердечно-сосудистой системы

М. Р. Богданов, канд. биол. наук, доц. кафедры вычислительной математики и кибернетики, bogdanov_marat@mail.ru,
Г. Р. Шахмаметова, д-р техн. наук, зав. каф. вычислительной математики и кибернетики, shakhgouzel@mail.ru, Уфимский университет науки и технологий,
Н. Н. Оськин, директор, nonik2@mail.ru, Сибирская диагностическая компания, Пенза

  Работа посвящена изучению возможности применения механизма внимания при диагностике различных заболеваний сердечно-сосудистой системы. Биомедицинские данные были представлены в разных модальностях (текст, изображения и временные ряды). Было проведено сравнение эффективности пяти трансформеров, основанных на механизме внимания (трансформер Досовицкого, компактный сверточный трансформер, трансформер с внешним вниманием, трансформер, основанный на токенизации со сдвигом патчей и локальным внутренним вниманием, трансформер, основанный на множественном глубоком внимании) со сверточной нейронной сетью Exception, тремя полносвязными нейронными сетями (MLP-Mixer, Fnet и gMLP) и архитектурой YOLO на задаче многоклассовой классификации (16 классов опасных аритмий). Показана высокая эффективность трансформеров при диагностике кардиологических заболеваний. Наибольшую эффективность показал трансформер, основанный на токенизации со сдвигом патчей и локальным внутренним вниманием.
    Ключевые слова: механизм внимания, медицинская диагностика, электрокардиограмма, сверточные нейронные сети, трансформеры, полносвязные нейроные сети, рекуррентные нейронные сети.

     Для цитирования: Богданов М. Р., Шахмаметова Г. Р., Оськин Н. Н. О возможности применения механизма внимания при распознавании заболеваний сердечно-сосудистой системы // Программная инженерия. 2024. Том 15, № 11. С. 579—589. DOI: 10.17587/prin.15.579-589.

Введение

      Одной из наиболее актуальных проблем современной медицины являются нарушения сердечно-сосудистой системы. Для успешного лечения кардиологических заболеваний необходима своевременная и точная диагностика. Кардиологи формируют клиническое заключение, руководствуясь данными, представленными в разных форматах. В случае изучения анамнеза пациентов речь идет об анализе текстов, результаты электрокардиографии представляют собой совокупность одномерных массивов, которые можно рассматривать также в виде временных рядов, с помощью магниторезонансных томографов можно получить совокупность растровых изображений.
   С каждым годом увеличиваются объем и сложность биомедицинских данных, растет нагрузка на медицинский персонал. Врачи в крупных больницах находятся под большим давлением и испытывают сложности в работе. Врачам необходимо читать много литературы для ознакомления с результатами научных исследований в своей области. Пациенты предпочитают обращаться в крупные больницы. В силу условий жизни и других причин число людей, страдающих хроническими заболеваниями, постепенно увеличивается. Медицинские ресурсы скудны и распределены неравномерно. Лекарства разрабатываются медленно и требуют огромных инвестиций.
   Возможным вариантом решения задачи автоматизации обработки биомедицинских данных является широкое применение технологий искусственного интеллекта. Несколько лет назад появилась и начала приобретать популярность технология, известная как «механизм внимания» [1]. Целью предлагаемой работы является оценка возможности применения технологий искусственного интеллекта, основанных на механизме внимания, при диагностике кардиологических заболеваний.

Применение механизма внимания 
в машинном обучении

     Механизм внимания (Attention) представляет собой способ сообщить нейронной сети вероятность того или иного исхода в зависимости от состояния нейронов и поступающей на ее вход информации. Его можно использовать при работе с текстом, изображениями и временными рядами. При этом он может оказаться эффективнее ранее применяемых в данной области устоявшихся решений. Алексей Досовицкий [1] отмечает, что в настоящее время в области распознавания изображений доминируют сверточные нейронные сети. Для их обучения требуется очень большая обучающая выборка и дорогостоящие вычислительные ресурсы. Трансформеры, построенные на базе механизма внимания, могут обеспечить такую же эффективность, но с использованием более скромных ресурсов. В работе [2] продемонстрировано, что трансформеры показывают большую эффективность при работе с временными ря-
дами по сравнению с рекуррентными нейронными сетями.
   Рассмотрим применение механизма внимания при работе с данными с разной модальностью (с текстами, изображениями и временными рядами).

Работа с текстами

     Первоначальной областью применения механизма внимания была обработка естественных языков. При решении многих задач из этой области часто используется векторная модель, когда каждому слову ставится в соответствие некий вектор с вещественными компонентами (эмбединг слова) [3]. Компоненты векторов являются параметрами, которые подбираются в процессе обучения так, чтобы близкие по смыслу слова имели схожие векторы. В качестве меры близости обычно выступает косинусное расстояние. Многозначные слова создают проблему семантической неоднознач-
ности. Например, слово «поток» может означать и поток воды, и поток сознания, и поток байтов. Механизм внимания модифицирует вектор эмбединга каждого слова в зависимости от контекста, «подмешивая» к нему векторы его окружения с некоторыми весами.
     К распространенным проблемам обработки естественных языков относится задача машинного перевода, обычно решаемая с помощью двух рекуррентных нейронных сетей — энкодера и декодера (рис. 1). Первая сеть кодирует входную последовательность символов, представленных на исходном языке, в вектор контекста, а вторая сеть декодирует полученный контекст в последовательность символов на целевом языке. С увеличением длины входной последовательности влияние первых слов на итоговый контекст предложения снижается и, как следствие, снижается и качество перевода [4].
      В дальнейшем данная архитектура была усовершенствована за счет добавления дополнительного слоя. Этот слой аккумулировал скрытые состояния всех рекуррентных блоков входной последовательности, после чего в процессе декодирования последовательности оценивал влияние каждого элемента входной последовательности на текущее слово выходной последовательности и предлагал декодеру наиболее релевантную часть контекста [5] (рис. 2).
      Предложенный подход позволил повысить качество машинного перевода, хотя и ценой высоких накладных расходов, связанных с использованием рекуррентных блоков. В 2017 г. была опубликована работа [6] с описанием новой архитектуры, получившей название трансформер (рис. 3). Авторы предложили вместо рекуррентных блоков использовать новый алгоритм внутреннего внимания (Self-Attention), который позволяет идентифицировать и взвешивать важность различных частей входной последовательности. В дальнейшем эта модель получила широкое распространение, в том числе и в архитектурах GPT-4 и Chat-GPT.

     На рис. 3 показана архитектура трансформера. Имеется кодер, состоящий из стека, содержащего шесть одинаковых слоев. Каждый слой имеет два подслоя. Первый представляет собой механизм многоголового внутреннего внимания (в другом переводе — множественный фокус внутреннего внимания, multi-head self-attention), второй — это 
полносвязная нейронная сеть прямого распространения (position-wise fully connected feed-forward network).
Декодер устроен аналогичным образом, но внутри каждого из шести блоков есть два слоя MultiHead Attention, в одном из которых используются выходы кодера. В архитектуре Multi-Head Attention параллельно используется несколько потоков selfattention с различными весовыми коэффициентами, что имитирует разносторонний разбор ситуации. Результаты работы потоков само-внимания конкатенируются в единый тензор.  Итоговый результат алгоритма определяется умножением тензора на матрицу, параметры которой подбираются в процессе обучения нейронной сети [8].
     Архитектура трансформер прекрасно себя проявила при решении задач, связанных с обработкой естественных языков, например, в области машинного перевода, генерации текстов, ответов на вопросы и некоторых других. 

     Обычно большие языковые модели (Large Language Model, LLM), использующие механизм внимания, обучают в несколько этапов, включающих в себя предварительное обучение (pre-training), тонкую настройку fine-tuning [9] и обучение с подкреплением на основе обратной связи с чело-

Рис. 1. Архитектура «энкодер-декодер», применяемая для 
машинного перевода [2]:
RNN — recurrent neural network (рекуррентная нейронная сеть)

Рис. 2. Архитектура «энкодер-декодер» с добавлением слоя внимания [5]

Рис. 3. Архитектура трансформера [7]

веком (Reinforcement Learning from Human Feedback, RLHF) или с искусственным интеллектом (Reinforcement Learning from AI Feedback, RLAIF). Тонкая настройка и обучение с подкреплением решают задачу так называемого выравнивания (Alignment), целью которого является не просто генерация наиболее вероятной последовательности символов, а получение результата, наиболее адекватно отвечающего запросу пользователя (рис. 4).
       Предварительное обучение большой языковой модели требует большого объема исходных данных, вычислительных ресурсов и электроэнергии. В частности, для обучения модели Llama одной видеопамяти потребовалось 780 Гб. В открытом доступе имеется несколько предварительно обученных больших языковых моделей (MPT, Falcon, Llama-2), на основе которых исследователи могут создавать собственные приложения путем относительно менее затратной тонкой настройки и обучения с подкреплением.

Рис. 4. Основные этапы обучения большой языковой модели, состоящие из предварительного обучения (Pre-Training), тонкой настройки с учителем (Supervised-Fine Tuning, SFT) и обучения с подкреплением на основе обратной связи с человеком (Reinforcement Learning from Human Feedback, RLHF) [10]

Рис. 5. Обучение с подкреплением на основе обратной связи с искусственным интеллектом (RLAIF) (вверху) и обучение с подкреплением на основе обратной связи с человеком (RLHF) (внизу) [9]

  В процессе тонкой настройки модели (Supervised Fine-Tuning, SFT) создается так называемый набор высококачественных выходных данных, содержащий шаблоны правильного извлечения информации, содержащейся в предварительно обученной модели [11].
       Обучение с подкреплением на основе обратной связи с человеком RLHF () позволяет согласовать языковые модели с предпочтениями человека. Однако ручная аннотация меток предпочтений очень трудозатратна. В работе [12] предложен альтернативный подход, когда обучение с подкреплением проводится на предпочтениях, сгенерированных предварительно обученной языковой моделью. В задачах аннотирования и генерации диалогов авторами было показано, что RLAIF (Reinforcement Learning from AI Feedback, обучение с подкреплением на основе обратной связи с искусственным интеллектом) достигает сопоставимой с RLHF производительности (рис. 5).

Работа с изображениями

  Успехи трансформеров в области обработки естественных языков вдохновили специалистов в области компьютерного зрения использовать механизм внимания для анализа и классификации изображений. Алексей Досовицкий с коллегами [10] предложили архитектуру визуального трансформера (Visual Transformer, ViT) (рис. 6).
 Изображение разбивается на фрагменты фиксированного размера, которые преобразуются в линейную последовательность векторов, поступающих на вход стандартного кодировщика трансформера [10].
    Авторы работы [10] отмечают, что для того, чтобы сверточные нейронные сети полностью раскрывали свой потенциал, их нужно обучать на наборах данных очень большого размера (14...300 млн изображений). В то время как визуальные трансформеры позволяют обходиться без сверток и обучаться на выборках данных гораздо меньшего размера с таким же или более высоким качеством.

Работа с временными рядами

     Решение многих инженерных и научных задач часто связано с анализом временных рядов. В качестве примера можно привести анализ сезонной динамики заболеваний. Известно, что сезонные эпидемии гриппа создают огромные трудоности для здоровья и экономики, вызывая 291000...646000 смертей во всем мире [11]. В работе [12] предложен новый подход к прогнозированию временных рядов на основе архитектуры трансформер (рис. 7).
      Кодер состоит из входного слоя, слоя позиционного кодирования и стека из четырех одинаковых слоев кодирования (Т1—Т4). Декодер также состоит из входного слоя, слоев кодирования Т5, Т6 и выходного слоя.

Рис. 6. Обзор модели визуального трансформера

Рис. 6. Обзор модели визуального трансформера

     Авторы отмечают, что трансфомер не обрабатывает данные в упорядоченной последовательности. Вместо этого он анализирует всю последовательность данных и использует механизмы самовнимания для изучения зависимостей в последовательности. Отмечается, что модель на основе трансформера может быть успешно применена для решения задачи прогнозирования временных рядов, она превосходит по точности такие модели, как ARIMA, LSTM и Seq2Seq + attn примерно на 20 %.

Цель исследования

     В рамках проводимых исследований предполагалось изучение возможности применения технологий, основанных на механизме внимания, для диагностики кардиологических заболеваний. При этом упор сделан на мультимодальную природу исходных данных.

Методы и подходы

     Были изучены возможности больших языковых моделей в области распознавания медицинских текстов путем анализа литературы. Был проведен вычислительный эксперимент по оценке эффективности распознавания медицинских изображений и временных рядов с помощью трансформеров, основанных на механизме внимания.
      1. Анализ применения больших языковых моделей в медицине. По данным на 2023 г., известно свыше 30 крупных языковых моделей медицинского назначения. Области применения данных технологий охватывали медицинские научные исследования, разработку лекарств, интеллектуальную диагностику и лечение, эксплуатацию и обслуживание медицинского оборудования, а также управление больницами [9].
   1.1. Диагностика заболеваний. Исследователи из Харбинского технологического института разработали крупномасштабную биомедицинскую модель на китайском языке BenTsao на основе продукта с открытым исходным кодом LLaMa7B [13, 14]. Модель учитывает свыше 10000 болезней, 20000 лекарств, 10000 симптомов. По данным авто-
ров исследования, модель BenTsao устанавливает ассоциации между болезнями, симптомами, лекарствами, а также методами диагностики и лечения.
        Специалисты из компании Google разработали медицинскую справочную систему MultiMedQA, предназначенную для консультации врачей [15]. Система успешно сдала тест на получение американской врачебной лицензии (USMLE), набрав 67,2 %.
      1.2. Разработка лекарств. В исследовании [16] описана модель лекарств PanGu, обученная на 1,7 млрд малых молекул. Модель учитывает взаимодействие различных химических соединений и их мишеней. В исследовании [17] представлена крупномасштабная языковая модель белков (HelixFold-Single). Модель позволяет предсказывать трехмерную структуру нативного белка.
    1.3. Сегментация медицинских изображений. Авторы исследования [18] представили систему компьютерной диагностики желудочно-кишечных заболеваний (DSI-Net) на основе анализа изображений беспроводной капсульной эндоскопии.
   1.4. Общение врача и пациента. В работе [19] описана сложная языковая модель, адаптированная для биомедицинской области PubMed GPT. На этапе предварительного обучения был использован обширный корпус данных биомедицинской литературы, что позволило модели усвоить семантику и грамматические правила в биомедицинской области и обеспечило понимание биомедицинских терминов и концепций. Авторы исследования [20] представили модель медицин-
ского чата ChatDoctor, разработанную для предоставления медицинских консультаций и рекомендаций. Модель построена на базе модели LLM (LLaMA), при ее обучении были использованы 100 000 диалогов пациента и врача, проходившихся на онлайн-платформе медицинских консультаций.
       1.5. Мультимодальные LLM. В работе [21] описана мультимодальная языковая модель Med-MLLM, предназначенная для диагностики редких заболеваний и прогноза пандемий. Модель обучается на немаркированных данных различной модальности: изображения (рентгенограммы грудной клетки, КТ и т. д.) и текст (медицинские отчеты, клинические заключения).

   2. Распознавание медицинских изображений с помощью трансформеров. Для проверки возможности трасформеров распознавать медицинские изображения и временные ряды были использованы электрокардиограммы (ЭКГ). При этом в одном случае ЭКГ рассматривали в виде совокупности изображений, в другом случае — в виде временных рядов.
      Важным инструментом диагностики заболеваний сердечно-сосудистой системы является электрокардиография. С технической точки зрения электрокардиограф можно рассматривать как многоканальный вольтметр, с помощью которого можно получить совокупность цифровых сигналов, различающихся числом отведений, частотой дискретизации и разрядностью.
   Специалисты в области биоинженерии часто используют в своей работе ресурс physionet.org, на котором представлены базы данных оцифрованных физиологических сигналов, в том числе ЭКГ.

Авторы работ [22, 23] сообщили о разработке набора данных, содержащего короткие фрагменты ЭКГ, предназначенного для исследования опасных аритмий.
    Длина фрагментов ЭКГ в этой базе данных составляла 721 элемент, частота дискретизации — 250 Гц, т. е., продолжительность записи была чуть меньше 3 с (721/250 = 2,884 с).
        Выборка включала в себя 16 классов различных физиологических состояний (трепетание желудочков, фибрилляция желудочков, желудочковая тахикардия типа «пируэт», желудочковая тахикардия высокой частоты (мономорфная и полиморфная), желудочковая тахикардия низкой частоты (мономорфная и полиморфная), желудочковая бигеминия, высокая степень желудочковой эктопической активности, желудочковый выскальзывающий ритм, мерцательная аритмия, наджелудочковая тахикардия, синусовая брадикардия, блокада сердца первой степени, узловой атриовентрикулярный ритм, синусовый ритм с блокадой ножки пучка Гиса, нормальный синусовый ритм, нормальный ритм с одиночной экстрасистолой). Следует обратить внимание на очень высокую вариабельность фрагментов ЭКГ в плане геометрии (табл. 1).

    Таблица 1

     В результате визуального анализа кардиоциклов можно сделать следующие выводы:

  1. геометрия кардиоциклов имеет очень большую вариабельность;
  2. при одном и том же заболевании могут сочетаться значительно различающиеся паттерны ЭКГ;
  3. при разных диагнозах встречаются похожие паттерны ЭКГ.

       Для проведения эксперимента одномерные ЭКГ-сигналы были преобразованы в изображения 721Ѕ721 с помощью библиотеки matplotlib (рис. 8).

       Вычислительный эксперимент осуществляли следующим образом. Проводилась многоклассовая (16 классов) классификация

изображений (одномерные массивы, состоящие из 721 элемента, преобразовывали в двумерные изображения, см. табл. 1. В каждом классе было примерно 240 образцов. В качестве базовых алгоритмов были использованы: 

  1. сверточная нейронная сеть Exception [15];
  2. три полносвязных нейронных сети (MLP-Mixer [24], Fnet [25] и gMLP. [26]);
  3. архитектура YOLO, предназначенная для обнаружения объектов [27].

Базовые алгоритмы сравнивали со следующими моделями:

  1. трансформер Досовицкого [10];
  2. компактный сверточный трансформер [28];
  3. трансформер с внешним вниманием [29];
  4. трансформер, основанный на токенизации со сдвигом патчей и локальным внутренним вниманием [30];
  5. трансформер, основанный на множественном глубоком внимании [31—41].

Рис. 8. Изображение 721×721 (нормальный синусовый ритм)

   Для выполнения вычислительного эксперимента были разработаны программы на языке Python. Обучающий набор данных включал в себя 2880 образцов, тестовый — 960 образцов. Вычисления проводили на компьютере с процессором Intel Core i9, 256 Гб ОЗУ, видеоплата NVIDIA RTX 3080 Ti, операционная система — Linux Ubuntu 22.04. 

    3. Распознавание медицинских временных рядов с помощью трансформеров. В качестве источников данных также были использованы короткие фрагменты ЭКГ пациентов с опасными формами аритмии, описанные выше (длина фрагментов ЭКГ составляла 721 элемент, частота дискретизации — 250 Гц). Выборка также содержала 16 классов. Мажорный класс включал в себя 240 экземпляров. Минорные классы балансировали путем операции оверсамплинга Synthetic Minority Oversampling (SMOTE), описанной в работе [42]. Обучающий набор данных включал в себя 2880 образцов, тестовый — 960 образцов. 

   Сравнивали эффективность распознавания полностью сверточной нейронной сети [43] с трасформером Васвани [4].
   Результаты оценки эффективности различных методов классификации приведены в табл. 2.

    Таблица 1

Заключение

      Проведено исследование возможности использования технологий, основанных на механизме внимания, для помощи  врачам при диагностике кардиологических заболеваний. Было установлено, что большие языковые модели, основанные на трансформерах, могут помочь в прогнозировании исхода лечения пациентов, оценке риска применения тех или иных препаратов, способны формулировать гипотезы, объясняющие появление необычных симптомов. Была проведена оценка эффективности различных моделей, основанных на трансформерах, в области многоклассовой классификации (16 классов) ЭКГ (опасных форм аритмии), представленных в виде изображений и временных рядов.
      При распознавании изображений в качестве референсных моделей были использованы сверточная нейронная сеть, три полносвязных нейронных сети и архитектура YOLO. Наибольшую эффективность показала полносвязная нейронная сеть gMLP. с метрикой accuracy, равной 0,93. Из пяти моделей, основанных на трансформерах, наиболее эффективной оказалась классификация с использованием множественного глубокого обучения на основе внимания (метрика accuracy — 0,91). При распознавании ЭКГ, рассматриваемых в виде временных рядов, базовым алгоритмом была полностью сверточная нейронная сеть (accuracy — 0,99), которой противостоял трансформер, предложенный Васвани (accuracy — 0,8). В ранее проведенных исследованиях с распознаванием ЭКГ, полученных в результате холтеровского мониторирования, метрика accuracy у таких моделей, как трансформер, основанный на множественном глубоком внимании, трансформер, основанный на токенизации со сдвигом патчей и локальным внутренним вниманием, и трансформер Досовицкого была равна 1 [1].
    Было установлено, что модели, основанные на механизмах внимания, оказались эффективны при диагностике кардиологических заболеваний.

 

Исследование поддержано грантом

Российского Научного Фонда № 22-19-00471.

Список литературы:

  1. Dosovitskiy A., Beyer L., Kolesnikov A. et al. An image is worth 16Ѕ16 words: transformers for image recognition at scale. arXiv: 2010.11929v2. 3 Jun 2021. 
  2. Iuliano A. D., Roguski K. M., Chang H. et al. Estimates of global seasonal influenza-associated respiratory mortality: a modelling study // Lancet. 2018. Vol. 391, No. 10127. P. 1285—1300. DOI: 10.1016/S0140-6736(17)33293-2.
  3. ML: Attention — Механизм внимания. URL: https://qudata.com/ml/ru/NN_Attention.html (дата обращения 01.09.2024).
  4. Гизлюк Д. Нейросети — это просто (Часть 8): Механизмы внимания. URL: https://www.mql5.com/ru/articles/8765 (дата обращения 01.09.2024).
  5. Bahdanau D., Cho K., Bengio Y. Neural machine translation by jointly learning to align and translate. Arxiv:1409.0473v7. 19 May 2016.
  6. Vaswani A., Shazeer N., Parmar N. et al. Attention Is All You Need. arXiv:1706.03762v7. 2 Aug 2023.
  7. Гизлюк Д. Нейросети — это просто (Часть 10): MultiHead Attention (многоголовое внимание). URL: https://www.mql5.com/ru/articles/8909 (дата обращения 01.09.2024).
  8. Кэмерон Р. Как дообучать LLM с помощью Supervised Fine-Tuning. URL: https://habr.com/ru/articles/830396/ (дата обращения 01.09.2024).
  9. Lee H., Phatale S., Mansoor H. et al. RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. Proceedings of the 41 st International Conference on Machine Learning, Vienna, Austria. PMLR 235, 2024. Copyright 2024 by the author(s). arXiv:2309.00267v3. 3 Sep 2024.
  10. Bai Y., Jones A., Ndousse K. et al. Training a helpful and harmless assistant with reinforcement learning from human feedback. arXiv preprint arXiv:2204.05862, 2022.
  11. Zhenga Y., Gana W., Chena Z. et al. Large Language Models for Medicine: A Survey. arXiv:2405.13055v1. 20 May 2024.
  12. Wu N., Green B., Ben X. et al. Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case. arXiv:2001.08317v1. 23 Jan 2020.
  13. Wang H., Liu C., Xi N. et al. Huatuo: Tuning llama model with chinese medical knowledge, arXiv preprint arXiv:2304.06975. 2023.
  14. Zeng A., Liu X., Du Z. et al. GLM-130B: An open bilingual pre-trained model, arXiv preprint arXiv:2210.02414. 2022.
  15. Singhal K., Azizi S., Tu T. et al. Large language models encode clinical knowledge, arXiv preprint arXiv:2212.13138. 2022. 
  16. Lin X., Xu C., Xiong Z. et al. PanGu drug model: Learn a molecule like a human, Science China Life Sciences.  2023. Vol.66. P. 879—882.
  17. Fang X., Wang F., Liu L. et al. A method for multiple-sequencealignment-free protein structure prediction using a protein language model // Nature Machine Intelligence. 2023. Vol. 5. P. 1087—1096.
  18. Zhu M., Chen Z., Yuan Y. DSI-Net: Deep synergistic interaction network for joint classification and segmentation with endoscope images //IEEE Transactions on Medical Imaging. 2021. Vol. 40. P. 3315—3325.
  19. Venigalla A., Frankle J., Carbin M. PubMed GPT: A domain-specific large language model for biomedical text. 2022. URL: https://www.mosaicml.com/blog/introducing-pubmed-gpt (дата обращения 01.09.204).
  20. Yunxiang L., Zihan L., Kai Z. et al. Chatdoctor: A medical chat model fine-tuned on llama model using medical domain knowledge, arXiv preprint arXiv: 2303.14070. 2023.
  21. Liu F., Zhu T., Wu X. et al. A medical multimodal large language model for future pandemics // NPJ Digital Medicine. 2023. Vol. 6. Article 226. DOI: 10.1038/s41746-023-00952-2.
  22. Greenwald S., Albrecht P., Moody G. et al. Estimating confidence limits for arrhythmia detector performance // Computers in Cardiology. 1985. Vol. 12. P. 383—386.
  23. Manilo L., Nemirko A., Evdakova E., Tatarinova A. ECG Database for Evaluating the Efficiency of Recognizing Dangerous Arrhythmias // 2021 IEEE Ural-Siberian Conference on Computational Technologies in Cognitive Science, Genomics and Biomedicine (CSGB). 2021. P. 120—123. DOI: 10.1109/CSGB53040.2021.9496029.
  24. Francois C. Xception: Deep Learning with Depthwise Separable Convolutions. arXiv:1610.02357v3. 4 Apr 2017.
  25. Tolstikhin I., Houlsby N., Kolesnikov A. et al. MLP-Mixer: An all-MLP. Architecture for Vision. arXiv:2105.01601v4. 11 Jun 2021.
  26. Lee-Thorp J., Ainslie J., Eckstein I. et al. FNet: Mixing Tokens with Fourier Transforms. arXiv:2105.03824v4. 26 May 2022.
  27. Liu H., Dai Z., So D. et al. Pay Attention to MLPs. arXiv:2105.08050v2. 1 Jun 2021.
  28. Ultralytics YOLOv8. URL: https://github.com/ultralytics/ultralytics (дата обращения 01.09.2024).
  29. Hassani A., Walton S., Shah N. et al. Escaping the Big Data Paradigm with Compact Transformers. arXiv:2104.05704v4. 7 Jun 2022.
  30. Guo M.-H., Liu Z.-N., Mu T.-J. et al. Beyond Selfattention: External Attention using Two Linear Layers for Visual Tasks. arXiv:2105.02358v2. 31 May 2021.
  31. Lee S., Lee S., Song B. Vision Transformer for Small-Size Datasets. arXiv:2112.13492v1. 27 Dec 2021.
  32. Ilse M., Tomczak J., Welling M. Attention-based Deep Multiple Instance Learning. arXiv:1802.04712v4. 28 Jun 2018.
  33. Dietterich T., Lathrop R., Lozano-Pérez T. Solving the multiple instance problem with axis-parallel rectangles // Artificial intelligence. 1997. Vol. 89, No. 1—2. P. 31—71.
  34. Maron O., Lozano-Pérez T. A framework for multipleinstance learning // NIPS. 1998. P. 570—576.
  35. Oquab M., Bottou L., Laptev I. et al. Weakly supervised object recognition with convolutional neural networks // NIPS. 2014, available at: https://inria.hal.science/hal-01015140v1 (дата обращения 01.09.2024).
  36. Quellec G., Cazuguel G., Cochener B. et al. Multipleinstance learning for medical image and video analysis // IEEE Reviews in Biomedical Engineering. 2017. Vol. 10. P. 213—234. DOI: 10.1109/RBME.2017.2651164.
  37. Liu G., Wu J., Zhou Z. Key instance detection in multiinstance learning // Proceedings of the Asian Conference on Machine Learning. 2012. Vol. 25. P. 253—268.
  38. Xu K., Ba J., Kiros R. et al. Show, Attend and Tell: Neural image caption generation with visual attention. arXiv:1502.03044. 2015.
  39. Bahdanau D., Cho K., Bengio Y. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.
  40. Astorino A., Fuduli A., Gaudioso M., Vocaturo E. Multiple Instance Learning algorithm for medical image. URL: https://ceurws.org/Vol-2400/paper-46.pdf (дата обращения 01.09.2024).
  41. Sirinukunwattana K., Raza S., Ahmed E. et al. Locality sensitive deep learning for detection and classification of nuclei in routine colon cancer histology images // IEEE Transactions on Medical Imaging. 2016. Vol. 35, No. 5. P. 1196—1206. DOI: 10.1109/TMI.2016.2525803.
  42. Manchev N. ML internals: Synthetic Minority Oversampling (SMOTE) Technique. URL: https://domino.ai/blog/smoteoversampling-technique (дата обращения 01.09.2024).
  43. Wang Z., Yan W., Oates T. Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline. arXiv:1611.06455v4. 14 Dec 2016.

On the Possibility of Using the Attention Mechanism 
in Multimodal Recognition of Cardiovascular Diseases

  The paper is about studying the possibility of using the attention mechanism in diagnosing various cardiovascular diseases. Biomedical data were presented in different modalities (text, images, and time series). A comparison of the effi ciency of 5 transformers based on the attention mechanism (Dosovitsky transformer, compact convolutional transformer, transformer with external attention, transformer based on tokenization with patch shift and local self-attention, transformer based on multiple deep attention) was carried out with the Exception convolutional neural network, three fully connected neural networks (MLP-Mixer, Fnet, and gMLP), and the YOLO architecture on the problem of multi-class classifi cation (16 classes of dangerous arrhythmias). High effi ciency of transformers in diagnosing cardiac diseases was shown. The transformer based on tokenization with patch shift and local self-attention showed the greatest effi ciency.

   Keywords: attention mechanism, medical diagnostics, electrocardiogram, convolutional neural networks, transformers, fully connected neural networks, recurrent neural networks
    Acknowledgements: The research was supported by the grant of the Russian Science Foundation No. 22-19-00471.
   For citation: Bogdanov M. R., Shakhmametova G. R., Oskin N. N. On the Possibility of Using the Attention Mechanism in Multimodal Recognition of Cardiovascular Diseases, Programmnaya Ingeneria, 2024, vol. 15, no. 10, pp. 579—589. DOI: 10.17587/prin.15.579-589.

M. R. Bogdanov, Ph.D., Associate Professor, bogdanov_marat@mail.ru,
G. R. Shakhmametova, Ph.D., Professor, shakhgouzel@mail.ru
Ufa University of Science and Technology, Ufa, 450005, Republic of Bashkortostan, Russian Federation,
N. N. Oskin, CEO, nonik2@mail.ru

SIBERIAN DIAGNOSTIC COMPANY LIMITED LIABILITY COMPANY, Penza, 440000, Penza Branch, Russian Federation