Лаборатория метафорических исследований и ии

   СДК. Сибирская Диагностическая Компания

Лаборатория метафорических исследований и ии

СДК. Сибирская Диагностическая Компания

ОБ ОДНОМ ПОДХОДЕ К УПРАВЛЕНИЮ РИСКАМИ В ПРОЦЕССЕ ПРИНЯТИЯ
РЕШЕНИЯ ПРИ ДИАГНОСТИКЕ БРОНХОЛЕГОЧНЫХ ЗАБОЛЕВАНИЙ С УЧЁТОМ ХАКЕРСКИЕХ АТАК

УДК 004.932, 004.891                                                                              Юсупова Н.И., Богданов М.Р.

Аннотация

     Работа посвящена оценке рисков в процессе принятия решения при диагностике бронхолегочных заболеваний. В работе использовались рентгеновские снимки грудной клетки, используемые для диагностики бронхолегочных заболеаний. Были рассмотрены такие алгоритмы распознавания, как сверточная нейронная сеть, ExtraTreesClassifier, дерево решений, GradientBoosting, метод главных компонент, XGBoost, наивный Байес, LightGBM, Bagging, CatBoost, AdaBoost, логистическая регрессия, метод опорных векторов. Была проведена оценка рисков от вредоносного воздействия атак, основанных на состязательных примерах (zero order optimization, projected gradient descent, реконструкция базы данных, hopskipjump, fast gradient sign, метод Карлини и Вагнера с бесконечной нормой) и триггерах
бэк дора. Оценивалась эффективность мер противодействия (защитная дистилляция, фильтрация, отучение, обрезка).

     Была проведена оценка рисков от вредоносного воздействия атак, основанных на состязательных примерах (zero order optimization, projected gradient descent, реконструкция базы данных, hopskipjump, fast gradient sign, метод Карлини и Вагнера с бесконечной нормой) и триггерах бэк дора. Оценивалась эффективность мер противодействия (защитная дистилляция, фильтрация, отучение, обрезка).
      В ходе проведения исследований было установлено, что эффективность рассмотренных алгоритмов распознавания рентгеновских снимков варьирует от 78 до 100%. Хакерские атаки способны снизить эффективность алгоримов классификации от 34 до 100%. Эффективность противодействия вредоносным алгоритмам варьирует в пределах от 54 до 100%. Угроза хакерских атак на медицинские услуги реальна и нуждается в дальнейшем изучении.
      Ключевые слова: Атаки, основанные на состязательных примерах и триггерах бэкдора, машинное обучение, защита информации. 

   Образец цитирования статьи: Юсупова Н.И. с соавторами, 2022. Об одном подходе к управлению рисками в процессе принятия решения при диагностике бронхолегочных заболеваний с учётом хакерскиех атак.

ABOUT ONE APPROACH TO RISK MANAGEMENT IN THE DECISION-MAKING
PROCESS IN THE DIAGNOSIS OF BRONCHOPULMONARY DISEASES WITH ACCOUNT
OF HACKER ATTACKS
Yusupova N.I., Bogdanov M.R
1. Ufa State Aviation technical University. 450005, Russia, Ufa, Karl Marx Street, Bld. 12

Abstract

      The paper is about risk assessment in the decision-making process in the diagnosis of bronchopulmonary diseases. The work used chest x-rays used to diagnose bronchopulmonary diseases. Recognition algorithms such as convolutional neural network, ExtraTreesClassifier, decision tree, GradientBoosting, principal component method, XGBoost, naive Bayes, LightGBM, Bagging, CatBoost, AdaBoost, logistic regression, support vector machine were considered. The risk assessment from the malicious impact of attacks based on adversarial examples (zero order optimization, projected gradient descent, database reconstruction, hopskipjump, fast gradient sign, Carlini and Wagner method with infinite norm) and back door triggers was carried out. The effectiveness of countermeasures (protective distillation, filtration, weaning, pruning) was evaluated.
       In the course of the research, it was found that the efficiency of the considered X-ray image recognition algorithms varies from 78 to 100%. Hacker attacks can reduce the efficiency of classification algorithms from 34 to 100%. The effectiveness of counteracting malicious algorithms varies from 54 to 100%. The threat of hacker attacks on medical services is real and needs to be further explored.

key words
Attacks based on adversarial examples and back door triggers, machine learning, information security.

Bogdanov M.R. et al., 2022. About one approach to risk management in the decision-making process in the diagnosis of bronchopulmonary diseases with account of hacker attacks.

1. Введение

      Здравоохранение является важнейшим институтом государства. Успешное лечение пациентов требует с одной стороны учета огромного количества факторов, могущих в той или иной степени оказывать влияние на организм человека и строгое следование официальным протоколам и рекомендациям с другой. Огромное социальное и экономическое значение медицины делает актуальной проблему управления рисками.
    Согласно документу Международной организации по стандартизации (ISO) № 14971, управление рисками описывается как систематическое применение политик, процедур и практик управления к задачам анализа, оценки, контроля и мониторинга рисков [1]. Этот процесс включает в себя прогнозирование того, что может пойти не так, оценку частоты возникновения этих ошибок, а также последствий или серьезности вреда, который они причиняют вместе с рекоммендациями для снижения риска потенциального вреда до приемлемого уровеня. 
    В случае с медициной важным источником рисков является ошибочная диагностика, могущая привести к неправильному лечению. Ошибочная диагностика может быть обусловлена целым рядом причин, начиная от отсутствия опыта и низкой квалификации клинициста до проблем с клинической лабораторией, выдающей ошибочные или запоздалые результаты.
        Данная работа посвящена одному из аспектов управления рисками при диагностике заболеваний органов дыхания, а именно, с автоматизированной интерпретации рентгеновских снимков.
    Заболевания органов дыхания разнообразны. Для них характерны разные факторы риска и разные способы диагностики. Так, в случае с астмой необходимо учитывать генетику (особенно по материнской линии), расу (более восприимчивы выходцы из Африки или Пуэрто-Рико), пол и возраст (с одной стороны, мальчики чаще болеют астмой, чем девочки, с другой стороны, у подростков и взрослых астма чаще встречается у женщин), вредные условия труда, легочные инфекции, аллергии или ожирение. Для диагностики астмы используются такие методы, как общий анализ крови и мочи, микроскопия и бакпосев мокроты, спирография с бронхолитиками, рентгенография или КТ органов грудной клетки, определение в крови уровня специфичных IgE для выявления аллергена. 
      Причиной развития хронической обструктивной болезни легких (ХОБЛ) является хроническое воздействие вредных газов и мелкодисперсных частиц в сочетании с индивидуальными факторами, в том числе обстоятельствами, влияющими на развитие легких в детстве, а также генетическими факторами. При подозрении на ХОБЛ используют легочные функциональные тесты, рентгенограмму грудной клетки, компьютерную томографию, газовый анализ артериальной крови, лабораторные тесты.

     Существует ряд факторов, увеличивающих риск развития пневмонии: младенческий и пожилой возраст, наличие хронических заболеваний (особенно хронических заболеваний легких бронхиальной астмы или ХОБЛ), снижение иммунитета на фоне приема некоторых групп лекарств (глюкокортикостероиды, иммуносупрессоры) или при наличии ВИЧ-инфекции, контакты с кондиционерами, душевыми, бойлерами и медицинским оборудованием (небулайзеры, кислородные концентраторы) при их некачественном обслуживании. Для подтверждения диагноза пневмонии осуществляется осмотр врачом и проведение лабораторных и рентгенологических исследований.
    При диагностике заболеваний органов дыхания важнейшими инструментами являются рентгеновские снимки и компьютерная томография.

2. Описание проблемной ситуации

и постановка задачи

   Технологии искусственного интеллекта все шире применяются в разных областях медицины от подбора  оптимальных схем лечения пациентов, оценки рисков противопоказаний препаратов до прогноза распространения эпидемии в стране. Особенно широко технологии ИИ применяются при диагностике заболеваний, в частности при распознавании рентгеновских снимков грудной клетки при диагностике заболеваний органов дыхания.
      Использование технологий компьютерного зрения в медицине обеспечивает высокий уровень ранней диагностики, что важно для снижения смертности. Кроме того, анализ медицинских изображений снижает количество врачебных ошибок. Согласно исследованию Дэниела М. [2] медицинские ошибки являются третьей по значимости причиной смерти в США. Исследование Фрэнка Р. [2] показало, что распространение медицинских изображений увеличивает продолжительность жизни человека. Beinfeld et al. [3] утверждают, что расходы на медицинскую визуализацию в размере 385 долларов позволяют сэкономить примерно 3000 долларов. 
      Несколько лет назад выяснилось, что методы машинного обучения могут стать потенциальными жертвами хакерских атак. В конце 90-х годов было установлено, что нейронные сети имеют уязвимости. Отравление обучающего набора данных специально подготовленными примерами может привести к тому, что нейронная сеть будет предсказывать ошибочную метку класса или, наоборот, не предсказывать корректный результат распознавания. Приведем несколько распространенных атак.

         L-BFGS Attack

   Szegedy и др. Предложили атаки основанные на состязательных примерах, в 2014 году [8]. Они генерировали состязательные примеры, используя метод L-BFGS для решения следующей проблемы (1)

   Авторы показали, что сгенерированные примеры могут быть обобщены для различных моделей и различных обучающих наборов данных. 

         Fast Gradient Sign Method (FGSM)

     Атака L-BFGS использует метод линейного поиска оптимального значения. Goodfellow и др. предложили метод Fast Gradient Sign Method для создания состязательных примеров [9]. Суть метода заключается в следующем (2):

                                                     η=ϵsign (∇_x J_θ ( x , l) )                                                              (2)

где ϵ – величина возмущения. Сгенерированный состязательный пример x' рассчитывается как: x'=x+ŋ. Это возмущение может быть вычислено с помощью обратного распространения ошибки

         Fast Gradient Sign Method (FGSM)

   Moosavi-Dezfooli и др. предложили метод Deep Fool [27]. Авторы обнаружили, что минимальное возмущение аффинного классификатора – это расстояние до разделяющей аффинной гиперплоскостиF={x :ω^T x +b=0 }. Возмущение аффинного классификатора f может быть описано как (4):

      f - двоичный дифференцируемый классификатор. Авторы использовали итерационный метод для аппроксимации возмущения, учитывая, что f линеаризуется вокруг x_i на каждой итерации. Минимальное возмущение вычисляется как: 

      Этот результат также можно распространить на многоклассовый классификатор, найдя ближайшие гиперплоскости. DeepFool обеспечивает меньшие возмущения по сравнению с FGSM и JSMA. 
         C&W’s Attack
       Carlini и Wagner предложили атаку, используя целевую функцию g, так что (5):

     где g ( x') ≥ 0 тогда и только тогда, когдаf ( x' )=l '. Одной из эффективных функций, оцененных их экспериментами, может быть: 

                                                      g ( x')=max

      ⁡где Z обозначает функцию Softmax, является константой для контроля достоверности (в k установлено значение 0). 

           Zeroth Order Optimization (ZOO)

В отличие от основанных на градиенте подходах к генерированию состязательности, Chen и др. предложили атаку на основе оптимизации нулевого порядка (ZOO) [12]. Поскольку эта атака не требует градиентов, она может быть непосредственно имплементирована в black-box атаке без переноса модели. Авторы модифицировали g ( ∙) :

     И использовали коэффициент симметричной разности для оценки градиента и Гессиана:

где eⁱ обозначает стандартный базисный вектор с i-й компонентой равной 1, h – небольшая константа. 

         Контрмеры для состязательных примеров
         Сетевая дистилляция
      Papernot и др. использовали сетевую дистилляцию для защиты нейронные сети от состязательных примеров [15]. Сетевая дистилляция была первоначально предназначена для уменьшения размерности нейронных сетей, за счет передачи знания из большой сети в меньшую. Вероятность классов, созданных первой сети, используется в качестве входных данных для обучения второй сети. 

     Авторы обнаружили, что атаки в первую очередь направлены на чувствительность сетей, а затем доказали, что использование высокотемпературного softmax снижает чувствительность модели к небольшим возмущениям. Эффективность сетевой дистилляции была протестирована на наборах данных MNIST и CIFAR-10. Было показано снижение вероятности успеха атаки JSMA на 0,5% и 5% соответственно. 
        Состязательное обучение
    Goodfellow и др. и Huang и др. использовали состязательные примеры на этапе обучения. Они генерировали состязательные примеры на каждом этапе обучения и внедряли их в обучающий набор данных. Было установлено, что состязательное обучение повышает надежность глубоких нейронных сетей. Состязательное обучение может обеспечить
регуляризацию глубоких нейронных сетей, а также повысить Эффективность распознавания.
        Обнаружение состязательности
       Многие исследовательские проекты пытались обнаружить состязательные примеры на этапе тестирования [16].
В таких работах как J. Lu, T. Issaranon, and D. Forsyth, “Safetynet: Detecting and rejecting adversarial examples robustly”, J. H. Metzen, T. Genewein, V. Fischer, and B. Bischoff, “On detecting adversarial perturbations,” использовались обученные бинарные классификаторы на основе глубоких нейронных сетей в качестве детекторов для классификации входных данных. Метцен и др. создали детектор для обнаружения состязательных примеров в качестве вспомогательной сети для оригинальной нейронной сети. Детектор представляет собой небольшую и простую нейронную сеть, решающую задачу  бинарной классификации.
         Реконструкция входных данных
  Состязательные примеры могут быть преобразованы в чистые данные с помощью реконструкции. После преобразования состязательные примеры не повлияют на прогнозирование моделей глубокого обучения. Гу и Ригацио предложили вариант сети автоэнкодера со штрафом, называемый глубоким сжимающим автоэнкодером, для повышения надежности нейронных сетей. Сеть автоэнкодера с шумоподавлением обучена кодировать примеры состязательности в оригинальные, чтобы устранить помехи состязательности. Защита пикселей изменяет все пиксели вдоль каждого канала, чтобы максимизировать распределение вероятностей (7):

        где P_t обозначает обучение, ϵ_defend контролирует новые изменения в состязательных примерах.
    Целью предлагаемой работы является оценка рисков для методов классификации изображений (рентгеновских снимков грудной клетки) (сверточная нейронная сеть, ExtraTreesClassifier, дерево решений, GradientBoosting, метод главных компонент, XGBoost, наивный Байес, LightGBM, Bagging, CatBoost, AdaBoost, логистическая регрессия, метод опорных векторов) от вредоносного воздействия таких алгоритмов как метод быстрого градиентного знака, алгоритм Карлини и Вагнера, оптимизация нулевого порядка, реконструкция базы данных, Projected Gradient Descent Attack, триггер бэк дора и выработка рекомендаций по противодействию вредоносному воздействию таких алгоритмов.

3. Известные решения

    Ряд исследований посвящены изучению влияния состязательных атак на системы искусственного интеллекта в медицине (MedIA). Работы касались изучения проблем, связанных с классификацией и сегментацией изображений глазного дна [1, 2] , рентгеновских снимков грудной клетки [3,4], дерматоскопии [5,6] и МРТ головного мозга [7]. В приведенных исследованиях состязательные атаки доказали свою эффективность как в условиях «белого», так и «черного ящика».

      Были предложены различные методы защиты [8] для систем глубокого обучения от враждебных атак [9] или путем обнаружения враждебных примеров или нейтрализации враждебного шума [10].

4. Предлагаемые методы решения

    В рамках проведенных исследований были использованы рентгеновские снимки, предоставленные Институтом больших данных Vingroup (VinBigData) в рамках проводимого им конкурса по распознаванию 14 типов аномалий грудной клетки по рентгенограммам грудной клетки (VinBigData Chest X-ray Abnormalities Detection, https://www.kaggle.com/c/vinbigdata-chest-xray-abnormalities-detection).  Дейтасет объемом 206 гигабайт содержит аннотированных 18 000 сканов грудной клетки (рис. 1). Рентгеновские снимки представлены в формате DICOM.

Рис. 1. Исходные изображения рентгеновских снимков 

    Для оценки эффективности ведоносных алгоритмов и мер противодействия было разработано программное обеспечение на языке Python. Атаки проводились на такие распространенные методы машинного обучения как сверточная нейронная сеть, ExtraTreesClassifier, дерево решений, GradientBoosting, метод главных компонент, XGBoost, наивный Байес, LightGBM, Bagging, CatBoost, AdaBoost, логистическая регрессия, метод опорных векторов. Расчеты производились на компьютере с процессором Intel Core i9, 128 гигабайтами ОЗУ и видиоплатой NVIDIA RTX 3080 Ti. 

5. Реализация

    В таблице 1. приводятся результаты сравнения эффективности различных методов распознавания изображений на чистых данных. 

Таблица 1.

Сравнение эффективности различных методов классификации изображений

     Из таблицы 1 видно, что хорошо себя показали такие методы классификации, как сверточная нейронная сеть, ExtraTreesClassifier, дерево решений, метод главных компонент и CatBoost.

        Атаки на алгоритмы распознавания
      В работе были исследованы атаки, основанные на состязательных примерах, которые, в свою очередь, делятся на атаки белого ящика (когда злоумышленнику известны особенности архитектуры взламываемого алгоритма) и атаки черного ящика (когда злоумышленник подобными сведениями не располагает) и атаки, основанные триггерах бэк-
дора.
        Атаки, основанные на состязательных примерах
    В таблице 2 приводятся результаты оценки эффективности различных атак на различные методы машинного обучения

      На рис. 2. показан результат воздействия атаки методом оптимизации нулевого порядка на исходные изображения

Рис. 2. Искажения исходных изображений после атаки Zero order optimization 

        Меры противодействия вредоносным атакам 

В рамках проводимых исследований была проведена проверка эффективности различных мер противодействия атакам, основанным на базе состязательных примерах и триггерах бэк дора. Рассмотрим атаки, основанные на состязательных данных. В качестве алгоритма распознавания изображений использовалась сверточная нейронная сеть Keras Sequential.

    В таблице 3. приводятся результаты оценки эффективности мероприятий, направленных на противодействие состязательным примерам.

     Таблица 2.

Таблица 3.

Оценка эффективности защитной дистилляции

        Защита от атак, основанных на триггерах бэк-дора
    Ниже приводится ход вычислительного эксеримента. Жертва нападения обучает сверточную нейронную сеть (табл. 4).

Таблица 4.

6 Анализ показателей риска и предложения по снижению рисков

        Проведена оценка эффективности различных алгоритмов распознавания изображений. В качестве исходных данных были использованы рентгеновские снимки. Наилучшую обобщающую способность показали такие методы машинного обучения, как сверточная нейронная сеть, ExtraTreesClassifier, дерево решений, метод главных компонент, Light GBM, Bagging, CatBoost.
     Было установлено, что атака методом быстрого градиентного знака наиболее эффективна против Light GBM Classifier, Extra Trees Classifier, Gradient Boosting Classifier и CatBoost Classifier. Атака Атака Projected Gradient Descent показала свою эффективность против метода опорных векторов и логистической регрессии. Атака реконструкции базы данных проти наивного гауссовского классификатора оказалась менее эффективной по сравнению с тремя предыдущими. Атака черного ящика HopSkipJump показала высокую эффективность против ансамбля, состоящего из метода главных компонент (PCA) и метода опорных векторов (SVC) на рентгеновских снимках и более низкую эффективность на дейтасете MNIST.
        Было установлено, что атака методом быстрого градиентного знака при использовании сверточной нейроной сети снижает эффективность распознавания с 91 до 52%. При атаке методом Карлини и Вагнера с бесконечной нормой Эффективность распознавания  снижается  до 74%.

7. Заключение

      Была проведена проверка эффективности мер противодействия вредоносным атакам. Смысл защитной дистилляции заключается в уменьшено количество фильтров в нейронной сети вдвое в каждом слое  с целью уменьшения количества обучаемых параметров. Благодаря этому  FGSM-атака снизила Эффективность распознавания для обоих дейтасетов примерно до 0,88 при максимальном значении параметра эпсилон, равного 0,3. В случае с атакой Carlini&Wagner Infinity-norm attack были получены схожие результаты.
     Для защиты от атак, основанных на триггерах бэк-дора использовали подход, разработанный Wang  (2019). Этот метод позволяет выполнять:

     - фильтрацию потенциально отравленных входных данных
     - отучение от бэкдора путем переобучения
     - отсоединение нейронной сети от нейронов, связанных с бэкдором
     - некоторую комбинацию вышеперечисленного

   Было установлено, что триггеры бэк дора дают 100%-ю эффективность на рентгеновских снимках. Фильтрация снижает эффективность отравления до 55%, отучение – до 91%, обрезка – до 0%.
   Исходя из вышеизложенного можно сделать вывод о том, что все рассмотренные в работе методы анализа изображений чувствительны к вредоносным атакам, хотя и в разной степени. Медицинские изображения оказались более уязвимы к взлому, чем рукописные цифры. Методы защитной дистилляции, отучивания и обрезки показали свою эффективность в борьбе с вредоносными атаками.

Благодарности: 

      РНФ 22-19-00471 Система поддержки принятия решений для профилактики и лечения бронхолегочных заболеваний, оценки рисков заболеваний и осложнений их лечения в задачах персонализированной медицины на основе методов анализа данных и искусственного интеллекта.
   Исследование проводится при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках основной части государственного задания высшим учебным заведениям No FEUE-2020-0007.

Литература: 

1. Patricia AH Williams, Andrew J Woodward. Cybersecurity vulnerabilities in medical devices: a complex environment and multifaceted problem. Medical Devices: Evidence and Research 2015:8
2. Kyriakos D. Apostolidis and George A. Papakostas. A Survey on Adversarial Deep Learning Robustness in Medical Image Analysis. Electronics 2021, 10, 2132 
3. D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. Van Den Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot et al., “Mastering the game of go with deep neural networks and tree search,” Nature, vol. 529, no. 7587, pp. 484–489, 2016
4. Carlini, N. and Wagner, D. A. (2017). Towards evaluating the robustness of neural networks. In SP. IEEE Computer Society
5. Chen, P., Zhang, H., Sharma, Y., Yi, J. and Hsieh, C. (2017). ZOO: zeroth order optimization based black-box attacks to deep neural networks without training substitute models. In AISec@CCS. ACM
6. Guo, C., Rana, M., Cissé, M. and van der Maaten, L. (2018). Countering adversarial images using input transformations. In ICLR. OpenReview.net.
7. Pang, T., Yang, X., Dong, Y., Xu, T., Zhu, J. and Su, H. (2020). Boosting adversarial training with hypersphere embedding. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual (H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan and H. Lin, eds.
8. Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553, pp. 436–444, 2015.
9. W. Knight, “The dark secret at the heart of ai,” MIT Technology Review, 2017.
10. P. W. Koh and P. Liang, “Understanding black-box predictions via influence functions,” Proceedings of the International Conference on Machine Learning (ICML), 2017.
11. Z. C. Lipton, “The mythos of model interpretability,” International Conference on Machine Learning (ICML) Workshop, 2016.
12. J. Lu, T. Issaranon, and D. Forsyth, “Safetynet: Detecting and rejecting adversarial examples robustly,” ICCV, 2017
13. F. Roli, B. Biggio, and G. Fumera, “Pattern recognition systems under attack,” in Iberoamerican Congress on Pattern Recognition. Springer, 2013, pp. 1–8
14. H. Xiao, B. Biggio, G. Brown, G. Fumera, C. Eckert, and F. Roli, “Is feature selection secure against training data poisoning?” in International Conference on Machine Learning, 2015, pp. 1689–1698.
15. A. Rozsa, E. M. Rudd, and T. E. Boult, “Adversarial diversity and hard positive generation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2016, pp. 25–32.
16. A. Kurakin, I. Goodfellow, and S. Bengio, “Adversarial machine learning at scale,” Proceedings of the International Conference on Learning Representations (ICLR), 2017.
17. (Physikalisch-Technische Bundesanstalt) (https://physionet.org/content/ptb-xl/1.0.1/). (Wagner, P., Strodthoff, N., Bousseljot, R., Samek, W., & Schaeffter, T. (2020). PTB-XL, a large publicly available electrocardiography dataset (version 1.0.1). PhysioNet. https://doi.org/10.13026/x4td-x982.)
18. Xie, C., McCullum, L., Johnson, A., Pollard, T., Gow, B., & Moody, B. (2021).Waveform Database Software Package (WFDB) for Python (version 3.4.1). PhysioNet.https://doi.org/10.13026/egpf-2788.)
19. Goldberger, A., Amaral, L., Glass, L., Hausdorff, J., Ivanov, P. C., Mark, R.,  & Stanley,H. E. (2000). PhysioBank, PhysioToolkit, and PhysioNet: Components of a new research resource for complex physiologic signals. Circulation [Online]. 101 (23), pp. e215–e220..
20. https://www.ibm.com/blogs/research/2020/02/3-4m-darpa-grant-awarded-to-ibm-to-defend-ai-against-adversarial-attacks/

Для связи

У вас есть идеи? Вопросы? Мы к ним готовы!