Лаборатория метафорических исследований и ии

   СДК. Сибирская Диагностическая Компания

Лаборатория метафорических исследований и ии

СДК. Сибирская Диагностическая Компания

ВОЗМОЖНОСТИ СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В РАСПОЗНАВАНИИ СМЕЩЕНИЯ И ПЕРЕСТАНОВКИ ЭКГ-ЭЛЕКТРОДОВ В СРАВНЕНИИ С ЭКСПЕРТНЫМ ВРАЧЕБНЫМ АНАЛИЗОМ

АННОТАЦИЯ

   Актуальность: неправильное расположение электродов электрокардиографа является одним из наиболее распространенных нарушений методики регистрации электрокардиограммы (ЭКГ).
      Цель: сравнить эффективность системы искусственного интеллекта (СИИ) и врачебного анализа в распознавании электродов при регистрации ЭКГ.
     Материалы и методы. Работа включала в три этапа: 1) формирование двух наборов данных ЭКГ с правильным наложением, а также с различными вариантами смешения и перестановки электродов, -  обучающей и тестовой выборок (262 ЭКГ, зарегистрированных у 27 пациентов, и 59 ЭКГ, зарегистрированных у 6 пациентов, соответственно); 2) обучение СИИ для корректного аннотирования вариантов некорректной установки электродов; 3) тестирование СИИ и сравнение его результатов с показателями врачебного анализа.
       ЭКГ, включенные в тестовую выборку, представлены на веб-платформе.
   Результаты. По сравнению с врачебным анализом, работа алгоритма характеризуется большей точностью и стабильностью в выявлении факта некорректного позиционирования электродов (AUC>0.81 против AUC 0,58), а также точно определяет большее количество вариантов ошибок (5 из 9 против 3 из 9). Классы ошибок регистрации, в выявлении которых врачебный и автоматический анализ оказались наиболее эффективными, различались.

     Ключевые слова. электрокардиограмма; ЭКГ; дефекты регистрации электрокардиограммы; системы  искусственного интеллекта; искусственный интеллект; алгоритмы; функциональная диагностика.

THE RECOGNITION ACCURACY OF ECG ELECTRODES MISPLACEMENT BY AN ARTIFICIAL INTELLIGENCE SYSTEM COMPARED TO MEDICAL EXPERTS

ABSTRACT

Background. ECG electrodes displacement represents one of the most common recording technique errors.
Aim: to compare AI-based ECG electrodes displacement recognition accuracy with human analysis by medical experts.
Materials and methods: The work was carried out in 3 stages: 1) two ECG datasets with correctly and erroneously positioned electrodes were generated: the training sample (262 ECGs of 27 patients) and the test sample (59 ECGs of 6 patients); 2) AI-system training and adjustment for correct electrodes misplacement annotation; 3) the test sample was posted on the web platform [DOI: 10.25881/18110193-2021-4-4, DOI: 10.25881/18110193-2021-4-4].
Results. Compared to the doctors, the algorithm functioned more precise and stable in incorrect electrodes positioning recognition (AUC>0.81 против AUC 0,58). It also discriminated more error classes (5 of 9 vs. 3 of 9). The error classes shown to be better determinated by the doctors and the algorithm were different.
Keywords electrocardiogram; ECG; defects in electrocardiogram registration; artificial intelligence systems; artificial intelligence; algorithms; functional diagnostics.

АННОТАЦИЯ

     Электрокардиография является доступным и высоко информативным методом исследования сердечно-сосудистой системы. При проведении обследовании пациентов с кардиоваскулярной патологией, а также при диспансеризации населения регистрация электрокардиограммы (ЭКГ) является обязательной. По данным Департамента здравоохранения Москвы (ДЗМ), за 2023г. в медицинских организациях города было зарегистрировано 4,.8 млн. ЭКГ.
      Одной из наиболее распространенных технических проблем, связанных с регистрацией ЭКГ, способных приводить к ошибочной интерпретации, является некорректное наложение электродов. Так, по данным литературы, ошибки подобного рода совершают до 50-60% представителей среднего медицинского персонала [1-4], что может приводить к ложной интерпретации в 17-24% случаев [5], в том числе к не выявлению 11% пациентов с острым коронарным синдромом [6] 
      Учитывая значимость технических аспектов регистрации ЭКГ, Российским кардиологическим обществом, Российской ассоциацией специалистов функциональной диагностики, Российским обществом холтеровского меониторирования и неинвазивной электрокардиологии и Ассоциации детских кардиологов России были подготовлены соответствующие методические рекомендации [7].

   С целью автоматизации выявления наиболее частых вариантов неправильного позиционирования электродов (перестановка электродов на руках, на левых руке и ноге, грудных ― выше или ниже стандартной схемы), были предложены специальные алгоритмы, однако их эффективность была показана преимущественно в распознавании перестановки электродов конечностей [8-20]. Таким образом, проблема разработки алгоритмов для выявления смещения и перестановки электродов сохраняет свою актуальность.
     Кроме того, остаются не решенными многие методические вопросы валидации и оценки эффективности создаваемых алгоритмов. Настоящее исследование было проведено в соответствии с первым сценарием, изложенным в Приложении А ГОСТ Р 59921.9–2022 «Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний. Общие требования». Следует отметить, что в данном документе подчеркивается необходимость тестирования корректности входных данных.
   ЦЕЛЬ: сравнить эффективность распознавания смещения и перестановки электродов при регистрации ЭКГ между системой искусственного интеллекта (СИИ) и врачами, специализирующимися в области ЭКГ.

МАТЕРИАЛЫ И МЕТОДЫ

    Формирование обучающей и тестовой выборок. В исследование было включено 49 пациентов. Во время визита у каждого пациента была зарегистрирована ЭКГ с корректным наложением электродов, а также несколько ЭКГ с различными вариантами нарушений позиционирования (табл. 1). Всего было зарегистрировано 486 ЭКГ [26].

       Таблица 1. Варианты расположения электродов и их кодировка

    Оцифрованные сигналы ЭКГ были сохранены в формате EDF+ (European Data Format) [21]. Регистрация ЭКГ осуществлялась в 12 общепринятых отведениях с частотой дискретизации 500 Гц, продолжительность записи составляла 10 секунд, размах сигнала по входу ― 10 мВ. Фильтрация сигнала не проводилась, полоса пропускания ― от 0,05 до 150 Гц.
        Из полученного набора данных были сформированы две выборки:

1. обучающую выборку составили 262 (53,9%) ЭКГ, зарегистрированные у 27 пациентов, отобранные случайным образом;
2. в тестовую выборку были включены 59 (12,1%) ЭКГ с разными видами некорректного наложения, зарегистрированные у 6 пациентов, у которых на адекватно зарегистрированной ЭКГ имели место некоторые часто встречаемые ЭКГ-синдромы: несинусовый ритм, нарушения внутрижелудочкового проведения, депрессия сегмента ST, признаки гипертрофии левого желудочка (табл. 2). Каждой ЭКГ тестовой выборки был присвоен 8-ми разрядный псевдоним, сгенерированный с помощью генератора случайных чисел.

       Таблица 2. Таблица псевдонимизации тестового набора данных (фрагмент).

    Классификация ошибок наложения электродов, лежащая в основе изучаемой системы ИИ (СИИ). Алгоритм, разработанный «Сибирской Диагностической Компанией», реализует 9 последовательных бинарных классификаций: в качестве нулевого класса выступает стандартное расположение электродов, альтернативой являются 9 вариантов (классов) некорректного наложения электродов, представленные в табл. 3.

         Таблица 3. Классы, соответствующие основным вариантам некорректного наложения электродов.

     Выбор метода обучения системы. Предварительно была проведена оценка эффективности классификации различных вариантов наложения электродов при применении различных методов машинного обучения. Наиболее эффективным в определении отведения по кардиосигналу оказался алгоритм «Логистическая регрессия» (табл. 4). Этот алгоритм использовался для дальнейшего обучения модели машинного обучения. 

     Таблица 4. Эффективность различных алгоритмов машинного обучения при решении задачи предсказания отведения

      Анализ диагностической точности системы искусственного интеллекта. Для тестирования СИИ было разработано программное обеспечение на языке Python,реализованное в настольной версии и в виде телемедицинского сервиса https://sibtelcom.com/ В ходе вычислительного эксперимента использовалась вычислительная система Intel Core i9, 256Gb RAM, Nvidia RTX 3080Ti.

      Характеристика специалистов по ЭКГ, принимавших участие в исследовании. Для сравнения показателей диагностической точности при врачебном и автоматическом анализе была создана репрезентативная группа врачей функциональной диагностики в составе 7 человек, осуществляющих анализ ЭКГ в клиниках разных городов Российской Федерации, с опытом работы от 7 до 25 лет. Врачебный тезаурус совпадал с классификацией ошибок наложения электродов, примененным в изучаемой модели.

     Все участники исследования были заранее информированы о наличии среди предложенных для аннотирования нормальных и патологических ЭКГ записей со стандартным и некорректным расположением электродов, однако соотношение числа ЭКГ с правильным и ошибочным расположением электродов специалистам не сообщалось. Результаты аннотирования класса ошибки учитывались вне зависимости от синдромальных заключений.

       Анализ диагностической точности выявления некорректного наложения электродов врачами. Обработка врачебных заключений проводилась путем переведения в бинарную классификацию (1- констатировано наличие данного класса нарушения, 0 – констатировано отсутствие данного класса нарушения), с последующим усреднением по всем врачам.

       Критерии оценки и сравнения диагностической точности. Сопоставление эффективности СИИ и врачебного анализа проводилось по критериям ROC AUC, чувствительность, специфичность, точность, полнота и F-мера. Порог cut-off определялся по индексу Юдена.
      Названные показатели рассчитывались по двум условиям: 1) выявление факта ошибочного наложения электродов; 2) правильное определение класса ошибки.

       Оценка критериев диагностической точности определялось следующим образом: менее 0,60 – непригодно, 0,61–0,80 – требуется доработка, более 0,81 – может быть допущено к клинической валидации [22]

РЕЗУЛЬТАТЫ

       По результатам проведенного исследования, при постановке моноклассовой конкретизированной задачи (выявление факта некорректного позиционирования электродов) работа алгоритма характеризуется большей точностью и стабильностью, по сравнению с врачебным анализом (рисунки 1, 2).
      В ходе тестирования модели были корректно определены пять из девяти классов ошибочного наложения электродов (ROC AUC ≥ 0.81), по оставшимся 4-м классам (перестановка С5 и С6, близкое расположение C4, C5 и C6, некорректное направление линии расположения грудных электродов, перестановка электродов на левых руке и ноге) ROC AUC составил от 0,61 до 0,8, что свидетельствует о необходимости доработки и дообучения СИИ (рис. 1).
     В то же время, специалистами были верно определены лишь три из девяти классов ошибок, а по оставшимся 6-ти классам (смещение грудных электродов ниже и выше, расположены близко друг к другу C4, C5 и C6, некорректное направление линии С4-С6, перестановка электродов на левой руке и левой ноге) ROC AUC составил от 0,46 до 0,74 (рисунок 2).

Рисунок 1. Результаты работы алгоритма: ROC-анализ для каждого класса ошибок наложения электродов отдельно и усредненная ROC AUC по всем классам.

Рисунок 2: Результаты работы врачей: ROC-анализ для каждого класса ошибок наложения электродов отдельно и усредненная ROC AUC по всем классам.

     Значения чувствительности, специфичности и точности более 0,81 были получены при автоматическом анализе только для класса 3 (перестановка электродов на руках, R-L => RL), остальные классы ошибок наложения электродов распознавались алгоритмом с высокой точностью и чувствительностью при специфичности менее 0,81 (таблица 5).
     Врачебный анализ обладал столь же высокими показателями чувствительности, специфичности и точности при распознавании перестановки электродов на руках.
   При выявлении смещения электродов на 2 ребра выше и ниже стандартного расположения точность и чувствительность алгоритма были ниже, а специфичность выше, по сравнению с показателями врачебного анализа (см. рисунок 3).
      Более высокая чувствительность и низкие специфичность и точность (ниже пороговых значений) врачебного анализа также была отмечена при выявлении соприкосновения С4-С6 и некорректного хода линии их расположения.
      Параметры F меры оказались выше порогового значения при автоматическом распознавании всех классов ошибок, однако для смещения грудных электродов на 2 межреберья выше и ниже стандартного положения значение F меры превышало пороговые значения несущественно (для остальных классов - более 0,95).

ОБСУЖДЕНИЕ

     В соответствии с полученными результатами, диагностика перестановки электродов правой и левой рук, приводящая к инверсии ЭКГ в отведениях I и aVR, ожидаемо эффективно осуществлялась как врачами, так и СИИ. Приоритет ИИ в распознавании перестановки электродов левой руки и левой ноги, характеризующейся инверсией отведений III не затрагивающей aVR, может быть связан с наличием целого ряда состояний, при которых в отведении III может иметь место инверсия, в том числе давние рубцовые изменения, отклонение электрической оси сердца вправо, задне-нижний гемиблок и др. Вероятно мы имеем эффект смещения, когда врачи распознают эти изменения как связанные с клиническими или электрофизиологическими особенностями, а СИИ в данной ситуации искала, прежде всего, дислокации электродов.

     Изменение положения грудных электродов может приводить к изменению вольтажа R (при смещении вверх и вниз), а также к нарушению линии R (при перестановке) в грудных отведениях, что как правило бывает довольно явно для визуального восприятия.
     Кроме того, существуют признаки чрезмерно высокого наложения правых грудных электродов [23-25]:

• Отрицательный зубец Р в V1 (при корректной установке электродов положительный или двухфазный);
• Сочетание морфологии желудочкового комплекса rSr' с отрицательным зубцом Р специфично для расположения V1 во втором межреберье;
• Наличие отрицательной фазы или улощенного зубца Р в V2 соответствует наложению электрода во втором межреберье.

  Вместе с тем, названные изменения ЭКГ предполагают дифференциальный диагноз, включающий рубцовые изменения, ишемию, внутрижелудочковые блокады, феномен Бругада, гипертрофию желудочков (что в большинстве случаев бывает отражено во врачебном заключении), а также конституциональные особенности: ротационные изменения вектора QRS, телосложение, наличие молочных желез и особенностей их строения (размер, форма, соотношение жировой и железистой ткани).
    Более высокая чувствительность при более низкой специфичности врачебного анализа, в выявлении некорректного наложения грудных электродов, по сравнению с автоматическим, вероятно, может быть следствием повышенной настороженности специалистов, заранее информированных о наличии соответствующих ЭКГ среди предложенных для интерпретации.
     Вместе с тем, в противоположность отведениям V1 и V2, изменения положения электродов V5, V6 достаточно трудно различимы, поэтому для данного класса ошибок регистрации возможности CИИ, представляются особенно ценными. Вполне возможно, что сложности распознавания как врачами, так и СИИ перестановок С5 и С6, близкого расположение C4, C5 и C6, некорректное направление линии расположения грудных электродов связано с их относительным, по сравнению другими грудными электродвами, удалением от точки основания результирующего электрического диполя сердца (если исходить из дипольной концепции формирования поверхностной ЭКГ).
      В целом полученные результаты позволяют говорить о сопоставимости диагностической точности исследуемой СИИ в выявлении нарушений расположения электродов электрокардиографа с возможностями «усредненного» врача функциональной диагностики, постоянно занимающегося интерпретацией ЭКГ в рамках ежедневной работы. Возможно, применение новых подходов к разработке алгоритмов автоматизированного анализа позволит повысить их эффективность.
   Большинство существующих алгоритмов для выявления некорректного расположения электродов основаны на определении электрических осей предсердного и желудочкового комплекса, а также на определении интервалов PQ и времени внутреннего отклонения в грудных отведениях. Более прогрессивный подход заключается в применении матриц
перерасчета корректно сформированных отведений в отведения, получаемые при ошибочном наложении электродов.
Представляется перспективным проведение дальнейших исследований с применением более обширных баз данных, содержащих информацию о клиническом диагнозе и конституциональных особенностях пациентов, а также с учетом имеющихся ЭКГ-синдромов. Кроме того, целесообразно проведение слепого исследования, с исключением информирования врачей о целенаправленном включении в предлагаемый для аннотирования набор ЭКГ некорректно зарегистрированных записей.
   Также следует отметить, что в данной работе рассматривался случай т.н. «единичного нарушения» методики регистрации ЭКГ, когда проводилась контролируемая дислокация электродов, но в остальном регистрация ЭКГ соответствовала критериям качества по методическим рекомендациям [7]. На практике нельзя исключить одновременного влияния нескольких факторов, например различных помех при регистрации ЭКГ, что может осложнить как врачебный анализ, так и работу обученной в условиях единичного нарушения СИИ.

ЗАКЛЮЧЕНИЕ

     В соответствии с полученными результатами, возможности распознавания некорректного наложения электродов, продемонстрированные CИИ, сопоставимы с показателями диагностической точности врачебного анализа. При постановке моноклассовой конкретизированной задачи (выявление факта некорректного позиционирования электродов)
работа алгоритма характеризуется большей точностью и стабильностью. Классы ошибок регистрации, в выявлении которых врачебный и автоматический анализ оказались наиболее эффективными, различались. В целом работа алгоритма характеризуется большей специфичностью и стабильностью. Целесообразно совершенствование алгоритма и проведение дальнейших исследований.

Для открытия файла - нажмите на изображение:

СПИСОК ЛИТЕРАТУРЫ

1. Martinez M, Bouchut S, Thevenon M, et al. Improvement of electrocardiograms implementation quality by emergency nurses with short training. Ann French Emerg Med. 2015; 5(2):85–89. doi.org/10.1007/s13341-015-0509-8
2. Pearce A. Examining the causes and effects of electrode misplacement during electrocardiography: a literature review. British Journal of Cardiac Nursing. 2019; 14(7), 1–15. doi.org/10.12968/bjca.2019.0010
3. Ramrakha P, Hill J. Oxford handbook of cardiology. 2nd edn. Oxford: Oxford University Press; 2012.
4. Medani SA, Hensey M, Caples N, Owens P. Accuracy in precordial ECG lead placement: improving through a peer-led educational intervention. J Electrocardiol. 2018;51(1):50–54. doi. org/10.1016/j.jelectrocard.2017.04.018
5. Kania M, Rix H, Fereniec M. The effect of precordial lead displacement on ECG morphology. Med Biol Eng Comput. 2014;52(2):109–19. doi: 10.1007/s11517-013-1115-9.
6. Resuscitation Council. Advanced life support. 6th edn. London: Resuscitation Council (UK); 2011.
7. Дроздов Д.В., Макаров Л.М., Баркан В.С. и соавт. Регистрация электрокардиограммы покоя в 12 общепринятых отведениях взрослым и детям 2023. Методические рекомендации. Российский кардиологический журнал. 2023;28(10):5631. Drozdov D.V., Makarov L.M., Barkan V.S., Gazashvili T.M., Efimova V.P., Zhuk M.Yu., Irtyuga O.B., Kalinin L.A., Kovalev I.A., Komolyatova V.N., Parmon E.V., Rogoza A.N., Struchkov P.V., Tatarinova A.A., Teregulov Yu.E., Treshkur T.V., Shutov D.V. Resting 12-lead electrocardiography for adults and children. 2023 Guidelines. Russian Journal of Cardiology. 2023;28(10):5631. (In Russ.) https://doi.org/10.15829/1560-4071-2023-5631.doi.org/10.15829/1560-4071-2023-5631
8. Abdollah, H.; Milliken, J.A. Recognition of electrocardiographic left arm/left leg lead reversal. Am. J. Cardiol. 1997, 80, 1247–1249. doi: 10.1016/s0002-9149(97)00656-5
9. Hedén B., Ohlsson M., Holst H. Detection of frequently overlooked electrocardiographic lead reversals using artificial neural networks. Am. J. Cardiol. 1996, 78, 600–604. doi: 10.1016/s0002-9149(96)00377-3.
10. Hoffman, I. A Flatline electrocardiogram in lead II is a marker for right arm/right leg electrode switch. J. Electrocardiol. 2007, 40, 226–227. doi: 10.1016/j.jelectrocard.2006.06.003.
11. Han C., Gregg R., Babaeizadeh S. Automatic Detection of ECG Lead-wire Interchange for Conventional and Mason-Likar Lead Systems. Comput. Cardiol. 2014, 41, 145–148.
12. Krishnan R.; Ramesh M. QRS axis based classification of electrode interchange in wearable ECG devices. EAI Endorsed Trans. Future Intell. Educ. Env. 2015, 2. DOI: 10.4108/eai.14-10-2015.2261647
13. Ho R.T., Mukherji L., Evans G.T. Simple diagnosis of limb-lead reversals by predictable changes in QRS axis. Pacing Clin. Electrophysiol. 2006, 29, 272–277. doi: 10.1111/j.1540-8159.2006.00333.x.
14. De Bie, J., Mortara D.W., Clark T.F. The development and validation of an early warning system to prevent the acquisition of 12-lead resting ECGs with interchanged electrode positions. J. Electrocardiol. 2014, 47, 794–797. doi.org/10.1016/j.jelectrocard.2014.08.015
15. Ho K.K.L., Ho S.K. Use of the sinus P wave in diagnosing electrocardiographic limb lead misplacement not involving the right leg (ground) lead. J. Electrocardiol. 2001, 34, 161–171. DOI: 10.1054/jelc.2001.23927
16. Kors J.A., van Herpen G. Accurate automatic detection of electrode interchange in the electrocardiogram. Am. J. Cardiol. 2001, 88, 396–399. doi.org/10.1016/S0002-9149(01)01686-1
17. Han C., Gregg R.E., Field D.Q., Babaeizadeh S. Automatic detection of ECG cable interchange by analyzing both morphology and interlead relations. J. Electrocardiol. 2014, 47, 781–787. doi.org/10.1016/j.jelectrocard.2014.08.006
18. Gregg R., Hancock E.W., Babaeizadeh S. Detecting ECG limb lead-wire interchanges involving the right leg lead-wire. Comput. Cardiol. 2017, 44. DOI: 10.22489/CinC.2017.014-061
19. Xia H., Garcia G.A., Zhao X. Automatic detection of ECG electrode misplacement: A tale of two algorithms. Physiol. Meas. 2012, 33, 1549–1561. doi: 10.1088/0967-3334/33/9/1549.
20. Dotsinsky I., Daskalov I., Iliev I. Detection of peripheral ECG electrodes misplacement. Proc. 7th Int. Conf. Electronics ET’98, Sozopol, Bulgaria 1998, S2, 21–26.
21. Kemp B, Olivan J. European data format ‘plus’ (EDF+), an EDF alike standard format for the exchange of physiological data. Clinical Neurophysiology. 2003;114:1755-1761 doi.org/10.1016/S1388-2457(03)00123-8.
22. Морозов, С.П., Владзимирский, А.В., Кляшторный, В.Г. [и др.] Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика) / Серия «Лучшие практики лучевой и инструментальной диагностики». – Вып. 57 – М., 2019. – 51 с. [Morozov, S.P., Vladzimirsky, A.V., Klyashtorny, V.G. [etc.] Clinical trials of software based on intelligent technologies (radiology diagnostics) / Series “Best practices in radiological and instrumental diagnostics”. 2019;(57):51].
23. Rajaganeshan R, Ludlam CL, Francis DP. Accuracy in ECG lead placement among technicians, nurses, general physicians and cardiologists. Int J Clin Pract. 2008 Jan;62(1):65–70. doi:  10.1111/j.1742-1241.2007.01390..x
24. 15. Garcia-Niebla J, Rodriguez-Morales M, Valle-Racero JI, de Luna AB. Negative P wave in V1 is the key to identifying high placement of V1-V2 electrodes in nonpathological subjects. Am J Med. 2012 Sep;125(9):e9–10. doi: 10.1016/j.amjmed.2011.12.024.
25. V. Rosen, A., Koppikar, S., Shaw, C., Baranchuk, A. Common ECG Lead Placement Errors. Part II: Precordial Misplacements. International Journal of Medical Students. 2014; 2(3), 99–103. doi.org/10.5195/ijms.2014.96
26. Газашвили Т.М., Дроздов Д.В., Шутов Д.В., Шкода А.С. Создание набора данных с диспозицией и транспозицией наложения электрокардиографических электродов при записи электрокардиограммы в 12 отведениях // Digital Diagnostics. 2023. Т. 4, № 2. С. 133−141. DOI: https://doi.org/10.17816/DD201870

Для связи

У вас есть идеи? Вопросы? Мы к ним готовы!