Artificial intelligence in dermatology: а scoping review

Full Text

Введение

Методы искусственного интеллекта (ИИ), включающие как нейронные сети, так и методы машинного обучения, в последнее десятилетие быстро развиваются и их возможности для автоматизации рутинных процессов разных областей медицины активно исследуются [1–3]. Дерматология — одна из областей, где внедрение методов ИИ стало насущной задачей по причине большого объема регулярно поступающих данных, необходимости одновременного анализа нескольких типов данных, таких как, например, изображения очаговых кожных изменений и медицинская карта пациента [4, 5], а также повышения точности диагностики кожных заболеваний [6].

Неравномерное распределение специалистов-дерматологов географически сделало актуальным разработку приложений на основе ИИ для телемедицинской диагностики кожных новообразований [7].

Цель нашей работы — оценить уровень развития и внедрения в практику методов ИИ в области дерматологии и выявить основные проблемные точки, требующие решения. Для этого мы провели систематический обзор исследовательских работ в области дерматологии с использованием ИИ. В обзоре мы решали следующие задачи: 1) выявление области применения ИИ в дерматологии; 2) оценка диапазонов диагностической точности ИИ и сопоставление их с аналогичными параметрами врачей; 3) выявление числа официально зарегистрированных в качестве медицинских изделий алгоритмов ИИ; 4) оценка качества исследовательских работ и выявление основных сложностей в применяемых методологиях исследования ИИ в дерматологии.

Стратегия поиска

Настоящее исследование выполнено в соответствии с рекомендациями PRISMA-ScR (Preferred Reporting Items for Systematic Reviews and Meta-Analyses Extension for Scoping Reviews) по проведению обзоров предметного поля [8].

Поиск исследовательских работ осуществлялся в двух базах данных научной литературы — PubMed и РИНЦ. Временной интервал — 2019–2025 гг.

Поисковый запрос в PubMed выглядел следующим образом: (artificial intelligence OR artificial neural network OR deep learning OR machine learning OR robot* OR computer vision system*) AND (dermatology) AND (computer-aided diagnosis OR diagnostics) NOT radiomics.

В разделе фильтров для Article type с целью отбора наиболее убедительных доказательств были выбраны следующие опции: «Adaptive clinical trial», «Books and Documents», «Case Reports», «Classical Article», «Clinical Conference», «Clinical Study», «Clinical Trial Protocol», «Comparative Study», «Controlled Clinical Trial», «Equivalence Trial», «Evaluation Study», «Letter», «Multicenter Study», «Observational Study», «Pragmatic Clinical Trial», «Preprint», «Randomized Controlled Trial».

Поисковый запрос в РИНЦ выглядел следующим образом: «искусственный интеллект», «машинное обучение», «дерматология». Поиск ключевых слов проводился в названии, резюме и тексте публикаций. В анализ включали все публикации, имеющие английское или русское резюме. Рассматривали статьи в рецензируемых научных журналах, препринты, статьи в конференционных сборниках.

Поисковая стратегия составила два этапа. Сначала были проанализированы названия и резюме всех найденных по поисковым запросам работ и отобраны те, что соответствуют задачам исследования. Исключены исследования текстовых ИИ-анализаторов. На втором этапе проанализированы полные тексты и их доступность из отобранного пула работ и составлена выборка для основного анализа обзора.

Поиск зарегистрированных отечественных медицинский изделий с ИИ в области дерматологии проведен в Государственном реестре медицинских изделий и организаций (индивидуальных предпринимателей), осуществляющих производство и изготовление медицинских изделий (http://www.roszdravnadzor.ru/services/misearch), где Росздравнадзор размещает все сведения о зарегистрированных медицинских изделиях. Поиск публикаций, содержащих диагностические параметры отобранных зарегистрированных медицинских изделий с ИИ, осуществлен на сайте производителей и в базе данных РИНЦ.

Отбор работ проводился одним экспертом. Затем финальный список включенных работ оценивался двумя экспертами. В качестве экспертов выступали научные сотрудники с опытом работы в медицинской информатике более 10 лет.

Извлечение информации и оценка риска систематической ошибки статей

Из полных текстов отобранных статей извлекали следующую информацию:

1. библиометрические данные — имя первого автора, название статьи, год выхода, DOI, название журнала, импакт-фактор журнала, страна, где выполнили исследование;
2. направление исследований и тип исследуемой патологии и их основные характеристики (объем выборки, проспективное/ретроспективное, одно- / многоцентровое исследование, наличие валидации на внешних данных, использованный тип ИИ, тип изображений);
3. значения диагностической точности ИИ (чувствительность, специфичность, ROC AUC, точность (accuracy), а также некоторые другие оценки). Рассчитали средние показатели диагностической точности с учетом направленности работ и их модальности — медиану и 95%-й доверительный интервал (ДИ). Также извлекали из работ сравнения диагностической точности ИИ с диагностической точностью врачей; информацию по числу врачей и уровню их квалификации; оценки времени работы ИИ, оценки экономической эффективности потенциального внедрения ИИ. Отмечали наличие конфликта интересов либо его отсутствие;
4. доказанные результаты внедрения ИИ — официальную регистрацию ИИ как медицинского изделия FDA, CE mark, регистрационное удостоверение Рос-здравнадзора.

Оценка риска систематической ошибки в отобранных статьях проведена по методике QUADAS-CAD [9], разработанной для исследований с использованием ИИ. Полный опросник QUADAS-CAD приведен в приложении 1.

Извлечение информации и оценка качества работ проводились одним экспертом. Затем результаты оценивались двумя экспертами с опытом работы в медицинской информатике более 10 лет.

Результаты

Поиск литературы и отбор работ

Всего найдено 270 ссылок (PubMed — 164, РИНЦ — 106).

Для полнотекстового анализа отобрана 41 работа (PubMed — 34, РИНЦ —– 7), исключено 229 работ (не имеющие отношения к дерматологии и компьютерному зрению, обзоры литературы, конференционные тезисы с недостаточными данными, отсутствие доступа к полному тексту). В Государственном реестре медицинских изделий и организаций (индивидуальных предпринимателей), осуществляющих производство и изготовление медицинских изделий, обнаружено регистрационное удостоверение одного медицинского изделия с ИИ для дерматологии: Сервис поддержки принятия врачебных решений для диагностики новообразований кожи ПроРодинки по ТУ 58.29.32-001-43490523-2022, РУ № РЗН 2023/21776, разработчик — ООО «АИМЕД» [10]. В РИНЦ мы нашли 3 публикации, упоминающие приложение ПроРодинки [11–13], однако ни в одной из них не приведены диагностические параметры данного приложения, поэтому эти публикации не были включены в систематический обзор. На сайте производителя [14] мы также не обнаружили ссылок на необходимые исследования.

Базовые характеристики статей

Базовые характеристики статей представлены в приложении 2.

Всего отобрано 34 англоязычных и 7 русскоязычных работ. Из них исследовательских статей в журналах — 26, препринт статьи — 1, исследовательских писем — 13, материалов в конференционных сборниках — 1.

Диагностике злокачественных новообразований кожи посвящено 27 исследований (65,85% всех работ, см. приложение 2), из них работы по диагностике меланомы (21 работа) представлены чаще, чем по диагностике других злокачественных кожных новообразований, таких как базальноклеточная и плоскоклеточная карциномы (9 работ), также из них 3 работы [15–17] включают оценку устойчивости используемых алгоритмов. По диагностике атопического дерматита выполнена 1 работа [18], по диагностике аллергических реакций в тестах на аллергены — 1 работа [19]. Автоматический подсчет и измерение длины волос выполнялись в 1 работе [20]. Классификация на снимках здоровых волос и очаговой алопеции (alopecia areata) выполнялась в 1 работе [21]. Диагностика онихомикоза проводилась в 1 работе [22]. Диагностика и классификация подтипов системной красной волчанки проводились в 1 работе [23]. Диагностика хронической реакции трансплантата против хозяина исследовалась в 1 работе [24]. Предсказание ответа на лечение псориаза выполнялось в 2 работах [25, 26]. Диагностика псориаза — в 1 работе [27]. Эффективность роботов при пересадке волос тестировалась в 1 работе [28]. Диагностика системной склеродермии — в 1 работе [29]. Детекция косметологических признаков лица проводилась в 1 работе [30]. Предсказание ответа на радиотерапию у пациентов с эпителиальными новообразованиями волосистой части головы проводилось в 1 работе [31].

В большинстве случаев (51,2%) для получения изображений (см. приложение 2) использована фотография (10 работ) либо фотография с применением дерматоскопа (11 работ). В 7 случаях данные получены с привлечением методов лабораторной медицины: гистологические изображения цельных слайдов — 3 работы [32–34]; спектроскопия лазерно-индуцированной плазмы — 1 работа [35]; конфокальная микроскопия — 1 работа [27]; микрографическая хирургия замороженных срезов — 1 работа [36]; общий анализ крови — 1 работа [25]. Данные УЗИ использованы в 1 работе [37]; данные фотосъемки всего тела — в 1 работе [38]; конфокальная оптическая когерентная томография — в 1 работе [39]. В 8 случаях неясно, какой тип изображений использовался.

Из 41 исследования 12 (29,3%) — многоцентровые, 14 (34,2%) — одноцентровые, в остальных случаях классификация неприменима либо нет возможности установить данную информацию; 12 (29,3%) исследований — проспективные, 29 (70,7%) — ретроспективные. Исследований с внешней валидацией модели не обнаружено.

Характеристики выборок

Для описания объема использованной выборки в разных работах используют разные показатели (см. приложение 2): число пациентов, число новообразований, число изображений. Объем выборки может сильно варьировать между разными исследованиями: число пациентов — 13–3007; число новообразований — 39–7657; число изображений — 100–100 494.

Демографические характеристики

Информация о возрасте пациентов найдена в 20 работах из 41, возрастные интервалы широко варьируют как внутри исследований, так и между работами (см. приложение 2). В большинстве случаев исследования проводили на взрослых пациентах, за исключением 1 работы, где включали всех пациентов старше двух лет [40]. Возрастные категории здоровых пациентов и пациентов с целевой патологией различаются в 1 работе [39]. Информация о половом составе выборок найдена в 20 работах из 41. Относительно равная представленность полов в выборках наблюдается в 9 исследованиях [22, 26, 38, 40–46]. В 5 исследованиях включены только женщины [20, 30] либо только мужчины [28], такое распределение характерно для косметологических исследований и исследований в области восстановления волос.

Данные по фототипам кожи по шкале Фитцпатрика приведены в 11 работах. В основном в каждой работе представлено большинство из шести типов кожи [19, 24, 30, 35, 38, 42, 43, 47], при этом данные не сбалансированы по представленности типов кожи. Как правило, в выборке преобладают типы кожи, характерные для населенного пункта, где собирались данные: работа [24] — преобладание третьего типа кожи; [43] — более 80% пациентов представлено первым и вторым типами; [19, 35, 38] — преобладание второго и третьего типов кожи. В работах [40, 41] все пациенты имеют только третий и четвертый тип кожи, в работе [48] — только с первого по третий тип кожи.

В 3 исследованиях указаны расы и народности включенных пациентов: [37] — европейцы; [28] — китайцы; [29] — японцы.

Типы алгоритмов

Использованные алгоритмы представлены в приложении 3.

В 35 (85,4%) работах из 41 использовали нейронные сети глубокого обучения, в 8 (19,5%) — методы машинного обучения, из них в 2 работах использовали как нейронные сети, так и методы машинного обучения. Из использованных алгоритмов восемь [28, 38, 42–44, 48–50] имеют статус медицинского изделия с ИИ (FDA или CE mark) и используются для двухклассовой (доброкачественные/злокачественные) [38, 43, 44] или многоклассовой [49] классификации, детекции меланомы [42, 50], оценки рисков развития меланомы [48], роботизированной трансплантации волос [28]. Из них два алгоритма имеют вид приложений для телефона — Dermalyser app [42], mHealth app [43] — и могут быть использованы в качестве телемедицинских технологий для диагностики кожных заболеваний. Алгоритмы Skineve также используются в мобильном приложении Skinive MD [49]. Разные варианты медицинской системы Moleanalyzer-Pro, FotoFinder Systems GmbH, Germany [38, 44, 48, 50] использовали для диагностики и развития злокачественных кожных заболеваний. В работе [48] также была протестирована медицинская система DEXI, Canfield Scientific. Для трансплантации волос [28] использовался робот системы ARTAS Robotic Hair Restoration Treatments. Из восьми исследований алгоритмов, имеющих маркировку, в четырех заявлено о конфликте интересов [38, 42–44], в двух — об отсутствии конфликта интересов [28, 48], в одном нет информации о конфликте интересов [50]. Еще в одной работе [49] о конфликте интересов не заявлено, но авторы являются сотрудниками компании, разрабатывающей соответствующую нейросеть, т.е. конфликт интересов присутствует.

Две работы исследуют приложения для смартфона — Modelderm [41] и Aysa AI app [40] — для диагностики кожных образований, не имеющие статуса медицинского изделия. В статье [41] заявлено о конфликте интересов, в статье [40] — о его отсутствии. И в еще одной статье сообщается о разработке приложения [23] на основе сверточной нейронной сети для диагностики и классификации типов красной волчанки, заявлено об отсутствии конфликта интересов.

Сравнительный анализ разных алгоритмов проводили в 11 работах [17, 21, 25, 26, 34, 37, 39, 48, 51–53]. Сравнительный анализ ИИ и врачей проводили в 14 работах [16, 20, 22, 23, 28, 30, 33, 38, 39, 41, 44, 47, 54, 55].

Диагностическая точность алгоритмов

В качестве основных диагностических параметров мы приводим наиболее часто встречающиеся в исследованиях показатели (приложение 4) — специфичность, чувствительность, ROC AUC, точность (accuracy). Реже встречающиеся показатели — достоверность (precision), полнота (recall), F1-мера (F1-score) и некоторые другие — приведены дополнительно в приложении 3. Дополнительные значения диагностических параметров (precision, recall, F1-score, NPV) по включенным исследованиям представлены в приложении 5.

Наибольшее число исследований выполнено в области диагностики злокачественных новообразований кожи (меланома, базальноклеточная и плоскоклеточная карциномы) с использованием нейронных сетей для диагностики по фотографии и/или дерматоскопии. Для этого типа и модальности исследований получены следующие оценки диагностических параметров: чувствительность — 84,06% (медиана) (95%-й ДИ: 78,24–89,91%; n (число включенных результатов тестирования нейронных сетей) = 28); специфичность — 97,84% (95%- й ДИ: 94,58–100,00%; n = 36); ROC AUC — 83,00% (95%-й ДИ: 79,82–86,18%; n = 27); точность — 80% (95%-й ДИ: 76,55–83,45%; n = 43).

В работе [37] для диагностики меланомы и меланоцитарных невусов использовали методы машинного обучения (см. приложение 4) и данные УЗИ, получены следующие оценки диагностической точности: чувствительность — 84,00–100% (максимальное и минимальное значение, n = 3); специфичность — 70,00% (n = 2); ROC AUC — 83,00% (n = 1); точность — 76,90% (n = 2).

Диагностика злокачественных новообразований кожи (меланомы, базальноклеточной и плоскоклеточной карциномы) с помощью анализа изображений, полученных с использованием гистологических методов, проведена в 5 работах [32–36] с применением нейронных сетей. Получены следующие значения диагностических параметров: чувствительность — 91,00% (медиана, n = 4); специфичность — 79,10% (n = 7); ROC AUC — 68,90% (n = 5); точность — 63,50% (n = 5).

В двух проспективных работах исследовали предсказание ответа на лечение псориаза [25, 26]. В работе A.W. Armstrong и соавт. [26] с этой целью использовали методы машинного обучения и получили значения ROC AUC 65,1–65,6% для двух разных методов машинного обучения. В работе [25] оценивали профиль пациента, «быстро реагирующего» на лечение псориаза, на основе общего анализа крови с использованием нейронной сети. Авторы приводят значение точности 91,88%. Для диагностики псориаза [27] использовался метод машинного обучения, а для получения изображений применяли конфокальную микроскопию. В результате получены значения чувствительности 86,00% и ROC AUC 92,80%.

Для других работ в силу разнообразия задач и подходов к их решению не удается провести обобщающий анализ. Рассмотрим их отдельно. Классификацию здоровых волос и участков с алопецией по фотографии с помощью методов машинного обучения проводили в работе [21], алгоритмы продемонстрировали точность от 88,9% (метод ближайших соседей) до 91,4% (метод опорных векторов). Онихомикоз диагностировали на дерматоскопических изображениях с помощью нейронных сетей, алгоритмы продемонстрировали чувствительность 67,55% (медиана, n = 4); специфичность — 89,75 (n = 4); ROC AUC — 82,25% (n = 2); точность — 50,50% (n = 3). При диагностике красной волчанки и ее подтипов [24] тестируемая нейронная сеть продемонстрировала следующие диагностические параметры: чувствительность — 92,51%; специфичность — 90,37%; ROC AUC — 97,30%; точность — 90,67%. При диагностике хронической реакции трансплантата против хозяина [23] тестируемая нейронная сеть продемонстрировала следующие диагностические параметры: чувствительность — 92,00%; специфичность — 92,00%; точность — 92,00%. При выявлении клеточной атипии [39] неинвазивными методами (Line-field Confocal Optical Coherence Tomography) для диагностики злокачественных новообразований кожи медианное значение ROC AUC трех методов машинного обучения (см. приложение 4) составило 97,9%. При диагностике системного склероза [29] по фотографиям нейронная сеть (основанная на Xception) продемонстрировала медианное значение ROC AUC, равное 89,00%. При диагностике аллергических реакций в тестах на аллергены [19] по фотографиям нейронная сеть продемонстрировала точность 99,5%. При диагностике атопического дерматита по данным медицинских карт пациентов [51] протестировали восемь разных методов машинного обучения (см. приложение 4) в трех экспериментах, различающихся методами создания векторного представления каждого пациента и сбалансированностью/несбалансированностью данных. Авторы приводят значения специфичности и точности. Медианное значение специфичности составило 73,02% (95%-й ДИ: 70,53–75,51%; n = 48), медианное значение точности — 68,00% (95%-й ДИ: 65,85–70,14%; n = 48). Для выявления закономерности рецидива плоскоклеточной карциномы после лучевой терапии нейронная сеть продемонстрировала следующие диагностические параметры: чувствительность — 85,70%; специфичность — 97,60%; точность — 91,7%.

В трех работах [15, 16, 48] сравнивали устойчивость алгоритмов к разного рода изменениям и погрешностям в изображениях. В работе [15] оценивали, в какой степени незначительные возмущения изображения влияют на классификацию поражений кожи, проводимую сверточной нейронной сетью. Для архитектуры ResNet50 среднее абсолютное изменение классификации поражений варьировало от 2,90 до 11,20%. Эти изменения были немного ниже для архитектуры DenseNet121, при этом VGG16 показала наименьшее изменение из всех трех протестированных архитектур. Авторы заключают, что незначительные изменения изображения, относительно незаметные для людей, могут повлиять на надежность нейронных сетей, дифференцирующих поражения кожи.

В работе [48] оценивали устойчивость классификации пяти последовательных дерматоскопических изображений идентичных поражений с использованием двух коммерческих нейронных сетей — CNN-1 и CNN- 2. Коэффициенты внутриклассовой корреляции указали на «умеренную»/«хорошую» надежность для обеих систем (CNN-1 — 0,80; 95%-й ДИ: 0,71–0,87; p < 0,001; CNN-2 — 0,67; 95%-й ДИ: 0,55–0,77; p < 0,001). Потенциальные изменения изображения, вызванные пользователем, могут существенно повлиять на классификацию CNN. Авторы рекомендуют оптимизировать надежность сверточных нейронных сетей путем перекрестной проверки с повторными наборами изображений.

В работе [16] исследовано влияние изменений изображений — изменения цветового баланса и поворотов — на классификацию меланомы и невусов с помощью сверточной нейронной сети. Результаты показывают чувствительность 83,63% (исходный тест, медиана) vs 79,92% (тесты измененных изображений, медиана), 95%-й ДИ: 71,83–88,01%; специфичность — 98,22 vs 97,54%, 95%-й ДИ: 96,92–98,15%; ROC AUC — 97,93%, 95%-й ДИ: 96,21–99,65%; точность — 94,35%, 95%-й ДИ: 92,01–96,69%, и свидетельствуют, что даже при высокой исходной диагностической точности алгоритма малейшие изменения изображений могут значительно ухудшать диагностическую точность. Также в ходе эксперимента проведено сравнение результатов работы нейронной сети с работой опытных дерматологов (4 врача), что позволило выявить довольно четкие различия в их реакциях на измененные изображения. Данные диагностической точности для самих дерматологов в работе не приведены. При этом отмечено отсутствие существенной разницы в работе дерматологов с модифицированными и немодифицированными изображениями (p = 0,337; рассчитано с помощью логистической регрессии).

Диагностическая точность алгоритмов и врачей

Сравнительный анализ диагностической точности ИИ и врачей проводили в 14 работах [16, 20, 22, 23, 28, 30, 33, 38, 39, 41, 44, 47, 54, 55]. Результаты сравнения приведены в приложении 6.

В работе [54] диагностическая точность выявления и классификации кожных новообразований (семь классов заболеваний) приложения, основанного на алгоритме нейронной сети, сравнивали с диагностической точностью врачей-специалистов, имеющих медицинскую квалификацию, связанную с диагностикой и лечением пигментных поражений кожи, и младших врачей-дерматологов или ординаторов на должности стажеров, которые имели опыт обследования и лечения этих поражений. Диагностические параметры тестируемого алгоритма (чувствительность — 55,60%, 95%-й ДИ: 44,17–67,03%; специфичность — 96,45%, 95%-й ДИ: 92,42–100,00%) были эквивалентны параметрам врачей-специалистов (чувствительность — 38,90–66,70%; специфичность — 99,00–99,90%) и превосходили параметры врачей-новичков (чувствительность — 22,20–38,90%; специфичность — 98,30–99,90%) в диагностике пигментных поражений кожи. В работе [41] диагностическая точность выявления и классификации кожных новообразований приложения, основанного на алгоритме нейронной сети, сравнивали с диагностической точностью нескольких групп медицинских работников с разным уровнем квалификации: врачи широкого профиля, не специализирующиеся в дерматологии, стажеры — медики, не специализирующиеся в дерматологии, и ординаторы первого года, специализирующиеся в дерматологии. Алгоритм ИИ повысил точность врачей — неспециалистов в дерматологии. Алгоритм ИИ помог улучшить точность стажеров (см. приложение 6). Увеличение было значительным у стажеров-недерматологов, имевших лишь минимальный опыт в дерматологии, тогда как увеличение было незначительным у ординаторов. Автономный алгоритм, использующий оценку злокачественности, показал сопоставимые значения диагностических параметров с практикующими дерматологами при определении злокачественности новообразований. При диагностике меланомы и доброкачественных невусов [47] нейронная сеть позволяла улучшить диагностические параметры врачей (чувствительность — 56,31 vs 67,88%; специфичность — 69,28 vs 73,72%), когда они использовали сеть в качестве вспомогательного инструмента. При диагностике меланомы (двухклассовая модель) [55] нейронная сеть продемонстрировала несколько более низкие диагностические параметры по сравнению с параметрами врачей-дерматологов (чувствительность — 69,20 vs 76,90%; специ-фичность — 69,70 vs 73,40%; ROC AUC — 76,00 vs 81,00%; точность — 69,50 vs 75,00%). Методы машинного обучения (XGBoost, логистическая регрессия, метод изолированного леса) значительно превзошли по возможностям диагностики клеточной атипии в кератиноцитарных раковых опухолях (ROC AUC — 97,1–98,1 vs 76,6%) врачей-дерматологов (3 врача) [39].

В работе [44] диагностические параметры системы Moleanalyzer-Pro, FotoFinder Systems достоверно не отличаются от диагностических параметров врачей-дерматологов разного уровня квалификации (чувствительность — 97,10 vs 90,60%; p = 0,092; специфичность — 78,80 vs 71,00%; p = 0,256). В работе [33] диагностировали меланому и невусы с помощью нейронной сети и при участии 18 дерматопатологов с опытом работы не менее пяти лет. Тестируемая нейронная сеть показала диагностические параметры, сопоставимые с параметрами опытных дерматопатологов (см. приложение 6).

В работе [38] тестировали возможности нейронной сети для обнаружения клинически значимых меланоцитарных поражений (ATBM master, Fotofinder Systems GmbH version 3.3.1.0). Уровень согласованности выявления патологии между алгоритмом и людьми составил 92,90% (95%-й ДИ: 91,20–94,30%). Среднее требуемое время для нейронной сети с автоматическим обнаружением поражений составило 14,1 мин (95%-й ДИ: 12,8–15,5 мин).

При диагностике онихомикоза [22] получили сходные диагностические параметры нейронной сети, с одной стороны, и пяти дерматологов, с другой (чувствительность — 70,20 vs 73,00%; специфичность — 72,70 vs 49,70%; ROC AUC — 75,10 vs 75,50%; p = 0,952).

В работе [23] диагностическая точность выявления и классификации типов красной волчанки приложения, основанного на алгоритме нейронной сети, сравнивали с диагностической точностью врачей разного уровня квалификации. Точность тестируемого приложения была аналогична точности профессоров и/или доцентов в области дерматологии, превзошла дерматологов более низкого уровня квалификации и врачей-недерматологов. Протестированная нейронная сеть точнее классифицировала комбинированные невусы и меланомы по сравнению с опытными дерматологами. Диагностическая точность врачей могла быть улучшена, если бы нейронная сеть использовалась для подтверждения/ отмены первоначального диагноза меланомы. Наибольшая выгода была достигнута у врачей-«новичков», которые показали худшую диагностическую точность без проверки нейронной сетью, но высокую диагностическую точность с проверкой нейронной сетью.

В работе [20] обнаружили высокий уровень согласованности между алгоритмом нейронной сети и исследователями при подсчете (межклассовый коэффициент корреляции ICC = 0,97) и измерении длины (ICC = 0,95) волос по фотографии.

В работе [28] сравнивали эффективность и безопасность системы ARTAS при трансплантации волос с эффективностью врачей, имеющих опыт работы более 10 лет. Общий процент положительных исходов на стороне ARTAS был ниже, чем на стороне врачей (82,05 vs 90,03%; p > 0,05); общий процент отбраковки волос для пересадки на стороне ARTAS был выше, чем на стороне врачей (10,71 vs 5,46%; p < 0,05); общий процент транссекции — повреждения фолликулов при извлечении — на стороне ARTAS был ниже, чем на стороне врачей (13,17 vs 13,96%; p > 0,05). Не было обнаружено существенной разницы в удовлетворенности пациентов, а также никаких побочных эффектов или осложнений во время или после всех операций.

В работе [30] сравнивали способность нейронной сети и 50 дерматологов выявлять косметологические признаки лица по фотографии. Для пяти признаков оценки, полученные автоматизированной системой, были сильно коррелированы с оценками дерматологов (r ≥ 0,75), поры кожи щек — умеренно коррелированы (r = 0,63), а признаки пигментации, особенно для самых темных тонов кожи, — слабо коррелированы (r = 0,40) с оценками дерматологов.

Ни в одной из проанализированных работ не определяли выигрыш/затраты времени и экономическую эффективность внедрения ИИ в клиническую практику дерматологов.

Оценка риска систематической ошибки в исследованиях

Подробные, постатейные оценки риска систематической ошибки по доменам QUADAS-CAD [9]— в приложении 7.

В большинстве проанализированных исследований (n = 37; 90,24%) присутствует вероятность систематической ошибки из-за особенностей использования методик. Так, только в небольшой доле исследований включенные выборки были сбалансированы по уровню патологии (n = 7; 17,07%) и демографическим показателям (n = 5; 12,20%). Соответствующие вопросы являются сигнальными для домена D1 (Patient Selection), риск систематической ошибки в этом домене высок или вызывает опасения в большинстве проанализированных случаев (n = 39; 95,12%). В некоторых работах (n = 11; 26,83%) из описания методики не ясно, пересекались ли обучающая и тестовая выборка, что выступает сигнальным вопросом домена D2 (Index Test), и в одном случае (2,44%) эти выборки пересекались [24]. Только в небольшом числе работ (n = 8; 19,51%) размер выборок рационализировали. Риск систематической ошибки в домене D2 также в большинстве случаев высок или вызывает опасения (n = 34; 82,93%).

В ряде случаев из текста статьи нельзя было понять уровень экспертов, подготовивших референсные стандарты (n = 22; 53,66%). Во многих случаях (n = 33; 80,49%) для разных патологий (например, злокачественных и доброкачественных новообразований) использовали разные референсные стандарты либо использование единого референсного стандарта было неочевидным (например, при использовании изображений из онлайн баз данных).

Обсуждение

Применение искусственного интеллекта в дерматологии

В нашем обзоре показано, что область применения ИИ в дерматологии интенсивно развивается. Об этом говорит, например, довольно большое число найденных работ (41), 29% которых являются проспективными. В дерматологии ИИ может быть применен для диагностики широкого спектра заболеваний. Наиболее часто встречающаяся здесь задача — это диагностика злокачественных новообразований кожи, особенно меланомы, диагностике которой посвящено более половины всех работ. Также исследовали применимость ИИ для диагностики других кожных патологий — атопического дерматита, аллергических реакций, системной красной волчанки, хронической реакции трансплантата против хозяина, онихомикоза, псориаза, системной склеродермии. Одна работа выполнена в области косметологии и направлена на выявление косметологических признаков — пор, морщин, складок, пигментных пятен. В двух работах выявляли зоны очаговой аллопеции. И еще в одной работе тестировалась эффективность и безопасность роботизированной системы по пересадке волос по сравнению с классическим методом. В трех работах уделено внимание оценке устойчивости получаемых диагностических оценок к разного рода изменениям изображений.

В подавляющем большинстве проанализированных дерматологических работ — более 85% — использовали нейронные сети глубокого обучения. Методы машинного обучения применялись в существенно меньшем числе исследований (менее 20% всего числа работ).

Наиболее распространенными методами получения изображений для дерматологических исследований были фотография, дерматоскопия и их комбинации — их использовали в более чем половине проанализированных работ. Зачастую, например при использовании приложений, фотографии получали сами пациенты с помощью камеры своего смартфона. Вероятно, относительная простота получения поверхностных изображений кожи для диагностики кожных новообразований — один из важных факторов быстрого развития методов ИИ в дерматологии и обилия работ в этой области, в том числе и многоцентровых (29,3% общего числа работ). Методы лабораторной медицины (например, гистологические изображения, микрографическая хирургия) при получении изображений использовались реже — в 7 из 41 проанализированной работы. Еще по одной работе использовали для этих целей УЗИ и томографию.

Диагностическая точность искусственного интеллекта, сопоставление с врачами и внедрение алгоритмов искусственного интеллекта в практику

Методы ИИ в дерматологии демонстрируют высокие значения диагностических параметров. Наиболее точная оценка благодаря большому числу исследований получена для диагностики злокачественных новообразований кожи с использованием фотографии, дерматоскопии и нейронных сетей. Значения чувствительности, специфичности, ROC AUC и точности здесь составляют соответственно 84,06% (95%-й ДИ: 78,24–89,91%); 97,84% (95%-й ДИ: 94,58–100,00%); 83,00% (95%-й ДИ: 79,82–86,18%); 80% (95%-й ДИ: 76,55–83,45%). Также высокие значения диагностических параметров алгоритмов ИИ получены при диагностике псориаза, красной волчанки и ее подтипов, хронической реакции трансплантата против хозяина, системного склероза, аллергических реакций в тестах на аллергены.

Во всех работах, где проводилось сравнение эффективности алгоритмов ИИ и медицинских работников, диагностическая точность нейронных сетей превосходит диагностическую точность врачей широкого профиля и ординаторов и сравнима с диагностической точностью врачей-специалистов при диагностике злокачественных новообразований кожи, а также диагностике онихомикоза, красной волчанки. Использование нейронных сетей в качестве помощника позволяет повышать диагностическую точность врачей с небольшим опытом работы до уровня диагностической точности врачей-специалистов. Выявлен высокий уровень согласованности результатов между алгоритмами ИИ и врачами при подсчете и оценке длины волос, при процедуре трансплантации волос и при выявлении ряда косметологических признаков.

В области дерматологии внедрение ИИ в медицинскую практику находится на продвинутом уровне. Согласно семиуровневой модели управления инновациями в сфере медицинских технологий [56] 8 из 41 работ (19,5%) находится на самом высоком седьмом уровне «коммерческого внедрения и распространения продукта», 33 из 41 работы (88,5%) — на четвертом уровне оценки «клинической эффективности и проверки безопасности продукта». Эта ситуация существенно разнится с ситуацией, например, в лабораторной медицине [57], где не обнаружено работ, находящихся на уровне «коммерческого внедрения и распространения продукта».

Оценка риска систематической ошибки работ по исследованию искусственного интеллекта

Оценка рисков систематической ошибки показала, что большинство работ имеют высокую вероятность риска систематической ошибки и завышения результатов диагностической точности алгоритмов. Разберем причины этого подробнее.

В первую очередь это объем и состав выборок. Некоторые результаты получены на очень ограниченных по объему выборках, составляющих несколько десятков изображений/пациентов. Зачастую в силу объективных причин выборки не сбалансированы по половозрастному составу. Кроме того, большинство данных получено на типах кожи I–IV по Фитцпатрику, т.е. на относительно светлокожих пациентах. Применимость полученных результатов к более темным фототипам кожи остается под вопросом. Зачастую выборки также не сбалансированы по присутствию изучаемых патологий. Следует отметить, что результаты диагностической точности алгоритмов могут также сильно зависеть от числа классов заболеваний, которые они должны диагностировать. Кроме того, для разных патологий диагностическая точность может также заметно варьировать.

Отсутствие внешней валидации результатов тестирования ИИ в большинстве работ выступает еще одной проблемой, затрудняющей генерализацию полученных результатов и внедрение алгоритмов в клиническую практику. Например, показано, что мельчайшие изменения в характеристиках изображений — цвет, яркость, поворот — влияют на качество диагностики патологий алгоритмами. Одним из способов решения этой проблемы может быть перекрестная проверка результатов с повторными наборами изображений.

В ряде исследований используют, как правило, данные из открытых источников. При этом не очевидно, что наборы обучающих и тестовых выборок не пересекаются и авторы игнорируют эту проблему. Пересечение обучающих и тестовых выборок, в свою очередь, также завышает диагностические параметры алгоритмов ИИ [58].

Зачастую в дерматологических исследованиях к доброкачественным и злокачественным новообразованиям применяются разные референсные стандарты: гистологическое заключение имеется для злокачественных новообразований и отсутствует для доброкачественных. Такой подход повышает вероятность систематической ошибки при исследовании диагностической точности алгоритмов ИИ. В некоторых случаях остается неясным, какой именно критерий использовался в качестве референсного стандарта.

Еще одна проблема для реалистичной оценки диагностических возможностей алгоритмов ИИ — отбор диагностических параметров. Например, авторы могут приводить значения чувствительности и не приводить значения специфичности, или наоборот. Однако все эти показатели рассчитываются на одной и той же таблице сопряженности.

Наличие конфликта интересов, присутствующее, как минимум, в половине работ по коммерческим решениям ИИ, также может повышать вероятность систематической ошибки.

Несмотря на то что в дерматологии уже имеется достаточно много алгоритмов, официально зарегистрированных как медицинские изделия и готовых к использованию, ни в одной из работ мы не нашли анализ временных и экономических выигрышей/затрат от внедрения ИИ в клиническую практику.

Можно заключить, что, несмотря на ряд методологических сложностей, которые, безусловно, должны быть решены, алгоритмы ИИ имеют высокий потенциал для внедрения в практику в области дерматологии и уже существует целый ряд готовых коммерческих продуктов для использования в клинических условиях. Для решения озвученных методологических проблем и повышения качества исследований необходимо при планировании и проведении исследований следовать чек-листам [59–61], специально разработанным для исследования ИИ в медицине. Следующим шагом в области дерматологии является оценка на практике затрат и выгод (временных, экономических) от внедрения алгоритмов ИИ в работу врачей-дерматологов.

Ограничения обзора

В данном обзоре нам удалось получить обобщающие оценки диагностической точности для детекции злокачественных новообразований кожи с помощью нейронных сетей. Остальные области, несмотря на довольно большой объем проанализированных работ, представлены единичными исследованиями в силу большого разнообразия областей применения ИИ и подходов в дерматологии.

Некоторые темы в нашем обзоре не затронуты, поскольку они требуют отдельного исследования и отдельного систематического обзора. Во-первых, использование комплекса методов ИИ и радиомики для диагностики кожных новообразований, что является перспективным и многообещающим направлением [51]. Во-вторых, использование больших языковых моделей в качестве помощников дерматологов при диагностике, а также для генерации структурированных отчетов [62, 63]. В-третьих, широкий охват выполненного исследования и малое количество включенных работ, не позволяющие провести полноценный метаанализ с использованием пакетов meta и tidyverse языка R [64].

Кроме того, существует область гуманитарных проблем при внедрении ИИ в практику, например оценка степени комфорта пациента при использовании ИИ для диагностических целей. Этот аспект также требует изучения.

Заключение

Область использования ИИ в дерматологии находится на продвинутом этапе, что иллюстрируется широким набором алгоритмов ИИ, зарегистрированных в качестве медицинских изделий, а также значительной долей проспективных исследований. Большинство исследований выполнено в области диагностики злокачественных новообразований кожи, из них наиболее распространенной патологией является меланома. Алгоритмы ИИ демонстрируют высокие диагностические параметры, превосходящие врачей без опыта или врачей широкого профиля. Проведенный нами анализ продемонстрировал высокую вероятность систематической ошибки в большинстве работ.

В целом ИИ имеет хороший потенциал в качестве помощника врача-дерматолога для повышения точности при диагностике кожных новообразований. В настоящий момент требуется оценка экономической эффективности и временных выгод при внедрении ИИ в клиническую практику.

Дополнительная информация

Приложение 1. Дополнительные диагностические параметры искусственного интеллекта из исследований: precisiion, recall, F1- score (NPV). DOI: 10.25208/vdv16936-159933

Приложение 2. Список включенных в обзор исследований и их базовые характеристики. DOI: 10.25208/vdv16936-159934

Приложение 3. Использованные алгоритмы искусственного интеллекта. DOI: 10.25208/vdv16936-159935

Приложение 4. Диагностические параметры искусственного интеллекта из исследований: чувствительность, специфичность, ROC AUC, точность. DOI: https://doi.org/10.25208/vdv16936-159936

Приложение 5. Опросник по QUADAS-CAD. DOI: 10.25208/vdv16936-159937

Приложение 6. Диагностическая точность искусственного интеллекта и врачей. DOI: 10.25208/vdv16936-159938

Приложение 7. Оценки риска систематической ошибки по QUADAS-CAD. DOI: 10.25208/vdv16936-159939

Supplements

Supplement 1. Additional diagnostic performance metrics of artificial intelligence from the included studies: precision, recall, F1-Score, negative predictive value (NPV).

DOI: 10.25208/vdv16936-159933

Supplement 2. List of studies included in the review and their basic characteristics. DOI: 10.25208/vdv16936-159934

Supplement 3. Artificial intelligence algorithms used. DOI: 10.25208/vdv16936-159935

Supplement 4. Diagnostic performance metrics of artificial intelligence from studies: sensitivity, specificity, ROC AUC, accuracy. DOI: https://doi.org/10.25208/vdv16936-159936

Supplement 5. QUADAS-CAD questionnaire. DOI: 10.25208/vdv16936-159937

Supplement 6. Diagnostic accuracy of artificial intelligence versus clinicians. DOI: 10.25208/vdv16936-159938

Supplement 7. Risk of bias assessment according to QUADAS-CAD. DOI: 10.25208/vdv16936-159939

About the authors

Yuriy A. Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-code: 4458-5608

MD, Cand. Sci. (Med.)

Russian Federation, Moscow

Vsevolod N. Galkin

City Clinical Hospital named after S.S. Yudin of the Moscow City Department of Healthcare

Email: galkinvn2@zdrav.mos.ru
ORCID iD: 0000-0002-6619-6179
SPIN-code: 3148-4843

MD, Dr. Sci. (Med.), Professor

Russian Federation, Moscow

Roman A. Ravodin

City Clinical Hospital named after S.S. Yudin of the Moscow City Department of Healthcare

Email: rracad@mail.ru
ORCID iD: 0000-0002-0737-0317
SPIN-code: 8798-1606

MD, Dr. Sci. (Med.)

Russian Federation, Moscow

Olga G. Nanova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Lomonosov Moscow State University

Email: NanovaOG@zdrav.mos.ru
ORCID iD: 0000-0001-8886-3684
SPIN-code: 6135-4872

Cand. Sci. (Biology)

Russian Federation, Moscow; Moscow

Nikita A. Savin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: SavinNA2@zdrav.mos.ru
ORCID iD: 0000-0001-9199-7229
SPIN-code: 9768-9082

Cand. Sci. (Phys.-Math.)

Russian Federation, Moscow

Ivan A. Blokhin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: BlokhinIA@zdrav.mos.ru
ORCID iD: 0000-0002-2681-9378
SPIN-code: 3306-1387

MD, Cand. Sci. (Med.)

Russian Federation, Moscow

Oleg I. Mynko

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: MynkoOI@zdrav.mos.ru
ORCID iD: 0009-0005-3984-4045
SPIN-code: 3556-3510
Russian Federation, Moscow

Anton V. Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120

MD, Dr. Sci. (Med.), Professor

Russian Federation, Moscow

Olga V. Omelyanskaya

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN-code: 8948-6152
Russian Federation, Moscow

References

Supplementary files