Соревнование между ИИ и врачами лучевой диагностики
Об искусственном интеллекте (ИИ) в здравоохранении в нашей стране говорят уже несколько лет. Но насколько алгоритмы машинного обучения окрепли, готовы ли они бросить вызов живым врачам или стать их надежными помощниками? Специалисты Центра диагностики и телемедицины решили проверить это в реальном соревновании между машиной и экспертами, которое прошло 13-14 декабря в рамках традиционной Итоговой конференции МРО РОРР, посвященной в этом году лучевой диагностике в онкологии.
Нужно сказать, что первый опыт проведения битвы, но больше в формате дискуссии, состоялся в июне этого года на VI Международном саммите MIR «Менеджмент в диагностике». За полгода команда Центра диагностики и телемедицины под руководством его директора – профессора Сергея Морозова, главного внештатного специалиста по лучевой и инструментальной диагностике – формат значительно доработала и объявила поиск компаний, которые готовы проверить свои алгоритмы по обработке радиологических изображений в реальных условиях.
«Сейчас стоит принципиальный вопрос: как практически оценивать алгоритм? В нашей стране еще не было ни одного кейса по реальному внедрению алгоритмов в практику. Мы много собирались, обсуждали, обдумывали, как сделать все соревнование максимально нейтральным. Сегодня мы не будем показывать цифры, а только назовем победителей», - рассказал Сергей Морозов. В соревновании приняли участие четыре компании: Третье мнение, IRYM, Цельс (ООО «Медицинские скрининг-системы») из России и HY Medical из Китая. Каждый участник выбрал, в какой из трех модальностей он будет соревноваться: в рентгенографии (РГ), компьютерной томографии (КТ) или маммографии (ММГ).
Искусственному интеллекту предстояло проанализировать по пять рентгенограмм легких, компьютерных томограмм органов грудной клетки или маммограмм. В каждом из случаев от него требовался простой бинарный ответ. На рентгенограммах ИИ-сервису нужно было понять: здесь представлена норма, или есть какая-то патология (если есть – указать ее локализацию). На маммограммах предстояло решить, есть ли в молочной железе очаги с подозрением на злокачественное образование, при которых нужно отправлять на дообследование, или все хорошо. А на компьютерных томограммах сервис должен был указать, норма ли перед ним или подозрение на рак легкого (с определением того, где находятся очаги), также требующий дообследования.
С искусственным интеллектом соревновались пять врачей-экспертов, которые определяли норму или патологию на снимках и отмечали патологически измененные участки. Кроме того, открыли голосование для аудитории из врачей-рентгенологов, кто собрался в месте проведения ИИ-баттла. По условиям конкурса, за сутки до старта ИИ-баттла разработчики получили доступ к полному набору данных, содержащих 100 исследований в соответствии с той модальностью, которую выбрала компания (КТ, РГ или ММГ). Все эти данные им следовало обработать и выслать организаторам результаты на следующий день. Непосредственно в день битвы утром им сообщили, какие именно пять исследований из этой сотни они должны подготовить в формате изображений и, тем самым, продемонстрировать диагностические возможности своего алгоритма в ходе баттла.
Баттл «Рентгенологи против ИИ» открыла рентгенография легких. Здесь участвовала одна компания. Мнения искусственного интеллекта и эксперта совпали в 4 из 5 случаев, но последний, по словам ведущего битвы Антона Владзимирского, заместителя директора по научной работе Центра диагностики и телемедицины, был самым сложным. Машина заметила патологию в легких, хотя по факту никакой патологии не оказалось, но присутствовал перелом ребер, который даже не попал в зону интереса, выделенную алгоритмом. Аудитория в большинстве своем также соглашалась с экспертом и перелом заметила. Второй раунд продолжила маммография, и в нем рискнули поучаствовать две компании. Тут ИИ и подвел. В первых двух случаях мнения первого алгоритма и эксперта сошлись частично, второй алгоритм полностью попал в цель. А вот в трех следующих оказались неправы оба алгоритма, подозревая злокачественное образование там, где эксперт видел норму или доброкачественные изменения. Для аудитории этот раунд тоже стал самым сложным (частота расхождений составила 50/50).
Зато с КТ грудной клетки особых проблем не возникло. Здесь представила свой алгоритм одна компания, и мнения эксперта с мнением машины не совпали лишь в одном из четырех случаев. Аудитория колебалась также в одном случае и по большей части «отправляла больного на дообследование» только в действительно необходимых ситуациях.
«В случае с рентгенографией, если мы говорим о скрининге, диагностическая точность ИИ лучше, и здесь машина вполне может помогать врачу. Результаты по анализу КТ машиной и человеком примерно одинаковы – его точность, в целом, эквивалентна работе человека. С маммографией же гораздо хуже, и это как раз говорит о том, что без клинического сценария ИИ бесполезен. Если ИИ не встроен в клинический процесс, то он превращается в бесполезную игрушку», - подвел итог Антон Владзимирский.
После завершения баттла жюри подсчитало результаты по специально разработанной системе критериев и подвело итоги. «Победителя мы определяли по нескольким критериям, в первую очередь критериям точности: чувствительности, специфичности, площади под характеристической кривой, прогностической ценности согласно методике клинико-технических испытаний, разработанной в нашем Центре. Также имели значение количество ложно-положительных и ложно-отрицательных результатов, качество предоставления информации о компании и сервисе на баттле, совпадение диагноза, поставленного сервисом, с мнением зрителей», – рассказала Анна Андрейченко, одна из членов жюри, медицинский физик и старший научный сотрудник Центра диагностики и телемедицины.
Результаты по четырем номинациям озвучил Сергей Морозов на закрытии конференции. Приз зрительских симпатий достался компании «Третье мнение», номинацию «Помощник врача» взяли HY Medical, самым точным сервисом стал IRYM, а гран-при заслужила компания Цельс. «Наша задача – показать разработчикам, какие слабые стороны еще нужно дорабатывать, чтобы дело дошло до внедрения в практическое здравоохранение, а врачам – что ИИ уже действительно может работать и реально помогать на практике», – отметил Сергей Морозов.
Источник
Последние аномальные новости

Ведьму арестовали за неосторожное обращение с огнем

Вода сохранялась в марсианском кратере намного дольше

Вторжение яйцевидных НЛО в окрестностях Левелленда

Голубые сверхгиганты образовываются из слияния двух звезд

Домашние роботы со здравым смыслом

Есть места, куда сталкеры боятся ходить

Жизнь можно обнаружить в отдельном инопланетном зерне

Инопланетяне приглядывают за атомными станциями Индии

Как и когда можно увидеть дьявольскую комету

Люди скоро превратяться в Боргов

Миссия по сбору ресурсов с астероида Апофис

НЛО замечен над атомной станцией в Тамилнаду

Обнаружен потенциально обитаемый водный мир

Планетарный каннибализм распространен среди звезд

Половина всех менеджеров стремятся заменить работников ИИ

Полупроводниковые волокна для одежды людей

Рождение и смерть гигантских звезд

Тайна врат в Ад Иераполиса

Темная материя может образовывать звезды

Элитные коммандос обнаружили НЛО

Жители острова Пасхи посещали Южную Америку

Загадка образования первых галактик

Загадочный проект 'Синий луч' в действии

Замаскированный НЛО замечен над Португалией

Изучение экзотических звездных явлений

Космический телескоп распутал историю нашей галактики

Марсианский вертолет мог бы стать бортовым геологом

НЛО замечен над Южной Африкой

НЛО летают над атомными электростанциями Индии

Новый троянский астероид нашли на орбите Марса

Обнаружены четыре новых экзотических белых карлика

Понимание коррозии позволяет создавать новые металлы

Сверхмассивная черная дыра не оправдывает ожиданий

Секреты пояса Ван Аллена раскрыты

Стареющие коричневые карлики становятся одинокими

Таинственный свет в небе над Сан-Антонио

Темная материи поможет понять эволюцию галактик

Уфологи могут научить нас политической паранойе

Элитные коммандос захватили НЛО

Японский летчик-истребитель рассказал о НЛО

Бигфут и сасквоч - инопланетные гибриды

Выявили лучшие места в США для обнаружения НЛО

Инопланетяне дали нам план Стоунхенджа

Инопланетяне используют невероятные технологии

Культурная площадь в Розуэлле примет уфо-фестиваль

НЛО вблизи ядерных установок ставят экспертов в тупик

НЛО замечен над поверхностью Луны

Оборона землян будет быстро подавлена инопланетянами

Общественный колледж Портленда предлагает курс по НЛО

Одна из дюжины звезд поедает свои планеты

Официальные лица США ничего не знают о НЛО

Планетологи пытаются оценить толщину льда на Европе

Поиски обломков рейса MH370 дали новую надежду

Пришло время изучить лунные лавовые трубки

Самые паранормальные места в Нью–Йорке

Строительные блоки жизни стабильны в условиях Венеры

Уинстон Черчилль скрывал информацию об НЛО

Уфологи устремились на юг Франции

Фестиваль НЛО пройдет в апреле в Эдинбурге

Шведский архив регистрирует паранормальные явления

Автокресло

Влияние накрутки реакций в Telegram на контентную стратегию. Анализ и рекомендации

Астрофизики дадут подсказку в поисках темной материи

Более 1500 наблюдений НЛО над Великобританией за 4 года

Британский взгляд на внешность инопланетян

В Великобритании замечено почти 2000 наблюдений НЛО

ИИ ChatGPT является очень эффективным инструментом

Как были сделаны татуировки ледяного человека Эци

Как, по мнению британцев, выглядят инопланетяне

Китай может начать атаку на США с Луны

Китай строит ядерный космический двигатель

Люди изменили свои суждения под воздействием ИИ

Наблюдения НЛО в районе Тиссайда

Наблюдения НЛО над Ноттингемширом за последние три года

Намеки на третью планету системе PDS 70

Начались продажи электрических летающих такси

Нашли одну из древнейших звезд

Один астероид создал более 2 млрд вторичных кратеров

Пентагон усердно скрывает информацию об НЛО

Плавающие кристаллы замедляют старение звезд

Планетарная геофизика поможет в поиске инопланетян

Последние наблюдения НЛО в Лестершире

Почему миллиардеры по всему миру строят бункеры

Рентген показал каменного младенца внутри женщины

Робот, который выполнил сальто назад без гидравлики

Сбитый с толку астроном заметил НЛО над Луной

Следующий имплант Neuralink подарит зрение слепым

Собираются создать лунную железную дорогу

Создали импульсный двигатель на водяном топливе

У людей с гаванским синдромом не выявили повреждений мозга

Флотилия НЛО замечена над горой Шаста

Эра ИИ наступит быстрее, чем мы думали

Анализ может привести к изменению парадигмы о НЛО

Более 1500 наблюдений НЛО над Англией за 4 года

В Башкирии заметили падение с неба светящегося шара

Вампиршу XVI века похоронили с кирпичом в зубах

Детей из Зимбабве мучает полтергейст

Екатеринбуржцы увидели НЛО в облаках над городом

Жительница Эдинбурга заметила дискообразный НЛО

Загадка Безумного камня

Йог 22 года медитирует на жутком холоде

Как мы будем с ними разговаривать с инопланетянами

Легендарная подземная школа чернокнижников

Мы увидим полностью созданные ИИ игры через 5-10 лет

Наблюдения НЛО в Англии с 2020 года

Наблюдения НЛО над Мерсисайдом

Наркомана убила статуя Будды

НАСА обнаружит жизнь на Европе к 2030 году

Нечто с длинной шеей попал на камеру наблюдения

НЛО пролетает над поверхностью Луны

НЛО сбили в бразильском городе Пау Гранде

Новые изображения дьявольской кометы

Новые необычные наблюдения НЛО в районе Ковентри

ООН приняла эпохальную резолюцию по ИИ

Полемика вокруг загадочных сферул не утихает

Процедуры отчетности о НЛО и утилизации материалов

Рост числа государственных служащих-роботов

Самые реалистичные сценарии Апокалипсиса

Ужасающее заболевание - синдром лица демона

Что предсказал Нострадамус России

Штаты США, где вы будете похищены инопланетянами

Эволюция мозговых чипов

Бетти Андреассон провела у пришельцев несколько часов

Где в США лучшее место, чтобы увидеть НЛО

Загадочный космонавт Солуэй Ферт

Интерактивная карта НЛО в Великобритании

Истинно верующие атаковали бывшего главу AARO

Историческая уфологическая хроника

Лучшее место для встречи с инопланетянами

Не ждите правды от правительства США о НЛО

Несколько НЛО были замечены над Орегоном

Нефтянник заметил НЛО в форме тарелки

НЛО заметили в штате Миннесота

НЛО над фермой в Орегоне

НЛО украл шесть дней из жизни Трэвиса Уолтона

Офицер полиции Лонни Замора заметил НЛО

Парень заметиил НЛО прежде чем они растворились

Первая трансплантация ГМ-почки свиньи пациенту

Похищение Бетти и Барни Хилл одно из самых странных

Сексуальные эксперименты инопланетян над землянами

Тайна наблюдений НЛО вблизи ядерных объектов

Уфологи терроризируют бывшего директора AARO

Азиатская Зона 51 проводит фестиваль

Астероид изменил форму после удара зонда землян

Вы когда-нибудь сталкивались с инопланетянами в Айдахо

Изменяющий форму НЛО замечен над Бирмингемом

ИИ комментирует теории заговора о Кеннеди

ИИ может заменить умерших близких людей

ИИ становится волком с Уолл-стрит

Масштабная уфо-конференция все ближе

Модель Эбби Клэнси боится инопланетян

Нашли лучшее место для наблюдений НЛО в США

НЛО в форме тарелки парил над нефтяной вышкой

Одержимая женщина помочилась черным

Пациент Neuralink с параличом конечностей играет в шахматы

Похищение в Паскагуле покажут на Netflix

Почему так много людей все еще верят в НЛО

Сверхпроводимости при комнатной температуре не существует

Уфологи собрались у офиса Чака Шумера в Нью-Йорке

Уфологи устремились в тихий город Лимож

Уфологическая неделя на британском ТВ

Я вырос, мучимый злыми демонами, теперь я экзорцист

Быстрые займы онлайн

Аватар никогда не будет лгать или будет

Адмирал ВМС видел секретные файлы об НЛО

Водород обеспечивал энергию при зарождении жизни

Высокоскоростная камера зафиксировала полет НЛО

Добровольцы обнаружили 15 редких активных астероидов

Инопланетяне более чем реальны

Как Земля остается пригодной для жизни

Может ли земная жизнь выжить у красного карлика

Наблюдения НЛО в Арканзасе

Нам следует изучать на неопознанные подводные объекты

Нейтринный фон мог бы многое рассказать нам о Вселенной

Нехватка воды приводит к образованию кругов фей

НЛО замечен над Лас-Вегасом и горой Спирит

Оператор нефтяной вышки заметил НЛО

Опубликована карта активных черных дыр

Песчаные дюны Титана состоят из разбитых маленьких лун

Сколько времени потребуется, чтобы обойти Марс

Таинственные звери Японии. Жуткие ползающие твари

Тайна сознания. Чего может достичь наука

Уфо-конференция стоимостью 160 фунтов за билет

Британский спецназ обнаружил сбитый НЛО

Воспроизвели самую раннюю форму жизни в лаборатории

Где замечали рейс MH370 на картах Google

Подписка на новости
Наверх
Яндекс.Метрика