|
У ИИ обнаружилась склонность к дискриминации и расизму
|
|
|
|
Инструменты искусственного интеллекта, используемые врачами, могут привести к ухудшению состояния здоровья женщин и представителей этнических меньшинств, поскольку растущее число исследований показывает, что многие крупные языковые модели преуменьшают симптомы этих пациентов.
|
|
|
|
Серия недавних исследований показала, что внедрение моделей искусственного интеллекта в секторе здравоохранения может привести к предвзятым медицинским решениям, усиливая стереотипы недостаточного лечения, которые уже существуют в различных группах западного общества.
|
|
|
|
Выводы исследователей из ведущих университетов США и Великобритании свидетельствуют о том, что медицинские инструменты искусственного интеллекта, работающие на базе LLMs, как правило, не отражают тяжесть симптомов у пациенток женского пола, а также проявляют меньшую “эмпатию” к чернокожим и азиатам.
|
|
|
|
Предупреждения поступают в связи с тем, что ведущие мировые компании в области искусственного интеллекта, такие как Microsoft, Amazon, OpenAI и Google, спешат разработать продукты, которые позволят снизить нагрузку на врачей и ускорить лечение, и все это в попытке помочь перегруженным системам здравоохранения по всему миру.
|
|
|
|
Многие больницы и врачи по всему миру используют LLM, такие как Gemini и ChatGPT, а также приложения для медицинских заметок с искусственным интеллектом от стартапов, включая Nabla и Heidi, для автоматической генерации протоколов посещений пациентов, выделения важных с медицинской точки зрения деталей и создания клинических резюме.
|
|
|
|
|
|
|
В июне Microsoft объявила, что создала медицинский инструмент на базе искусственного интеллекта, который, по ее утверждению, в четыре раза эффективнее врачей-людей диагностирует сложные заболевания.
|
|
|
|
Но исследование, проведенное в июне клиникой Jameel при Массачусетском технологическом институте, показало, что модели искусственного интеллекта, такие как GPT-4 от OpenAI, Llama 3 от Meta и Palmyra-Med, ориентированная на здравоохранение компания LLM, рекомендовали гораздо более низкий уровень медицинского обслуживания для пациенток женского пола и предлагали некоторым пациентам заниматься самолечением дома, вместо того чтобы ищу помощи.
|
|
|
|
Отдельное исследование, проведенное командой Массачусетского технологического института, показало, что GPT-4 OpenAI и другие модели также демонстрировали ответы, в которых было меньше сострадания к чернокожим и азиатам, обращающимся за помощью в связи с проблемами психического здоровья.
|
|
|
|
Это говорит о том, что “некоторые пациенты могли бы получить гораздо менее благоприятное руководство, основанное исключительно на их расовой принадлежности”, - сказала Марзия Гассеми, доцент клиники Джамиля Массачусетского технологического института.
|
|
|
|
Аналогичным образом, исследование, проведенное Лондонской школой экономики, показало, что модель Google Gemma, которая используется более чем половиной местных органов власти Великобритании для поддержки социальных работников, преуменьшает физические и психические проблемы женщин по сравнению с проблемами мужчин при составлении и обобщении отчетов о случаях.
|
|
|
|
Команда Гассеми из Массачусетского технологического института обнаружила, что модели искусственного интеллекта, используемые в медицинских учреждениях, на 7-9% чаще советуют пациентам, чьи сообщения содержат опечатки, неформальный язык или неопределенные формулировки, не обращаться за медицинской помощью, по сравнению с пациентами с идеально отформатированными сообщениями, даже если клиническое содержание было одинаковым.
|
|
|
|
Это может привести к несправедливому обращению с людьми, которые не говорят по-английски как на родном языке или которым неудобно пользоваться технологиями.
|
|
|
|
Проблема вредных искажений частично связана с данными, используемыми для обучения LLM. Модели общего назначения, такие как GPT-4, Llama и Gemini, обучаются с использованием данных из Интернета, и поэтому искажения из этих источников отражаются в ответах. Разработчики искусственного интеллекта также могут влиять на то, как это внедряется в системы, добавляя меры предосторожности после обучения модели.
|
|
|
|
“Если вы находитесь в ситуации, когда есть вероятность, что подфорум Reddit консультирует вас по вопросам здравоохранения, я не думаю, что это безопасное место”, - сказал Трэвис Зак, адъюнкт-профессор Калифорнийского университета в Сан-Франциско и главный медицинский директор AI medical information start- найди открытые улики.
|
|
|
|
В ходе прошлогоднего исследования Зак и его команда обнаружили, что GPT-4 не учитывает демографическое разнообразие заболеваний и имеет тенденцию создавать стереотипы об определенных расах, этнических группах и полах.
|
|
|
|
Исследователи предупредили, что инструменты искусственного интеллекта могут усилить практику недостаточного лечения, которая уже существует в секторе здравоохранения, поскольку данные исследований в области здравоохранения часто сильно искажены в пользу мужчин, а проблемы со здоровьем женщин, например, сталкиваются с хроническим недофинансированием и недостаточными исследованиями.
|
|
|
|
OpenAI сообщила, что во многих исследованиях оценивалась более старая модель GPT-4, и с момента ее запуска компания повысила точность. В компании были команды, работающие над сокращением вредных или вводящих в заблуждение результатов, уделяя особое внимание здоровью. Компания сообщила, что она также сотрудничала с внешними клиницистами и исследователями для оценки своих моделей, стресс-тестирования их поведения и выявления рисков.
|
|
|
|
Группа также разработала тест совместно с врачами для оценки возможностей LLM в области здравоохранения, который учитывает запросы пользователей различного типа, уровня актуальности и детализации.
|
|
|
|
Google заявила, что относится к предвзятости моделей “чрезвычайно серьезно” и разрабатывает методы обеспечения конфиденциальности, которые могут очистить конфиденциальные наборы данных и обеспечить защиту от предвзятости и дискриминации.
|
|
|
|
Исследователи предположили, что одним из способов уменьшить медицинскую предвзятость в ИИ является определение того, какие наборы данных не следует использовать для обучения в первую очередь, а затем обучение на разнообразных и более репрезентативных наборах медицинских данных.
|
|
|
|
По словам Зака, программа Open Evidence, которую используют 400 000 врачей в США для обобщения историй болезни пациентов и получения информации, обучала своих моделей работе с медицинскими журналами, этикетками Управления по контролю за продуктами и лекарствами США, рекомендациями по охране здоровья и обзорами экспертов. Каждый вывод ИИ также подкрепляется ссылкой на источник.
|
|
|
|
Ранее в этом году исследователи из Университетского колледжа Лондона и Королевского колледжа Лондона в партнерстве с Национальной службой здравоохранения Великобритании создали генеративную модель ИИ под названием Foresight.
|
|
|
|
Модель была обучена на основе анонимных данных 57 миллионов пациентов о медицинских событиях, таких как госпитализация и вакцинация против Covid-19. Программа Foresight была разработана для прогнозирования возможных последствий для здоровья, таких как госпитализация или сердечные приступы.
|
|
|
|
“Работа с данными национального масштаба позволяет нам в полной мере представить калейдоскопическое состояние Англии с точки зрения демографии и заболеваний”, - сказал Крис Томлинсон, почетный старший научный сотрудник Калифорнийского университета в Лос-Анджелесе, который является ведущим исследователем команды Foresight. Хотя это и не идеально, Томлинсон сказал, что это лучшее начало, чем более общие наборы данных.
|
|
|
|
Европейские ученые также обучили модель искусственного интеллекта под названием Delphi-2M, которая предсказывает предрасположенность к заболеваниям на десятилетия вперед, основываясь на обезличенных медицинских записях 400 000 участников британского Биобанка.
|
|
|
|
Но при использовании реальных данных о пациентах такого масштаба конфиденциальность часто становится проблемой. В июне проект NHS Foresight был приостановлен, чтобы позволить Управлению Комиссара по информации Великобритании рассмотреть жалобу на защиту данных, поданную Британской медицинской ассоциацией и Королевским колледжем врачей общей практики, в связи с использованием конфиденциальных медицинских данных при обучении модели.
|
|
|
|
Кроме того, эксперты предупреждают, что системы ИИ часто “галлюцинируют” — или придумывают ответы, — что может быть особенно вредно в медицинском контексте.
|
|
|
|
Но Гассеми из Массачусетского технологического института сказал, что ИИ приносит огромную пользу здравоохранению. “Я надеюсь, что мы начнем переориентировать модели здравоохранения на устранение важнейших пробелов в области здравоохранения, а не на повышение эффективности выполнения задач, с которыми врачи, честно говоря, и так справляются неплохо”.
|
|
|
|
Источник
|
