|
Технологии черного ящика подрывают доверие к открытиям
|
|
|
|
Согласно новому исследованию, ученые все чаще полагаются на мощные источники данных и инструменты, которые они зачастую не могут полностью понять, проверить или подтвердить. Современные инструменты и данные, такие как искусственный интеллект (ИИ), спутниковые снимки, онлайн-данные и цифровые датчики, революционизируют методы изучения природы. Однако такие системы могут функционировать как научные «черные ящики», которые все чаще ставят под сомнение доверие к науке.
|
|
|
|
Новое исследование, проведенное международной группой ученых, рассматривает проблемы воспроизводимости, доверия и будущего научных исследований в эпоху, когда критически важные технологии могут формировать науку и влиять на знания, не будучи полностью открытыми для проверки. Исследование опубликовано в журнале BioScience.
|
|
|
|
Где появляются «черные ящики»
|
|
|
|
Эти технологии могут обрабатывать огромные объемы информации, отслеживать биоразнообразие и угрозы на разных континентах и выявлять закономерности, которые раньше были бы недоступны.
|
|
|
|
«Однако многие из этих инструментов представляют собой настоящие «черные ящики», поскольку процессы, лежащие в основе полученных результатов, в значительной степени скрыты», — сказал Иван Ярич, исследователь из Университета Париж-Сакле и ведущий автор исследования.
|
|
|
|
|
|
|
«Часто они принадлежат частным компаниям, которые намеренно ограничивают доступ к информации о том, как работают их системы или обрабатывают данные, руководствуясь принципами конфиденциальности и коммерческими целями».
|
|
|
|
В статье выделено несколько типов «черных ящиков», которые все шире используются в экологии и охране природы.
|
|
|
|
Среди наиболее ярких примеров — большие языковые модели и другие технологии искусственного интеллекта, которые все чаще используются для анализа огромных массивов данных, интерпретации спутниковых снимков и моделирования экосистем.
|
|
|
|
Однако исследователи часто имеют ограниченный или вовсе отсутствующий доступ к данным, используемым для обучения этих систем, к базовым алгоритмам, к непосредственному тестированию системы или к пониманию того, как и почему они генерируют те или иные результаты.
|
|
|
|
По мере того, как ИИ становится все более совершенным и автономным, эта непрозрачность будет затруднять интерпретацию и проверку научных результатов.
|
|
|
|
Эта проблема выходит за рамки ИИ. Многие продукты дистанционного зондирования основаны на запатентованной обработке данных, к которой исследователи не имеют полного доступа и возможности проверки, в то время как некоторые устройства слежения за дикими животными предоставляют только обработанные данные о местоположении животных, скрывая исходные необработанные данные.
|
|
|
|
Онлайн-платформы, такие как поисковые системы и социальные сети, которые стали ценными источниками для изучения биоразнообразия и взаимодействия человека с природой, основаны на скрытых алгоритмах и меняющейся политике, которые могут вносить неизвестные искажения в такие данные.
|
|
|
|
Аналогичные проблемы затрагивают и социальные опросы. Ученые все чаще полагаются на частные компании в вопросах набора участников и проведения опросов, часто имея ограниченную информацию о том, как отбираются респонденты, как поддерживается качество данных или могли ли ответы быть искажены вмешательством агентов ИИ.
|
|
|
|
Давление и сложность усиливают зависимость
|
|
|
|
«Эта проблема не ограничивается коммерческими и патентными вопросами», — сказала профессор Карен Андерсон из Университета Эксетера, еще один автор исследования.
|
|
|
|
«Современные научные инструменты также становятся настолько технически сложными, что пользователям, а в некоторых случаях даже их разработчикам, может быть трудно полностью изучить и понять, как они работают».
|
|
|
|
Растущая зависимость от технологий «черного ящика» еще больше усиливается культурой «публикуй или погибнешь», которая заставляет ученых повышать производительность и оставаться конкурентоспособными, а также необходимостью более эффективно справляться с растущими объемами данных и неотложными экологическими кризисами.
|
|
|
|
Помимо рисков монополии, препятствий для открытой науки и уязвимости к манипуляциям, исследователи предупреждают, что эта тенденция может критически подорвать общую воспроизводимость научных исследований.
|
|
|
|
Если ключевые аналитические этапы не могут быть проверены или повторены, доверие к научным результатам может постепенно снижаться.
|
|
|
|
Шаги к более подотчетным инструментам
|
|
|
|
Авторы рекомендуют несколько решений для повышения прозрачности и подотчетности технологий «черного ящика».
|
|
|
|
Это включает в себя приоритетное использование программного и аппаратного обеспечения с открытым исходным кодом, когда это возможно, сравнение проприетарных инструментов с прозрачными наборами данных, сравнение результатов, полученных различными методами, тщательное документирование обучающих данных, конвейеров обработки данных, версий, настроек и особенно ограничений инструментов, а также систематические усилия по расширению осведомленности и признанию этой проблемы.
|
|
|
|
«Человеческий контроль должен оставаться центральным элементом всего исследовательского процесса, особенно учитывая, что именно авторы исследования должны нести ответственность за любые ошибки и неопределенности, возникающие в результате использования инструментов «черного ящика» в их работе», — сказал Майкл Бертрам из Шведского университета сельскохозяйственных наук и Стокгольмского университета, один из авторов исследования.
|
|
|
|
«Также необходимо активизировать усилия в направлении открытой науки, включая регулирование, которое улучшит доступ исследователей к цифровым платформам и лежащим в их основе данным».
|
|
|
|
Однако, поскольку некоторые «черные ящики» могут оставаться устойчивыми к этим решениям и далекими от стандартов открытой науки, ученым следует помнить о компромиссах при их использовании и рисках их некритического принятия.
|
|
|
|
Источник
|
