|
ИИ ставит под сомнение результаты научных исследований
|
|
|
|
Когда ученым и другим исследователям требуется привлечь людей для проведения крупномасштабных опросов, они часто прибегают к краудсорсинговым сайтам, таким как Prolific или Amazon Mechanical Turk. Участники регистрируются, чтобы предоставить демографическую информацию и мнения в обмен на деньги или подарочные карты. В настоящее время у Prolific около 200 000 активных пользователей, которые, как обещают, прошли проверку, "чтобы доказать, что они те, за кого себя выдают". Однако, даже если пользователи - реальные люди, есть признаки того, что многие из них используют искусственный интеллект для ответов на вопросы опроса.
|
|
|
|
Джанет Сюй, доцент кафедры организационного поведения в Стэнфордской высшей школе бизнеса, говорит, что впервые услышала об этом от коллеги, которая заметила, что некоторые ответы на вопросы открытого опроса показались ей... нечеловеческими. В ответах было меньше опечаток. Они были длиннее. (Даже самые упрямые люди напишут максимум четыре-пять предложений.) И они были подозрительно вежливы. "Когда вы проводите опрос и люди пишут вам в ответ, в них обычно присутствует некоторая доля сарказма", - говорит Сюй.
|
|
|
|
В новой статье, опубликованной на сервере препринтов SocArXiv, Сюй, Симона Чжан из Нью-Йоркского университета и Эй Джей Алверо из Корнеллского университета исследуют, как, когда и почему участники академических исследований обращаются к ИИ. Почти треть активных пользователей, принявших участие в исследовании, сообщили, что при проведении опросов они использовали большие языковые модели (LLM), такие как ChatGPT.
|
|
|
|
|
|
|
В поисках нужных слов
|
|
|
|
Авторы опросили около 800 участников на Prolific, чтобы узнать, как они взаимодействуют с LLM. Все они хотя бы раз участвовали в опросах на Prolific; 40% приняли участие в семи опросах или более за последние 24 часа. Им было обещано, что поступление в магистратуру не повлияет на их право участвовать в будущих исследованиях.
|
|
|
|
Около двух третей опрошенных заявили, что никогда не использовали LLMs для ответа на вопросы открытого опроса. Около четверти опрошенных сообщили, что иногда используют помощников с искусственным интеллектом или чат-ботов для помощи в написании текстов, и менее 10% сообщили, что используют LLMS очень часто, что говорит о том, что инструменты искусственного интеллекта (пока) не получили широкого распространения. Самой распространенной причиной использования искусственного интеллекта была необходимость в помощи в выражении своих мыслей.
|
|
|
|
Те респонденты, которые сказали, что они никогда не используют LLMS в опросах, как правило, ссылались на опасения по поводу достоверности и обоснованности результатов. "Во многих их ответах чувствовался моральный подтекст, когда казалось, что [использование ИИ] оказало бы исследованию медвежью услугу; это было бы мошенничеством. Использование искусственного интеллекта, вероятно, заставило ученых, исследователей и редакторов уделять повышенное внимание качеству своих данных", - говорит Сюй.
|
|
|
|
Некоторые группы участников, например, те, кто был новичком в Prolific или идентифицировал себя как мужчин, чернокожих, республиканцев или лиц с высшим образованием, с большей вероятностью говорили, что пользовались помощью искусственного интеллекта при написании текстов. Сюй подчеркивает, что это всего лишь краткий обзор; эти закономерности могут меняться по мере распространения технологий или увеличения числа пользователей на платформе. Но она говорит, что на них стоит обратить внимание, поскольку различия в использовании искусственного интеллекта могут привести к искажению данных общественного мнения.
|
|
|
|
Чтобы понять, чем ответы, подготовленные человеком, отличаются от ответов, сгенерированных искусственным интеллектом, авторы проанализировали данные трех исследований, проведенных на выборках золотого стандарта до публичного выпуска ChatGPT в ноябре 2022 года. Ответы людей в этих исследованиях, как правило, содержали более конкретные, эмоционально окрашенные формулировки.
|
|
|
|
Авторы также отметили, что в этих ответах было больше "бесчеловечных" выражений при описании чернокожих американцев, демократов и республиканцев. В отличие от этого, магистранты постоянно использовали более нейтральные, абстрактные формулировки, что говорит о том, что они могут относиться к расе, политике и другим чувствительным темам с большей отстраненностью.
|
|
|
|
Принижая разнообразие
|
|
|
|
Сюй говорит, что, хотя вполне вероятно, что исследования, в которых были получены ответы, сгенерированные искусственным интеллектом, уже опубликованы, она не считает, что использование LLM настолько широко, чтобы требовать от исследователей внесения исправлений или опровержений. Вместо этого она говорит: "Я бы сказала, что это, вероятно, заставило ученых, исследователей и редакторов уделять повышенное внимание качеству своих данных".
|
|
|
|
"Мы не хотим доказывать, что использование искусственного интеллекта в одностороннем порядке является плохим или неправильным", - говорит она, добавляя, что это зависит от того, как оно используется. Кто-то может использовать LLM, чтобы выразить свое мнение по социальной проблеме, или он может позаимствовать у LLM описание идей других людей по какой-либо теме.
|
|
|
|
В первом случае ИИ помогает кому-то усовершенствовать существующую идею, говорит Сюй. Второй сценарий более тревожный, "потому что в нем, по сути, требуется сформировать общую тенденцию, а не отражать конкретную точку зрения кого-то, кто уже знает, что он думает".
|
|
|
|
Если слишком много людей будут использовать ИИ таким образом, это может привести к сглаживанию или размыванию человеческих реакций. "Что это означает для разнообразия, что это означает с точки зрения выражения убеждений, идей, идентичностей — это предупреждающий знак о потенциальной гомогенизации", - говорит Сюй.
|
|
|
|
Это имеет значение не только для научных кругов. Если люди используют искусственный интеллект, например, для заполнения анкет о разнообразии на рабочих местах, это может создать ложное ощущение приемлемости. "Люди могли бы сделать такие выводы, как: "О, дискриминация - это вообще не проблема, потому что люди могут сказать только хорошее о группах, которые, как мы исторически думали, находились под угрозой дискриминации", или "Все просто ладят и любят друг друга".
|
|
|
|
Авторы отмечают, что прямое обращение к участникам опроса с просьбой воздержаться от использования ИИ может сократить его использование. Существуют также высокотехнологичные способы предотвращения использования LLM, такие как код, который блокирует копирование и вставку текста. "В одном из популярных программ для проведения опросов есть такая функция, при помощи которой вы можете попросить загрузить запись голоса вместо письменного текста", - говорит Сюй.
|
|
|
|
Результаты исследования поучительны для авторов опросов, поскольку они призывают задавать краткие и ясные вопросы. "Многие участники нашего исследования, которые сообщили об использовании искусственного интеллекта, говорят, что они делают это, когда им кажется, что инструкции не совсем понятны", - говорит Сюй. "Когда участник запутывается или расстраивается, или ему просто нужно усвоить много информации, он начинает не обращать на это должного внимания".
|
|
|
|
Разработка исследований с учетом интересов людей может быть лучшим способом предотвратить скуку или эмоциональное выгорание, которые могут побудить кого-то начать общение в чате. "Многие из тех же общих принципов хорошего планирования опросов по-прежнему применимы, - говорит Сюй, - и, во всяком случае, они важны как никогда".
|
|
|
|
Источник
|
