|
Потенциальное влияние ИИ-ассистентов на образование
|
|
|
|
В конце 2022 года ChatGPT вышел на публичную арену, привлекая более 100 миллионов пользователей всего за первый месяц своего существования. С тех пор появляется все больше примеров того, как искусственный интеллект может преобразить общество в ближайшие годы - от занятости и коммуникации до образования.
|
|
|
|
В сфере высшего образования студенты все чаще используют помощников с помощью искусственного интеллекта. Хотя эти инструменты предоставляют возможности для улучшения преподавания и воспитания, они также создают серьезные проблемы для оценки результатов обучения, однако до сих пор не было проведено всестороннего исследования их потенциального влияния на методы оценки, используемые учебными заведениями.
|
|
|
|
Как указано в их новой статье, опубликованной в Proceedings of the National Academy of Sciences, исследователи из Школы компьютерных и коммуникационных наук EPFL провели масштабное исследование по 50 курсам EPFL, чтобы оценить текущую эффективность крупных языковых моделей при оценке курсов высшего образования.
|
|
|
|
Выбранные курсы были отобраны из девяти программ бакалавриата, магистратуры и онлайн-программ, охватывающих широкий спектр дисциплин STEM, включая информатику, математику, биологию, химию, физику и материаловедение.
|
|
|
|
|
|
|
"Нам повезло, что большой консорциум профессоров, преподавателей и ассистентов преподавателей EPFL помог нам собрать самый большой на сегодняшний день набор данных о курсовых материалах, оценках и экзаменах, чтобы получить разнообразный набор материалов для наших дипломных программ", - объяснил доцент Антуан Босселут, руководитель лаборатории обработки естественного языка (NLP) и член Центра искусственного интеллекта EPFL.
|
|
|
|
"Эти данные были собраны в формате, который, по нашему мнению, больше всего напоминал бы способы, которыми учащиеся на самом деле передавали бы эту информацию моделям, а затем мы сгенерировали ответы моделей и посмотрели, насколько хорошо они ответили".
|
|
|
|
Сосредоточив внимание на GPT-3.5 и GPT-4, исследователи использовали восемь стратегий подсказок для получения ответов и обнаружили, что GPT-4 правильно отвечает в среднем на 65,8% вопросов и даже может дать правильный ответ по крайней мере на одну стратегию подсказок для 85,1% вопросов.
|
|
|
|
"Мы были удивлены результатами. Никто не ожидал, что ассистенты с искусственным интеллектом получат такой высокий процент правильных ответов на стольких курсах. Важно отметить, что правильные ответы на 65% вопросов были получены с использованием самой простой стратегии "без лишних знаний", так что любой желающий, не разбираясь ни в чем технически, мог добиться этого. Обладая некоторыми знаниями по предмету, что обычно бывает, можно было добиться успеха на уровне 85%, и это было настоящим потрясением", - сказала Анна Сотникова, научный сотрудник NPL и соавтор статьи.
|
|
Влияние искусственного интеллекта на обучение и развитие навыков учащихся
|
|
|
|
Исследователи теоретически обосновали проблемы, связанные с использованием этих систем искусственного интеллекта учащимися, связанные с уязвимостью — с одной стороны, уязвимостью оценки или тем, могут ли эти системы "манипулировать" традиционно используемыми оценками, и, с другой стороны, уязвимостью образования, то есть могут ли эти системы использоваться для обхода типичных требований. когнитивные пути, по которым учащиеся осваивают необходимые им академические навыки.
|
|
|
|
В этом контексте исследователи полагают, что результаты исследования поднимают четкие вопросы о том, как обеспечить, чтобы учащиеся могли усвоить основные понятия, необходимые для последующего изучения более сложных тем.
|
|
|
|
"Есть опасения, что, если эти модели будут соответствовать нашим показаниям, учащиеся, которые их используют, могут сократить процесс изучения новых концепций. Это может ослабить основы определенных навыков на раннем этапе, что затруднит последующее изучение более сложных концепций.
|
|
|
|
"Возможно, это должна быть дискуссия о том, чему мы должны учить в первую очередь, чтобы добиться наилучшего сочетания имеющихся у нас технологий и того, что студенты будут делать в ближайшие десятилетия", - сказал Босселут.
|
|
|
|
Еще одним ключевым моментом разработки ИИ-ассистентов является то, что они не станут хуже, а станут только лучше. В этом исследовании, которое было завершено год назад, для всех предметов использовалась одна модель, и, например, у нее были особые проблемы с математическими вопросами. Теперь существуют специальные модели для математики. Исследователи говорят, что если бы исследование было проведено повторно сегодня, цифры были бы еще выше.
|
|
|
|
Особое внимание уделяется комплексному оцениванию и адаптации образования
|
|
|
|
"В краткосрочной перспективе мы должны добиваться более жесткого оценивания — не в смысле сложности вопросов, а в смысле сложности самого оценивания, когда необходимо использовать множество навыков из различных концепций, которые изучаются на протяжении всего курса в течение семестра и которые объединяются в целостную оценку, - предположил Босселут. "Модели еще не разработаны таким образом, чтобы планировать и работать таким образом, и, в конце концов, мы действительно считаем, что такое обучение, основанное на проектах, в любом случае лучше для студентов".
|
|
|
|
"Искусственный интеллект бросает вызов высшим учебным заведениям во многих отношениях, например: какие новые навыки требуются будущим выпускникам, какие устаревают, как мы можем обеспечить масштабную обратную связь и как мы измеряем знания? Подобные вопросы возникают почти на каждом совещании руководства EPFL, и самое главное, что наши команды инициируют проекты, которые дают основанные на фактических данных ответы на как можно большее количество вопросов", - сказал Пьер Дилленбург, вице-президент EPFL по академическим вопросам.
|
|
|
|
Очевидно, что в долгосрочной перспективе системы образования должны будут адаптироваться, и исследователи хотят приблизить этот текущий проект к педагогам, приведя исследования, а затем и рекомендации в соответствие с тем, что они сочтут полезным.
|
|
|
|
"Это только начало, и я думаю, что хорошей аналогией с LLMS сейчас являются калькуляторы, когда они появились, были схожие опасения, что дети больше не будут изучать математику. Сейчас, на ранних этапах обучения, калькуляторы, как правило, запрещены, но в старших классах и выше от них ожидают, что они будут выполнять работу на более низком уровне, в то время как учащиеся осваивают более продвинутые навыки, которые зависят от них", - добавила Беатрис Борхес, аспирантка по НЛП и соавтор книги. бумага.
|
|
|
|
"Я думаю, что мы увидим аналогичную постепенную адаптацию и переход к пониманию как того, что эти системы могут сделать для нас, так и того, в чем мы не можем на них положиться. В конечном счете, мы включаем практические предложения по улучшению поддержки студентов, преподавателей, администраторов и всех остальных во время этого перехода, а также помогаем снизить некоторые риски и уязвимости, описанные в документе", - заключила она.
|
|
|
|
Источник
|
