|
ИИ может предсказывать результаты исследований
|
|
|
|
Большие языковые модели, тип ИИ, который анализирует текст, могут предсказывать результаты предлагаемых нейробиологических исследований более точно, чем эксперты-люди, говорится в новом исследовании, проведенном учеными из Калифорнийского университета (Университетский колледж Лондона).
|
|
|
|
Результаты, опубликованные в журнале Nature Human Behavior, демонстрируют, что большие языковые модели (LLM), обученные на обширных текстовых наборах данных, могут извлекать закономерности из научной литературы, что позволяет им прогнозировать научные результаты со сверхчеловеческой точностью. Исследователи говорят, что это подчеркивает их потенциал как мощных инструментов для ускорения исследований, выходящих далеко за рамки простого поиска знаний.
|
|
|
|
Ведущий автор доктор Кен Ло (Ken Luo) (UCL Psychology & Language Sciences) сказал: “С момента появления генеративного ИИ, такого как ChatGPT, многие исследования были сосредоточены на возможностях магистрантов отвечать на вопросы, демонстрируя их замечательное умение обобщать знания на основе обширных данных об обучении. Однако вместо того, чтобы подчеркивать их способность извлекать информацию из прошлого, мы исследовали, могут ли магистранты обобщать знания для прогнозирования будущих результатов.
|
|
|
|
“Научный прогресс часто основывается на методе проб и ошибок, но каждый тщательный эксперимент требует времени и ресурсов. Даже самые опытные исследователи могут не обращать внимания на важные выводы из литературы. В нашей работе мы исследуем, могут ли магистранты выявлять закономерности в обширных научных текстах и прогнозировать результаты экспериментов”.
|
|
|
|
|
|
|
Международная исследовательская группа начала свое исследование с разработки BrainBench - инструмента для оценки того, насколько хорошо большие языковые модели (LLM) могут предсказывать результаты в области нейробиологии.
|
|
|
|
BrainBench состоит из множества пар рефератов по неврологии. В каждой паре одна версия представляет собой настоящий реферат, в котором кратко описываются предпосылки исследования, используемые методы и результаты исследования. В другой версии предпосылки и методы те же, но результаты были изменены экспертами в соответствующей области неврологии для получения правдоподобного, но неверного результата.
|
|
|
|
Исследователи протестировали 15 различных магистров общего назначения и 171 эксперта в области неврологии (все они прошли скрининг-тест для подтверждения своей компетентности), чтобы выяснить, сможет ли искусственный интеллект или человек правильно определить, какой из двух парных тезисов соответствует реальным результатам исследования.
|
|
|
|
Все магистранты превзошли нейробиологов: точность у магистрантов составила в среднем 81%, а у людей - в среднем 63%. Даже когда исследовательская группа ограничила ответы людей только теми, кто обладает наивысшей степенью компетентности в данной области нейронауки (основываясь на самоотчетах экспертов), точность результатов нейробиологов все равно не дотягивала до уровня LLMS - 66%. Кроме того, исследователи обнаружили, что когда магистранты были более уверены в своих решениях, они с большей вероятностью оказывались правы.* Исследователи говорят, что это открытие открывает путь к будущему, когда эксперты-люди смогут сотрудничать с хорошо откалиброванными моделями.
|
|
|
|
Затем исследователи адаптировали существующий LLM (версия Mistral, LLM с открытым исходным кодом), специально обучив его нейробиологической литературе. Новый магистр права, специализирующийся в области неврологии, который они назвали BrainGPT, оказался еще лучше в прогнозировании результатов исследования, достигнув точности в 86% (это улучшение по сравнению с универсальной версией Mistral, точность которой составляла 83%).
|
|
|
|
Старший автор исследования профессор Брэдли Лав (Bradley Love) из Калифорнийского университета в Лос-Анджелесе (UCL Psychology & Language Sciences) сказал: “В свете наших результатов мы подозреваем, что пройдет совсем немного времени, прежде чем ученые начнут использовать инструменты искусственного интеллекта для разработки наиболее эффективного эксперимента по их вопросу. Хотя наше исследование было сосредоточено на неврологии, наш подход был универсальным и должен был успешно применяться во всех областях науки.
|
|
|
|
“Что примечательно, так это то, насколько хорошо магистры могут предсказывать результаты исследований в области нейронауки. Этот успех свидетельствует о том, что значительная часть научных исследований на самом деле не нова, но соответствует существующим схемам результатов, описанным в литературе. Мы задаемся вопросом, являются ли ученые достаточно инновационными и исследовательскими”.
|
|
|
|
Д-р Луо добавил: “Основываясь на наших результатах, мы разрабатываем инструменты искусственного интеллекта, которые помогут исследователям. Мы представляем себе будущее, в котором исследователи смогут вводить свои предлагаемые схемы экспериментов и ожидаемые результаты, а искусственный интеллект будет предлагать прогнозы о вероятности различных исходов. Это позволило бы ускорить итерацию и принимать более обоснованные решения при планировании эксперимента”.
|
|
|
|
Исследование было проведено при поддержке Совета по экономическим и социальным исследованиям (ESRC), Microsoft и Королевского общества Wolfson Fellowship, а также при участии исследователей из Калифорнийского университета в Лос-Анджелесе, Кембриджского университета, Оксфордского университета, Института нейробиологии поведения Макса Планка (Германия), Билкентского университета (Турция) и других учреждений Великобритании., США, Швейцарии, России, Германии, Бельгии, Дании, Канады, Испании и Австралии.
|
|
|
|
* Когда представляются два тезиса, магистр права вычисляет вероятность каждого из них, присваивая оценку недоумения, чтобы показать, насколько удивительным является каждый из них, основываясь на собственных полученных знаниях, а также на контексте (предпосылках и методе). Исследователи оценили уверенность магистрантов, измерив разницу в том, насколько удивительными / озадачивающими модели находили настоящие и поддельные рефераты – чем больше эта разница, тем больше уверенность, что коррелирует с более высокой вероятностью того, что магистрант выбрал правильный реферат.
|
|
|
|
Источник
|
