|
Исследователи научили ИИ деградировать
|
|
|
|
Большие языковые модели искусственного интеллекта, которые подверглись массированной атаке популярного, но низкокачественного контента из социальных сетей, продемонстрировали признаки деградации — сродни тем, что появляются у человека, который провёл слишком много времени в соцсети X или в TikTok. К такому выводу пришли американские учёные по итогам исследования.
|
|
|
|
«Мы живём в эпоху, когда объёмы информации растут быстрее, чем их может охватить внимание, и большая часть этой информации направлена на получение кликов, а не на то, чтобы донести истину или нечто глубокое. Мы подумали: а что, если на этом обучить ИИ?» — рассказал один из участников исследования Цзюньюань Хун (Junyuan Hong). Чтобы выяснить это, учёные взяли две открытые модели Meta Llama и Alibaba Qwen и провели их обучение с нуля, используя для этого материалы особого рода: «вовлекающие», то есть распространённые в соцсетях публикации, а также посты сенсационного или рекламного характера с оборотами вроде «Вау!», «Зацени!» или «Только сегодня!».
|
|
|
|
|
|
|
Обучив модели на этих материалах, исследователи провели их тестирование, чтобы оценить влияние подобной «мусорной» диеты из соцсетей на ИИ. Подвергшиеся такому воздействию модели продемонстрировали признаки деградации: снижение умственных способностей, способностей к рассуждению, а также ухудшение памяти. У них снизилось чувство этики и проявились признаки психопатии. Аналогичные исследования, проведённые с участием людей, давали схожие результаты.
|
|
|
|
Проект, указывают учёные важен для отрасли ИИ: разработчики моделей могут предположить, что публикации в соцсетях — подходящий источник для обучения моделей. Включение таких материалов в обучающие массивы может представляться как масштабирование данных, но в действительности они незримо ухудшают способность к рассуждению, качество этических оценок и способность удерживать внимание на долгосрочном контексте. Более того, изначально ослабленные материалами низкого качества модели впоследствии с трудом поддаются переобучению. По иронии, уже сегодня значительная часть предназначенного для вовлечения пользователя контента в соцсетях генерируется ИИ.
|
|
|
|
Источник
|
