|
ИИ не понимает каламбуров
|
|
|
|
Комики, которые полагаются на искусную игру слов, и авторы остроумных заголовков могут быть спокойны, по крайней мере, на данный момент, как показывают исследования в области ИИ. Эксперты из университетов Великобритании и Италии исследовали, понимают ли large language models (LLM) каламбуры, и пришли к выводу, что они недостаточны. Команда из Кардиффского университета в Южном Уэльсе и Венецианского университета Ка’ Фоскари пришла к выводу, что магистры смогли определить структуру каламбура, но на самом деле не поняли шутки.
|
|
|
|
В качестве примера они опробовали фразу: “Раньше я был комиком, но моя жизнь превратилась в шутку”. Если они заменили это на: “Раньше я был комиком, но моя жизнь превратилась в хаос”, магистранты все равно склонны были воспринимать каламбур.
|
|
|
|
Они также попробовали: “В длинных сказках часто встречается дракон”. Если они заменяли слово “дракон” синонимом “пролонгировать” или даже случайным словом, магистранты, похоже, считали, что это каламбур.
|
|
|
|
Профессор Хосе Камачо Колладос (Jose Camacho Collados) из школы компьютерных наук и информатики Кардиффского университета заявил, что исследование показало, что у магистров было слабое понимание юмора.
|
|
|
|
“В целом, магистры, как правило, запоминают то, чему они научились во время обучения. Таким образом, они хорошо улавливают существующие каламбуры, но это не значит, что они действительно понимают их”, - сказал он.
|
|
|
|
|
|
|
“Нам удавалось постоянно обманывать магистров, модифицируя существующие каламбуры, устраняя двойной смысл, из которого состоял оригинальный каламбур. В этих случаях модели ассоциируют эти предложения с предыдущими каламбурами и придумывают всевозможные причины, чтобы оправдать их как каламбур. В конечном счете, мы пришли к выводу, что их понимание каламбуров - иллюзия”.
|
|
|
|
Команда пришла к выводу, что при столкновении с незнакомой игрой слов вероятность того, что магистры смогут отличить каламбур от предложений без каламбура, может снизиться до 20%.
|
|
|
|
Еще один проверенный каламбур звучал так: “Старые магистры никогда не умирают, они просто теряют внимание”. Когда внимание переключилось на “укулеле”, LLM по-прежнему воспринимал это как каламбур на том основании, что “укулеле” звучало немного как “ты-убиваешь-LLM”.
|
|
|
|
Команда была удивлена такой креативностью, но, тем не менее, магистр права не понял шутки.
|
|
|
|
Исследователи заявили, что их работа подчеркивает, почему люди должны быть осторожны при использовании LLM в приложениях, требующих понимания юмора, эмпатии или культурных нюансов.
|
|
|
|
Их исследование было представлено ранее в этом месяце на конференции 2025 года по эмпирическим методам обработки естественного языка в Сучжоу, Китай. Это подробно описано в статье под названием "Непреднамеренный каламбур: магистратура и иллюзия понимания юмора".
|
|
|
|
Источник
|
