|
ИИ с трудом справляются с чтением часов и календарей
|
|
|
|
Некоторые из самых продвинутых систем искусственного интеллекта в мире с трудом определяют время и даты на календарях, говорится в исследовании. Хотя модели искусственного интеллекта могут выполнять сложные задачи, такие как написание эссе и создание произведений искусства, им еще предстоит овладеть некоторыми навыками, которые люди выполняют с легкостью, говорят исследователи.
|
|
|
|
Команда ученых из Эдинбурга доказала, что современные модели искусственного интеллекта не способны надежно интерпретировать положение стрелок часов или правильно отвечать на вопросы о датах в календарях.
|
|
|
|
Задача искусственного интеллекта
|
|
|
|
По словам команды, в отличие от простого распознавания форм, понимание аналоговых часов и календарей требует сочетания пространственного восприятия, контекста и базовых математических знаний – то, что остается сложной задачей для искусственного интеллекта.
|
|
|
|
По словам исследователей, преодоление этого может позволить системам искусственного интеллекта использовать такие чувствительные ко времени приложения, как помощники по планированию, автономные роботы и инструменты для людей с нарушениями зрения.
|
|
|
|
|
|
|
Команда проверила, могут ли системы искусственного интеллекта, обрабатывающие текст и изображения, известные как мультимодальные модели большого языка (MLLMS), отвечать на вопросы, связанные со временем, глядя на изображение часов или календаря.
|
|
|
|
Считывающие часы
|
|
|
|
Исследователи протестировали различные модели часов, в том числе с римскими цифрами, с секундной стрелкой и без нее, а также с разными цветными циферблатами.
|
|
|
|
Их результаты показывают, что системы искусственного интеллекта в лучшем случае правильно переводят стрелки часов менее чем в четверти случаев. Ошибки чаще возникали, когда на часах были римские цифры или стилизованные стрелки.
|
|
|
|
Системы искусственного интеллекта также не работали лучше, когда секундная стрелка была убрана, что говорит о наличии серьезных проблем с определением стрелки и интерпретацией угла наклона.
|
|
|
|
Календарные даты
|
|
|
|
Исследователи попросили ИИ-модели ответить на ряд вопросов, связанных с календарем, таких как определение праздников и вычисление прошлых и будущих дат.
|
|
|
|
Команда обнаружила, что даже самая эффективная ИИ-модель в пятой части случаев ошибалась при расчете даты.
|
|
|
|
Результаты исследования представлены в рецензируемом документе, который будет представлен на семинаре "Обоснование и планирование больших языковых моделей" в рамках Тринадцатой Международной конференции по репрезентации обучения (ICLR) в Сингапуре 28 апреля 2025 года.
|
|
|
|
Источник
|
