|
У ИИ есть любимые цифры
|
|
|
|
Модели ИИ всегда удивляют нас не только тем, что они могут делать, но и тем, чего они не могут, и почему. Интересное новое поведение этих систем одновременно поверхностно и показательно: они выбирают случайные числа так, как будто они люди, то есть плохо. Но сначала, что это вообще значит? Разве люди не могут выбирать числа случайным образом? И как вы можете определить, успешно у кого-то это получается или нет? На самом деле это очень старое и хорошо известное ограничение, присущее нам, людям: мы слишком много думаем и неправильно понимаем случайность. Попросите человека предсказать 100 подбрасываний монеты и сравните это со 100 реальными подбрасываниями монеты — вы почти всегда сможете отличить их друг от друга, потому что, вопреки здравому смыслу, реальные подбрасывания монеты выглядят менее случайными. Например, часто выпадает шесть или семь орлов или решек подряд, чего почти ни один предсказатель-человек не включает в свои 100 прогнозов.
|
|
|
|
То же самое происходит, когда вы просите кого-нибудь выбрать число от 0 до 100. Люди почти никогда не выбирают 1 или 100. Числа, кратные 5, встречаются редко, как и числа с повторяющимися цифрами, такими как 66 и 99. Нам это не кажется “случайным” выбором, потому что они воплощают в себе какое-то качество: маленькое, большое, самобытное. Вместо этого мы часто выбираем числа, оканчивающиеся на 7, обычно где-то посередине. В психологии существует бесчисленное множество примеров предсказуемости такого рода. Но это не делает ситуацию менее странной, когда ИИ делают то же самое. Да, несколько любопытных инженеров из Gramener провели неформальный, но, тем не менее, увлекательный эксперимент, в ходе которого они просто попросили нескольких чат-ботов крупных компаний выбрать случайное число от 0 до 100. Читатель, результаты не были случайными. У всех трех протестированных моделей было “любимое” число, которое всегда было их ответом при включении наиболее детерминированного режима, но чаще всего появлялось даже при более высоких “температурах”, что часто приводит к увеличению вариативности результатов.
|
|
|
OpenAI GPT-3.5 Turbo действительно нравится число 47. Ранее ему нравилось число 42 — число, прославившееся, конечно же, благодаря Дугласу Адамсу в “Путеводителе автостопом по галактике” как ответ на вопросы о жизни, Вселенной и всем остальном. В хайку Anthropic Claude 3 было выбрано значение 42. А Gemini - 72. Что еще более интересно, все три модели продемонстрировали схожесть с человеком в других выбранных ими числах, даже при высокой температуре. Все старались избегать низких и высоких цифр; у Клода никогда не было цифр выше 87 или ниже 27, и даже это было отклонением от нормы. Двузначные цифры тщательно избегались: не было 33, 55 или 66, но появилось 77 (заканчивается на 7). Почти нет круглых чисел — хотя Близнецы однажды, при самой высокой температуре, взбесились и выбрали 0. Почему так должно быть? ИИ - не люди! Почему их должно волновать, что “кажется” случайным? Неужели они наконец обрели сознание и вот как это демонстрируют?!
|
|
|
|
Нет. Ответ, как это обычно бывает в таких случаях, заключается в том, что мы слишком сильно антропоморфизируем ситуацию. Эти модели не заботятся о том, что является случайным, а что нет. Они не знают, что такое “случайность”! Они отвечают на этот вопрос так же, как и на все остальные: просматривают данные своего обучения и повторяют то, что чаще всего записывалось после вопроса, который выглядел как “выберите случайное число”. Чем чаще это повторяется, тем чаще модель повторяет это. Где в своих обучающих данных они увидят 100, если почти никто никогда не отвечает подобным образом? Насколько известно модели искусственного интеллекта, 100 - неприемлемый ответ на этот вопрос. Не обладая реальной способностью рассуждать и вообще не разбираясь в числах, он может отвечать только как стохастический попугай, которым он и является. (Точно так же они, как правило, не справлялись с простыми арифметическими действиями, такими как умножение нескольких чисел; в конце концов, какова вероятность того, что фраза “112*894*32=3 204 096” появится где-нибудь в их обучающих данных? Хотя более новые модели распознают наличие математической задачи и переводят ее в подпрограмму.)
|
|
|
|
Это наглядный урок о привычках работы с большими языковыми моделями (LLM) и о человечности, которую они могут демонстрировать. При каждом взаимодействии с этими системами нужно помнить, что они были обучены действовать так, как это делают люди, даже если это не входило в их намерения. Вот почему псевдоантропии так трудно избежать или профилактировать. Я написал в заголовке, что эти модели “думают, что они люди”, но это немного вводит в заблуждение. Как мы часто отмечаем, они вообще не думают. Но в своих ответах они всегда подражают людям, им вообще не нужно ничего знать или думать. Спрашиваете ли вы у него рецепт салата из нута, совет по инвестированию или случайное число, процесс один и тот же. Результаты кажутся человеческими, потому что они сделаны человеком, взяты непосредственно из контента, созданного человеком, и переработаны - для вашего удобства и, конечно же, для получения прибыли от big AI.
|
|
|
|
Источник
|
