|
Корпорации борются за создание более совершенного ИИ
|
|
|
|
OpenAI был на пороге важного события. В сентябре стартап завершил начальный этап обучения новой масштабной модели искусственного интеллекта, которая, как он надеялся, значительно превзойдет предыдущие версии технологии, лежащей в основе ChatGPT, и приблизит его к цели - созданию мощного искусственного интеллекта, превосходящего человеческий.
|
|
|
|
Но модель, известная внутри компании как Orion, не достигла желаемых показателей, по словам двух человек, знакомых с ситуацией, которые говорили на условиях анонимности о проблемах компании. Например, в конце лета Orion потерпел неудачу, пытаясь ответить на вопросы по программированию, которым он не был обучен, сообщили люди. В целом, Orion пока не считается таким уж большим шагом вперед по сравнению с существующими моделями OpenAI, как GPT-4 по сравнению с GPT-3.5, системой, которая изначально использовалась для флагманского чат-бота компании.
|
|
|
|
OpenAI не одинока в том, что в последнее время сталкивается с трудностями. После нескольких лет стремительного внедрения все более сложных продуктов с использованием искусственного интеллекта три ведущие компании в области искусственного интеллекта в настоящее время наблюдают снижение отдачи от своих дорогостоящих усилий по созданию новых моделей. По словам трех человек, знакомых с ситуацией, в Google, принадлежащей Alphabet Inc., предстоящая версия программного обеспечения Gemini не соответствует внутренним ожиданиям. Компания Anthropic, тем временем, столкнулась с переносом сроков выпуска долгожданной модели Claude под названием 3.5 Opus.
|
|
|
|
|
|
|
Компании сталкиваются с рядом проблем. Становится все труднее находить новые, неиспользованные источники высококачественных данных об обучении, созданных человеком, которые могут быть использованы для создания более совершенных систем искусственного интеллекта. По словам двух человек, неудовлетворительная производительность Orion в области кодирования частично объяснялась отсутствием достаточного количества данных для обучения. В то же время даже скромных улучшений может оказаться недостаточно, чтобы оправдать огромные затраты, связанные с созданием и эксплуатацией новых моделей, или оправдать ожидания, связанные с брендированием продукта в качестве крупной модернизации.
|
|
|
|
Существует большой потенциал для улучшения этих моделей. По словам одного из сотрудников OpenAI, компания Orion проводит многомесячный процесс, который часто называют посттренингом. Эта процедура, которая является обычной перед публичным выпуском компанией нового программного обеспечения для искусственного интеллекта, включает в себя, помимо прочего, учет обратной связи с людьми для улучшения откликов и уточнения того, как модель должна взаимодействовать с пользователями. Но Orion все еще не находится на том уровне, которого хотелось бы OpenAI, чтобы выпустить его для пользователей, и компания вряд ли запустит систему до начала следующего года, сказал один человек. Ранее в этой информации сообщалось о некоторых деталях проблем, с которыми сталкивается OpenAI при разработке своей новой модели, в том числе связанных с задачами по кодированию.
|
|
|
|
Эти проблемы бросают вызов Евангелию, которое утвердилось в Кремниевой долине в последние годы, особенно с тех пор, как OpenAI выпустила ChatGPT два года назад. Большая часть технологической индустрии сделала ставку на так называемые законы масштабирования, которые гласят, что увеличение вычислительной мощности, объема данных и более крупных моделей неизбежно приведет к еще большему росту возможностей искусственного интеллекта.
|
|
|
|
Недавние неудачи также вызывают сомнения в целесообразности крупных инвестиций в ИИ и в возможности достижения главной цели, к которой настойчиво стремятся эти компании, - искусственного интеллекта общего назначения. Этот термин обычно относится к гипотетическим системам ИИ, которые могли бы сравняться с людьми или превзойти их во многих интеллектуальных задачах. Руководители OpenAI и Anthropic ранее заявляли, что до появления AGI, возможно, останется всего несколько лет.
|
|
|
|
“Пузырь искусственного интеллекта понемногу лопается”, - сказала Маргарет Митчелл, главный специалист по этике стартапа в области искусственного интеллекта Hugging Face. По ее словам, стало ясно, что для того, чтобы модели ИИ действительно хорошо работали в различных задачах, могут потребоваться “разные подходы к обучению” — эту идею ряд экспертов в области искусственного интеллекта поддержали в интервью Bloomberg News.
|
|
|
|
В заявлении представителя Google DeepMind говорится, что компания “довольна прогрессом, который мы наблюдаем в Gemini, и мы расскажем больше, когда будем готовы”. В OpenAI отказались от комментариев. В Anthropic отказались от комментариев, но сослались на пятичасовой подкаст с участием главного исполнительного директора Дарио Амодеи, который вышел в понедельник.
|
|
|
|
“Люди называют это законами о масштабировании. Это неправильное название”, - сказал он в подкасте. - Это не законы Вселенной. Это эмпирические закономерности. Я бы предпочел, чтобы они продолжались, но я в этом не уверен.
|
|
|
|
Амодей сказал, что существует “множество факторов”, которые могут “сорвать” процесс создания более мощного искусственного интеллекта в ближайшие несколько лет, включая возможность того, что “у нас могут закончиться данные”. Но Амодей выразил оптимизм в отношении того, что компании, занимающиеся ИИ, найдут способ преодолеть любые препятствия.
|
|
Стабильная производительность
|
|
|
|
Технология, лежащая в основе ChatGPT и целой волны конкурирующих чат-ботов с искусственным интеллектом, была основана на множестве сообщений в социальных сетях, онлайн-комментариях, книгах и других данных, которые были собраны со всего Интернета. Этого было достаточно для создания продуктов, способных выдавать умные эссе и стихи, но для создания систем искусственного интеллекта, которые были бы умнее нобелевского лауреата, как надеются сделать некоторые компании, могут потребоваться другие источники данных, кроме записей в Википедии и подписей на YouTube.
|
|
|
|
OpenAI, в частности, заключила соглашения с издателями, чтобы частично удовлетворить потребность в высококачественных данных, а также адаптироваться к растущему юридическому давлению со стороны издателей и художников в отношении данных, используемых для создания продуктов с генеративным ИИ. Некоторые технологические компании также нанимают людей с высшим образованием, которые могут помечать данные, относящиеся к их собственным предметным областям знаний, таким как математика и программирование. Цель состоит в том, чтобы сделать эти системы более эффективными при ответе на запросы по определенным темам.
|
|
|
|
Эти усилия выполняются медленнее и обходятся дороже, чем простой поиск в Интернете. Технологические компании также обращаются к синтетическим данным, таким как компьютерные изображения или текст, имитирующие контент, созданный реальными людьми. Но и здесь есть свои ограничения.
|
|
|
|
“Речь идет не столько о количестве, сколько о качестве и разнообразии данных”, - говорит Лила Третикова, руководитель стратегии в области искусственного интеллекта в New Enterprise Associates и бывший заместитель технического директора Microsoft. “Мы можем генерировать количественные данные синтетическим путем, но нам трудно получить уникальные наборы данных высокого качества без участия человека, особенно когда речь заходит о языке”.
|
|
|
|
Тем не менее, компании, занимающиеся ИИ, продолжают придерживаться принципа "чем больше, тем лучше". В своем стремлении создавать продукты, приближающиеся к уровню человеческого интеллекта, технологические компании увеличивают объем вычислительных мощностей, данных и времени, которые они используют для обучения новых моделей, что приводит к росту затрат. Амодей заявил, что в этом году компании потратят 100 миллионов долларов на разработку новейшей модели, а в ближайшие годы эта сумма достигнет 100 миллиардов долларов.
|
|
|
|
С ростом затрат растут и ставки, и ожидания, связанные с каждой новой разрабатываемой моделью. Ноа Джансиракуза, доцент математики в Университете Бентли в Уолтеме, штат Массачусетс, сказал, что модели ИИ будут продолжать совершенствоваться, но скорость, с которой это произойдет, сомнительна.
|
|
|
|
“Мы были очень взволнованы коротким периодом очень быстрого прогресса”, - сказал он. ”Это просто не было устойчивым".
|
|
Загадка Кремниевой долины
|
|
|
|
Эта загадка оказалась в центре внимания в Кремниевой долине в последние месяцы. В марте компания Anthropic выпустила набор из трех новых моделей и заявила, что самая мощная из них, получившая название Claude Opus, превосходит GPT-4 от OpenAI и системы Gemini от Google по ключевым показателям, таким как логическое мышление и программирование на уровне выпускников.
|
|
|
|
В течение следующих нескольких месяцев Anthropic выпустила обновления для двух других моделей Claude, но не для Opus. “Это была та, от которой все были в восторге”, - сказал Саймон Уиллисон, независимый исследователь искусственного интеллекта. К октябрю Уиллисон и другие наблюдатели за отраслью заметили, что формулировки, относящиеся к 3.5 Opus, включая указание на то, что он появится “позже в этом году” и “скоро появится”, были удалены с некоторых страниц веб-сайта компании.
|
|
|
|
По словам двух человек, знакомых с ситуацией, Anthropic, как и ее конкуренты, столкнулась с трудностями при разработке 3.5 Opus. После обучения Anthropic обнаружил, что Opus 3.5 показал лучшие результаты при оценке, чем более старая версия, но не настолько, насколько следовало бы, учитывая размер модели и затраты на ее создание и эксплуатацию, сказал один из сотрудников.
|
|
|
|
Представитель Anthropic заявил, что формулировки, касающиеся Opus, были удалены с веб-сайта в рамках маркетингового решения показывать только доступные и протестированные модели. На вопрос о том, выйдет ли Opus 3.5 в этом году, представитель компании сослался на комментарии Amodei в подкасте. В интервью генеральный директор сказал, что Anthropic по-прежнему планирует выпустить эту модель, но неоднократно отказывался придерживаться графика.
|
|
|
|
Технологические компании также начинают ломать голову над тем, продолжать ли предлагать свои старые модели искусственного интеллекта, возможно, с некоторыми дополнительными улучшениями, или взять на себя расходы по поддержке чрезвычайно дорогих новых версий, которые могут работать ненамного лучше.
|
|
|
|
Google выпустила обновления для своей флагманской модели искусственного интеллекта Gemini, чтобы сделать ее более полезной, включая восстановление способности генерировать изображения людей, но внесла несколько существенных изменений в качество базовой модели. OpenAI, тем временем, в этом году сосредоточился на ряде сравнительно постепенных обновлений, таких как новая версия функции голосового помощника, которая позволяет пользователям вести более плавные разговорные беседы с помощью ChatGPT.
|
|
|
|
Совсем недавно OpenAI представила предварительную версию модели под названием o1, которая тратит дополнительное время на вычисление ответа перед тем, как ответить на запрос, - процесс, который компания называет "рассуждением". Google работает над аналогичным подходом, целью которого является обработка более сложных запросов и получение более качественных ответов с течением времени.
|
|
|
|
Технологические компании также сталкиваются со значительными компромиссами, связанными с отвлечением слишком большой части своих желанных вычислительных ресурсов на разработку и запуск более крупных моделей, которые могут быть ненамного лучше.
|
|
|
|
“Все эти модели стали довольно сложными, и мы не можем выпускать столько приложений параллельно, сколько хотелось бы”, - написал генеральный директор OpenAI Сэм Альтман в ответ на вопрос в недавней сессии "Спроси меня о чем угодно" на Reddit. По его словам, разработчик ChatGPT сталкивается с “множеством ограничений и трудных решений” по поводу того, как он решает, что делать с имеющимися у него вычислительными мощностями.
|
|
|
|
Альтман сказал, что позже в этом году у OpenAI будет несколько “очень хороших релизов”, но в этот список не войдет GPT-5 — название, которое, как ожидают многие в индустрии искусственного интеллекта, компания будет использовать для крупного релиза, следующего за GPT-4, который был представлен более 18 месяцев назад.
|
|
|
|
Как и Google и Anthropic, OpenAI теперь переключает внимание с размеров этих моделей на более новые варианты использования, включая ряд инструментов искусственного интеллекта, называемых агентами, которые могут бронировать авиабилеты или отправлять электронные письма от имени пользователя. “У нас будут модели все лучше и лучше", - написал Альтман на Reddit. “Но я думаю, что следующим гигантским прорывом станут агенты”.
|
|
|
|
Источник
|
