|
Найден способ ускорить работу ИИ на 10-15%
|
|
|
|
Российские исследователи обнаружили принципиально новое свойство больших языковых моделей, которое позволит ускорить работу этого типа нейросетей на 10-15% без потери качества. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI. "Обнаруженный эффект кажется очень контринтуитивным, он противоречит многим представлениям о глубоком обучении. В то же время, именно он позволяет тратить меньше вычислительных ресурсов на развертку и инференс больших языковых моделей. Понимая важность работы для научного сообщества, мы поделились регуляризатором с коллегами и опубликовали его в открытом доступе", - пояснил генеральный директор AIRI Иван Оселедец, чьи слова приводит пресс-служба института.
|
|
|
|
Ученые Института искусственного интеллекта AIRI, а также специалисты из SberAI и "Сколтеха" совершили это открытие при изучении свойств нейросетей-трансформеров. Так исследователи называют популярную архитектуру систем искусственного интеллекта, к числу которых относятся все известные диалоговые боты, такие как ChatGPT, и прочие большие языковые модели. В прошлом математики и специалисты в области разработки ИИ считали, что одной из ключевых особенностей в работе нейросетей-трансформеров, позволяющей им получать неочевидные ответы на сложные вопросы, является то, что они сильно нелинейны по своей природе. Российские ученые проверили, характерно ли это для всех слоев подобных нейросетей, для этого они изучили устройство двух десятков языковых моделей с открытым исходным кодом.
|
|
|
Проведенный исследователями анализ показал, что для числовых представлений данных в этих системах ИИ характерна очень высокая линейная зависимость, в некоторых случаях близкая к 99%. По словам ученых, это позволяет значительно упростить архитектуру больших языковых моделей и ускорить их работу без серьезных потерь в качестве, если учесть влияние линейности на процесс предобучения. Для реализации этой идеи ученые разработали алгоритм-регуляризатор и выложили его в открытом доступе. "Потенциал сокращения вычислительных ресурсов на обучении оценивается в порядке до 10%. Мы в Сбере планируем провести тестирование рассмотренной идеи и в случае успеха - тиражировать ее на флагманские модели. Поиск таких смекалок в ИИ-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей", - сказал старший вице-президент Сбербанка Андрей Белевцев, чьи слова приводит пресс-служба AIRI.
|
|
|
|
О больших языковых нейросетях
|
|
|
|
Так называемые большие языковые модели или нейросети (LLM) представляют собой сложно устроенные системы ИИ, которые были обучены на большом количестве неразмеченного текста и обладают миллиардами параметров. Благодаря особенностям процесса их обучения и архитектуре, они способны решать очень широкий перечень задач и при этом демонстрировать значительные общие знания о мире. К их числу относятся системы ChatGPT, Claude, LLaMA и прочие похожие на них нейросети.
|
|
|
|
Источник
|
