Найден способ ускорить работу ИИ на 10-15%
Российские исследователи обнаружили принципиально новое свойство больших языковых моделей, которое позволит ускорить работу этого типа нейросетей на 10-15% без потери качества. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI. "Обнаруженный эффект кажется очень контринтуитивным, он противоречит многим представлениям о глубоком обучении. В то же время, именно он позволяет тратить меньше вычислительных ресурсов на развертку и инференс больших языковых моделей. Понимая важность работы для научного сообщества, мы поделились регуляризатором с коллегами и опубликовали его в открытом доступе", - пояснил генеральный директор AIRI Иван Оселедец, чьи слова приводит пресс-служба института.
Ученые Института искусственного интеллекта AIRI, а также специалисты из SberAI и "Сколтеха" совершили это открытие при изучении свойств нейросетей-трансформеров. Так исследователи называют популярную архитектуру систем искусственного интеллекта, к числу которых относятся все известные диалоговые боты, такие как ChatGPT, и прочие большие языковые модели. В прошлом математики и специалисты в области разработки ИИ считали, что одной из ключевых особенностей в работе нейросетей-трансформеров, позволяющей им получать неочевидные ответы на сложные вопросы, является то, что они сильно нелинейны по своей природе. Российские ученые проверили, характерно ли это для всех слоев подобных нейросетей, для этого они изучили устройство двух десятков языковых моделей с открытым исходным кодом.
Проведенный исследователями анализ показал, что для числовых представлений данных в этих системах ИИ характерна очень высокая линейная зависимость, в некоторых случаях близкая к 99%. По словам ученых, это позволяет значительно упростить архитектуру больших языковых моделей и ускорить их работу без серьезных потерь в качестве, если учесть влияние линейности на процесс предобучения. Для реализации этой идеи ученые разработали алгоритм-регуляризатор и выложили его в открытом доступе. "Потенциал сокращения вычислительных ресурсов на обучении оценивается в порядке до 10%. Мы в Сбере планируем провести тестирование рассмотренной идеи и в случае успеха - тиражировать ее на флагманские модели. Поиск таких смекалок в ИИ-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей", - сказал старший вице-президент Сбербанка Андрей Белевцев, чьи слова приводит пресс-служба AIRI.
О больших языковых нейросетях
Так называемые большие языковые модели или нейросети (LLM) представляют собой сложно устроенные системы ИИ, которые были обучены на большом количестве неразмеченного текста и обладают миллиардами параметров. Благодаря особенностям процесса их обучения и архитектуре, они способны решать очень широкий перечень задач и при этом демонстрировать значительные общие знания о мире. К их числу относятся системы ChatGPT, Claude, LLaMA и прочие похожие на них нейросети.
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Последние аномальные новости

Астероид Рюгу позволяет заглянуть в наше прошлое

Безопасные марсианские пещеры для будущих колонистов

Вонючая экзопланета со смертоносным стеклянным дождем

Гипотетический сценарий столкновения с астероидом

Горячие точки, связанные с НЛО, по всему миру

Идеальное место для жизни за пределами Солнечной системы

ИК-свечение на Юпитере вызвано темной материей

Как растут и эволюционируют черные дыры

Лунные вихри могут быть намагничены невидимой магмой

НАСА публикует два документа по архитектуре Луна-Марс

Небесный фейерверк вокруг формирующейся звезды

Неуловимые космические плазмоиды

Неуместные Артефакты продолжают появляться

Обнаружили необычную радиогалактику

Правительство США скрывает важную информацию о НЛО

Пустынный мох может вырасти на Марсе

Ровер-адьютант для прогулок по Луне

Тайна удивительно слабых радиационных поясов Урана

Успешно завершено имитационное путешествие на Марс

Форма гало из темной материи Млечного Пути

Астероидные породы раскрывают тайны Солнечной системы

Биоразлагаемая электроника развивается

Выращивания гороха в искусственной марсианской почве

Гигантский НЛО с зелеными огнями, пролетел над Ираном

Животные из Царства Теней

Земля окружена барьером от вторжения инопланетянам

ИИ поможет определить предел текучести металлов

Картографирование Марса с использованием открытой науки

Китаец попытался повторить подвиг Железного человека

На Марс ежедневно падают метеориты

Новые результаты добавляют загадочности нейтрино

Обнаружено дело Паскагулы в архиве APRO

Потрясающая инфографика об экзопланетах

Причина появления НЛО рядом с ядерными объектами

Происхождение лунного металлического железа

Самая посещаемая привидениями школа Британии

Сигарообразный НЛО замечен в приморском городке

Состоялась беседа ученых об уфологических технологиях

Тест парашютных сенсоров для посадки на Марс

Что знают президенты о НЛО, но не говорят о них вслух

Польза масла амаранта холодного отжима

Взять кредит под залог доли в квартире. Надежное и доступное решение

Срочный выкуп недвижимости. Решение финансовых проблем за несколько дней

Нержавеющая надежность. Фитинги WERK для вашего бизнеса

Джейрахско-Ассинский заповедник. Великолепие природы и истории Ингушетии

Самые популярные промокоды Магнит Маркет от сайта Garpo.ru

Бигфута со светящимися глазами заметили в лесу Луизианы

Выращивание местообитаний в космосе из грибов

Женщина рассказала о внетелесном опыте

Крошечные яркие объекты на заре Вселенной ставят в тупик

Метеороиды падают на Марс чаще, чем считалось

Мы ближе, чем когда-либо, к ответу

НЛО в форме пивной банки пролетел мимо корабля НАСА

НЛО изучают самолеты, боеголовки и ядерные реакторы

НЛО с красными огнями преследовали копы

Обнаружили два новых спутника нашей галактики

Один инопланетянин выжил при крушении в Розуэлле

Первое сообщение о наблюдении летающей тарелки

Подростки заметили бигфута на юге Луизианы

Расшифрована разница в плотности субнептуновых объектов

Создали улыбающегося робота с живой кожей

Существуют ли инопланетяне на самом деле

Тайна происхождения протозвездной системы

Точная дата конца человечества, предсказанная Бабой Вангой

Черный инопланетянин, увлекающийся модификацией тела

Что вы можете увидеть во время наблюдения за небом

Возрождение маленького городка с помощью инопланетян

Загадка камня с человеческим лицом

Из музея в Розуэлле украли артефакт

Известные сыктывкарцы рассказали о НЛО

Как выглядят ангелы согласно Библии

Как карма наказывает людей

Кировчане рассказали о встречах с необъяснимым

Китай испытает систему планетарной обороны

Маленький домовой за диваном

Насколько быстрее на Луне идет время

Необходимо провести дополнительные исследования в Розуэлле

НЛО в небе над Нижневартовском

Новый инструмент для моделирования материалов

Почему НЛО преследуют самолеты и боеголовки

Пролили свет на тайну антикитерского механизма

Страшные предсказания экстрасенса Саломе

Тайна временных провалов

Умершие близкие могут навещать нас

Человечество находится на пороге третьей мировой

Что погубило древние цивилизации

В Розуэлле еще многое предстоит сделать науке

Впечатляющие 'Столпы творения'

Загадочное происхождение сердцебиений мертвых звезд

Загадочные сумки Богов

Крупнейший фестиваль НЛО прошел в Розуэлле

Метеоритный дождь стал причиной коллапса Бронзового века

Мох может сделать Марс пригодным для жизни

Новые загадки пояса Койпера

Новые теплые субнептуновые экзопланеты

Опасения по поводу пузыря ИИ усиливаются

Оптические иллюзии определяют нашу суть

Поиск гравитационных аномалий, вызванных темной энергией

Реликвия с изображением Моисея, получающего 10 заповедей

Свидетельства существования исчезнувшей цивилизации

Секретные правительственные программы по НЛО

Строительство базы из лунных материалов

Таинственный НЛО замечен на фоне Луны

Три странных НЛО замечены над Канзас-Сити

Удивительное поведение черных дыр

Улицы Розуэлла запружены пришельцами

В водах Ладожского озера обитает чудовище

Ватикан назвал истекающую кровью Мадонну подделкой

Верхние слои атмосферы Юпитера удивляют астрономов

Впечатления уфологов о феномене НЛО

Древный город на Марсе, разрушенный термоядерной атакой

Изменения в организме во время космических полетов

Изучение атмосфер экзопланет в поисках внеземной жизни

Инопланетяне и Апокалипсис. Значение посланий инопланетян

Неожиданная находка фосфата в образце астероида

Новое ПО позволит изучить лунную поверхность

Озера лавы крупным планом на спутнике Юпитера Ио

Парниковые газы - признак деятельности инопланетян

Раскрыта правда мохнатого НЛО

Свидетель крушения НЛО из Розуэлла нарушает молчание

Скрытые явления в сверхчистых квантовых материалах

Стоунхендж внесут в список объектов культурного наследия

Таинственные огни и странные шары в Гластонбери

Таинственный сигнал из космоса, который ставит в тупик

Три потенциальные суперземли вокруг ближайшей звезды

Хакер украл секреты OpenAI

Выращивание крупнозубковых сортов чеснока

Актер Курт Рассел видел НЛО

Бионический протез ноги с нейроинтерфейсом

В Массачусетсе больше наблюдений НЛО, чем в большинстве штатов

В этом году в Пенсильвании видели около 30 НЛО

Знакомство с наблюдениями НЛО на фестивале в Гластонбери

Искусственный интеллект ускоряет разработку новых материалов

Квантовые эффекты препятствуют образованию черных дыр

Лучшие в истории кадры с НЛО, снятые на камеру

Маленькие зеленые человечки или большие государственные секреты

НАСА раскрыло происхождение странного мохнатого НЛО

НЛО - вопросительный знак в истории человечества

НЛО замечен в волгоградском небе

Пилот пропал без вести после встречи с НЛО

По мере роста числа наблюдений НЛО растет и число опровержений

Разбившийся НЛО прославил Форт-Уорт

Разгадка тайны зеленых металлов

Раскрываем тайны непознанного

Таинственный мир британских НЛО

Тайна исчезновения легендарного французского меча

Уфологический фестиваль в Розуэлле

Что такое адресная справка и когда требуется ее перевод на иностранный язык

Аборигены Австралии практиковали симпатическую магию

Бигфут напугал группу туристов в лесу Луизианы

Бигфут съел оленью ногу, которую оставили для него

Венера - идеальное место для подсчета метеоритов

Гуманоидного робота научили водить автомобиль

Круги на полях, как появилась эта мистификация

Многие россияне верят, что инопланетяне посещали Землю

Можем ли мы разместить центры обработки данных в космосе

Над курганским округом заметили НЛО

Пришельцы могут выглядеть совершенно не так

Пять объектов, построенных пришельцами

Распадаются ли протоны

Скрывается ли что-то между звезд

Создано устройство для управления жидким светом

Стоит ли ждать встречи с НЛО

Страшные встречи с австралийским бигфутом

Тайна мощного полярного сияния в небе Арктики

Что знают вологжане об НЛО и Дне уфолога

Шифры вокруг наc

Ярославцев привлекает непонятное и необъяснимое

Активисты начали акцию протеста у Стоунхенджа

В Розуэлле отмечают Всемирный день НЛО

Всемирный день НЛО. История и значение

Долгожданные образцы лунной поверхности

Инопланетяне или просто воздушные шары

Как НЛО стали популярным явлением в США

Майкрософт считает, что воровать контент нормально

Наблюдения НЛО в Мэриленде, что видели очевидцы

Наблюдения НЛО во Флориде, что видели очевидцы

Находка гробницы в Египте проливает свет на древние болезни

Недавние наблюдения пришельцев в США

НЛО, от информаторов до секретных программ

Отмечается рост числа наблюдений НЛО

Пять сообщений о странных объектах во Флориде

Самые пугающие и нераскрытые наблюдения инопланетян

Самые яркие и странные наблюдения в Мичигане

Скалы на Рапа-Нуи рассказывают историю населения

Снежный человек и таинственные исчезновения

Подписка на новости
Наверх