Найден способ ускорить работу ИИ на 10-15%
Российские исследователи обнаружили принципиально новое свойство больших языковых моделей, которое позволит ускорить работу этого типа нейросетей на 10-15% без потери качества. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI. "Обнаруженный эффект кажется очень контринтуитивным, он противоречит многим представлениям о глубоком обучении. В то же время, именно он позволяет тратить меньше вычислительных ресурсов на развертку и инференс больших языковых моделей. Понимая важность работы для научного сообщества, мы поделились регуляризатором с коллегами и опубликовали его в открытом доступе", - пояснил генеральный директор AIRI Иван Оселедец, чьи слова приводит пресс-служба института.
Ученые Института искусственного интеллекта AIRI, а также специалисты из SberAI и "Сколтеха" совершили это открытие при изучении свойств нейросетей-трансформеров. Так исследователи называют популярную архитектуру систем искусственного интеллекта, к числу которых относятся все известные диалоговые боты, такие как ChatGPT, и прочие большие языковые модели. В прошлом математики и специалисты в области разработки ИИ считали, что одной из ключевых особенностей в работе нейросетей-трансформеров, позволяющей им получать неочевидные ответы на сложные вопросы, является то, что они сильно нелинейны по своей природе. Российские ученые проверили, характерно ли это для всех слоев подобных нейросетей, для этого они изучили устройство двух десятков языковых моделей с открытым исходным кодом.
Проведенный исследователями анализ показал, что для числовых представлений данных в этих системах ИИ характерна очень высокая линейная зависимость, в некоторых случаях близкая к 99%. По словам ученых, это позволяет значительно упростить архитектуру больших языковых моделей и ускорить их работу без серьезных потерь в качестве, если учесть влияние линейности на процесс предобучения. Для реализации этой идеи ученые разработали алгоритм-регуляризатор и выложили его в открытом доступе. "Потенциал сокращения вычислительных ресурсов на обучении оценивается в порядке до 10%. Мы в Сбере планируем провести тестирование рассмотренной идеи и в случае успеха - тиражировать ее на флагманские модели. Поиск таких смекалок в ИИ-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей", - сказал старший вице-президент Сбербанка Андрей Белевцев, чьи слова приводит пресс-служба AIRI.
О больших языковых нейросетях
Так называемые большие языковые модели или нейросети (LLM) представляют собой сложно устроенные системы ИИ, которые были обучены на большом количестве неразмеченного текста и обладают миллиардами параметров. Благодаря особенностям процесса их обучения и архитектуре, они способны решать очень широкий перечень задач и при этом демонстрировать значительные общие знания о мире. К их числу относятся системы ChatGPT, Claude, LLaMA и прочие похожие на них нейросети.
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Меню
Архив материалов
Проекты наших читателей
Контакты исследователей
Подписка на новости
Проекты
Новости криптозоологии
Хроники природных катастроф
Новости
26.02.2002 - 05.07.2002
05.08.2002 - 23.10.2002 (562)
24.10.2002 - 17.01.2003 (585)
20.01.2003 - 07.04.2003 (709)
08.04.2003 - 01.08.2003 (709)
04.08.2003 - 18.11.2003 (763)
19.11.2003 - 31.03.2004 (721)
01.04.2004 - 13.08.2004 (825)
16.08.2004 - 22.11.2004 (782)
23.11.2004 - 28.03.2005 (756)
29.03.2005 - 29.07.2005 (807)
30.08.2005 - 02.12.2005 (927)
05.12.2005 - 21.04.2006 (912)
24.04.2006 - 23.10.2006 (999)
24.10.2006 - 03.05.2007 (999)
04.05.2007 - 28.01.2008 (999)
29.01.2008 - 12.01.2009 (999)
13.01.2009 - 07.07.2009 (966)
22.08.2009 - 21.01.2010 (996)
22.01.2010 - 22.06.2010 (1000)
23.06.2010 - 14.01.2011 (1042)
17.01.2011 - 31.05.2011 (1008)
01.06.2011 - 03.11.2011 (1003)
07.11.2011 - 16.03.2012 (996)
19.03.2012 - 09.06.2012 (1009)
13.06.2012 - 07.09.2012 (988)
10.09.2012 - 19.11.2012 (1004)
20.11.2012 - 14.01.2013 (1015)
15.01.2013 - 22.02.2013 (1000)
23.02.2013 - 08.04.2013 (991)
09.04.2013 - 31.05.2013 (1015)
01.06.2013 - 18.07.2013 (992)
19.07.2013 - 03.09.2013 (1014)
04.09.2013 - 20.10.2013 (1001)
21.10.2013 - 02.12.2013 (1001)
03.12.2013 - 18.01.2014 (997)
19.01.2014 - 07.03.2014 (994)
08.03.2014 - 24.04.2014 (1000)
25.04.2014 - 18.06.2014 (1005)
19.06.2014 - 15.08.2014 (1019)
16.08.2014 - 07.10.2014 (1006)
08.10.2014 - 16.11.2014 (995)
17.11.2014 - 25.12.2014 (1004)
26.12.2014 - 09.02.2015 (989)
10.02.2015 - 20.03.2015 (998)
21.03.2015 - 22.04.2015 (1001)
23.04.2015 - 29.05.2015 (997)
29.05.2015 - 30.06.2015 (995)
30.06.2015 - 29.07.2015 (990)
29.07.2015 - 26.08.2015 (998)
27.08.2015 - 24.09.2015 (988)
25.09.2015 - 22.10.2015 (991)
23.10.2015 - 18.11.2015 (1000)
18.11.2015 - 16.12.2015 (990)
17.12.2015 - 23.01.2016 (1000)
24.01.2016 - 25.02.2016 (1000)
26.02.2016 - 24.03.2016 (1000)
24.03.2016 - 16.04.2016 (990)
17.04.2016 - 19.05.2016 (999)
20.05.2016 - 22.06.2016 (993)
23.06.2016 - 01.08.2016 (995)
02.08.2016 - 12.09.2016 (990)
13.09.2016 - 25.10.2016 (989)
26.10.2016 - 05.12.2016 (995)
06.12.2016 - 15.01.2017 (995)
16.01.2017 - 23.02.2017 (990)
24.02.2017 - 03.04.2017 (994)
04.04.2017 - 18.05.2017 (1000)
19.05.2017 - 05.07.2017 (1000)
06.07.2017 - 24.08.2017 (1000)
25.08.2017 - 06.10.2017 (991)
07.10.2017 - 15.11.2017 (990)
16.11.2017 - 24.12.2017 (1000)
25.12.2017 - 04.02.2018 (990)
05.02.2018 - 17.03.2018 (1000)
18.03.2018 - 02.05.2018 (990)
03.05.2018 - 11.06.2018 (1000)
12.06.2018 - 18.07.2018 (990)
19.07.2018 - 24.08.2018 (1000)
25.08.2018 - 02.10.2018 (1000)
03.10.2018 - 07.11.2018 (990)
08.11.2018 - 13.12.2018 (990)
14.12.2018 - 23.01.2019 (1000)
24.01.2019 - 02.03.2019 (1000)
03.03.2019 - 12.04.2019 (1010)
13.04.2019 - 23.05.2019 (990)
24.05.2019 - 03.07.2019 (1000)
04.07.2019 - 11.08.2019 (1000)
12.08.2019 - 16.09.2019 (990)
17.09.2019 - 26.10.2019 (1000)
27.10.2019 - 12.12.2019 (1000)
13.12.2019 - 25.01.2020 (1000)
26.01.2020 - 06.03.2020 (990)
07.03.2020 - 16.04.2020 (1010)
17.04.2020 - 19.05.2020 (1000)
20.05.2020 - 25.06.2020 (990)
26.06.2020 - 04.08.2020 (995)
05.08.2020 - 16.09.2020 (1005)
17.09.2020 - 26.10.2020 (990)
27.10.2020 - 27.11.2020 (990)
28.11.2020 - 07.01.2021 (990)
08.01.2021 - 15.02.2021 (1000)
16.02.2021 - 31.03.2021 (1000)
01.04.2021 - 12.05.2021 (1000)
13.05.2021 - 14.06.2021 (990)
15.06.2021 - 26.07.2021 (980)
27.07.2021 - 31.08.2021 (990)
01.09.2021 - 07.10.2021 (1000)
08.09.2021 - 07.11.2021 (1000)
08.11.2021 - 10.12.2021 (1000)
11.12.2021 - 24.01.2022 (990)
25.01.2022 - 04.03.2022 (1000)
05.03.2022 - 10.04.2022 (990)
11.04.2022 - 17.05.2022 (1000)
18.05.2022 - 23.06.2022 (980)
24.06.2022 - 31.07.2022 (990)
01.08.2022 - 13.09.2022 (990)
14.09.2022 - 21.10.2022 (990)
22.10.2022 - 29.11.2022 (1000)
30.11.2022 - 22.01.2023 (1000)
23.01.2023 - 02.03.2023 (990)
03.03.2023 - 21.04.2023 (1000)
22.04.2023 - 13.06.2023 (990)
14.06.2023 - 02.08.2023 (1000)
03.08.2023 - 21.09.2023 (1000)
22.09.2023 - 06.11.2023 (990)
07.11.2023 - 24.12.2023 (990)
25.12.2023 - 18.02.2024 (1000)
19.02.2024 - 05.04.2024 (990)
06.04.2024 - 25.05.2024 (1000)
26.05.2024 - 26.07.2024 (1000)
26.07.2024 - 25.08.2024 (990)
26.08.2024 - 28.09.2024 (980)
29.09.2024 - 01.11.2024 (1000)
02.11.2024 - 02.12.2024 (980)
03.12.2024 - 08.01.2025 (990)
09.01.2025 - 09.02.2025 (1000)
10.02.2025 - 20.03.2025 (1000)
21.03.2025 - 03.05.2025 (990)
04.05.2025 - ...
Статьи
Статьи: раздел 1 (1024)
Статьи: раздел 2 (1006)
Статьи: раздел 3 (1000)
Статьи: раздел 4 (1044)
Статьи: раздел 5 (1001)
Статьи: раздел 6 (1000)
Статьи: раздел 7 (1000)
Статьи: раздел 8 (1013)
Статьи: раздел 9 (1000)
Статьи: раздел 10 (1000)
Статьи: раздел 11 (329)
Статьи: раздел 12 (1000)
Статьи: раздел 13 (730)
Лента новостей

Вращение Земли неожиданно ускорилось

Загадочный случай с летчиком Виктором Годдардом

История гаданий и предсказаний

Конгрессвумен поделилась взглядами на ангелов

Крошечные различия между психопатами и нормалами

Легенда ЮФС делится своим выводами о встречах с НЛО

Опровергли один из величайших мифов острова Пасхи

Очевидцы что-то видят в озере Лох-Несс

Призрак мальчика из старинной кровати

Робот приготовил и посолил стейк с расстояния 1800 км

Смерть Вселенной наступит раньше

Столкновение неизвестного объекта с Сатурном

Тайны и заговоры удивительного мира Антарктиды

Технология 'мозг-компьютер' проходит клинические испытания

Удивительное открытие на острове Пасхи

Уфологи выявили места аномалий в России

Человечество неверно истолковало реальность

Черные дыры, появление которых Эйнштейн не мог предвидеть

Четыре яйца с инопланетными существами внутри

Эксперты уверены, что ИИ уничтожит человечество

Лучшие садовые качели для дачи

Лучшие инсектициды от комаров

Высокощелочной океан Энцелада влияет на поиск жизни

Где мы находимся во Вселенной

Жуткие подробности о зигзагообразных НЛО

Инопланетяне оставили череп у берегов канадского острова

Инопланетяне очень любят штат Нью-Йорк

Инопланетянин зашел на огонек

Как образуются сверхмассивные черные дыры

Как создать строительные блоки для лунной базы

Как ящерицы пережили падение астероида-убийцы

Место последнего упокоения графа Дракулы

НЛО завис над живописным устьем реки

Обнаружили клетку, о существовании которой не подозревали

Памятник древности, который может переписать историю

Светящаяся сфера повергла в шок жителей Альберты

Составили карту распределения темной материи

Споры вокруг НЛО не утихают

Странная вспышка больше года ставила астрономов в тупик

Странные случаи похищения людей инопланетянами

Хлоя Кардашьян рассказала паранормальных явлениях дома

Экзопланетологи искажают вероятность своих находок

Возможно, мы сможем увидеть первые галактики

ИИ будет чинить космический корабль

Как ИИ меняют профессию учителя

Как рассчитывают вероятность столкновения с астероидом

Как формировалась ранняя Вселенная

Криовулканизм на спутнике Плутона Хароне

Наблюдения за Несси основаны на физической реальности

Наблюдения НЛО в Иллинойсе

НЛО над Массачусетсом оказался вертолетом

Новые двигательные установки обеспечат полет к Седне

Новый способ обнаружения первичных черных дыр

Обитаемые миры распространены вокруг малых звезд

Обнаружение экзопланет - одно, а визуализация - совсем другое

Поиски признаков жизни на Марсе продолжаются

Пугающие пророчества о катастрофическом мега-цунами

Скрытая сложность сигналов из черных дыр

Статистический анализ обитаемости экзопланет

Столкнется ли астероид 2024 YR4 с Луной

Стратегии обнаружения океанов на спутниках Урана

Существование близкой экзопланеты подтвердили

Как узнать уникальность текста с помощью нейросети

Время имеет три измерения, а пространство является вторичным

Галогены и судьба лунной коры

Использование ChatGPT может привести к разрушению мозга

Как лучше понять экзотическое состояние вещества

Как менялась поверхность Марса миллиарды лет назад

Марсоход исследует породу в поисках деталей

Метеорит - распространенная аминокислота

Неожиданный минерал в зернах Рюгу

Новое представление о первых звездах

Обсерватория Вера Рубин поможет исследовать темную материю

Первый этап формирования планет после рождения звезды

Поиски сверхлегкой темной материи продолжаются

Распространял ли Пентагон ложные истории об НЛО

Расширенный обзор марсианской ионосферы

Спутники Земли в опасности, если астероид врежется в Луну

Строительство на Марсе - это шаг вперед

Таинственный шар, летящий по небу Альберты

Тайна пропавших метеоритов с Меркурия

Телескоп Джеймса Уэбба обнаружил свою первую экзопланету

У пульсаров могут быть крошечные горы

Астрономы ищут таинственную девятую планету

ВВС США опубликовали новое видео НЛО

Граф Дракула похоронен в Неаполе

ИИ может подорвать навыки критического мышления

Использование космолифта для доставки воды с Цереры

Как темные фотоны могут стать темной материей

Корабль инопланетян летит через Солнечную систему

Криптозоологи поженились на фестивале

Манчестерская одержимость НЛО

Миссури одна из горячих точек НЛО

Необъяснимые наблюдения в небе Северной Каролины

Оборотень замечен в Бридлингтоне

Переписка Пентагона с подрядчиком о НЛО

Посреди ангара стояла настоящая летающая тарелка

Природные НЛО еще более странные и загадочные

Редчайший спрайт заметили над Мексикой

У Вселенной есть кнопка самоуничтожения

Учения помогут понять и избежать конфликтов на Луне

Фотография оборотня, замеченного в лесах Великобритании

Экстраординарная находка внутри Великой пирамиды

Впервые отправили в стратосферу чипированных крыс

Есть ли в океанических мирах зоны, пригодные для жизни

Загадка пластины Эдмонтона

Заклинания, ведуны-целители и охота на ведьм

Заявили об обнаружении могилы Влада Дракулы

ИИ грозит массовыми увольнениями

Как сегодня выглядит место падения Тунгусского метеорита

Маленький шаг к планированию жизни на Марсе

Минерал, которого там не должно быть нашли на Рюгу

Новое исследование о горячих Юпитерах

Новое оружие вызывает отключение электроэнергии

Первый взгляд на экзопланету GJ 504b

План Трампа угрожает космическому превосходству США

Подсчитали количество пригодных для жизни экзопланет

Почему речь политиков при власти становится запутанной

Способность ИИ к пониманию собственных слов

Тайна исчезновения подледного океана Харона

Тайны удивительного Меркурия

Три электрона ведут себя как куча

Экзопланетные системы разнообразны

Актриса делится историей наблюдения НЛО

Величайшее затонувшее сокровище Америки

Величайшие уфологи из Аризоны

Внеземные встречи в Колорадо

Водонапорная башня в стиле НЛО в Иллинойсе

Главные уфологические песни

Его история о похищении в Аризоне стала легендой

Ежегодный рынок поделок на инопланетную тематику

На что похожи корабли инопланетян

НЛО, инопланетяне и неизвестные существа

Осознанные сновидения - уникальное состояние Сознания

Пентагон распространял мифы об НЛО в Зоне 51

Популярные у инопланетян канадские города

Секретная подземная база, управляемая инопланетянами

Странные НЛО беспокоят полицию Аргентины

Странный объект, запечатленный в Массачусетсе

Сфера Мосула, снятая над Ираком

Уфолог выступает в районной библиотеке Брайтона

Уфологические романы об инопланетянах и неизведанном

Ученые озадачены обнаруженным межзвездным объектом

Лечение алкоголизма. Как работает современная наркологическая помощь

Где же самолет Амелии Эрхарт

Дискуссия о вымирание неандертальцев

Звездная система, пропитанная спиртом

Леди встретилась с легендарным чудовищем Несси

Миллионы долларов DARPA выбросило на ветер

НЛО чаще всего наблюдают в Великобритании

Новаторская книга раскрывает секреты НЛО

Новые улики в деле Амелии Эрхарт

Пиктограмма Джокера появилась возле Стоунхенджа

Представлены научные данные о сооружениях под пирамидами

Приостановка регулирования ИИ приведет мир к катастрофе

Путеводитель по событиям в области НЛО

Раскрыли источник загадочного космического импульса

Раскрыт геометрический секрет витрувианского человека

Революционное открытие в Великой пирамиде Египта

Таинственная подземная база инопланетян

Три мозга объединили с помощью одной только мысли

Усилия по принятию закона о раскрытии информации о НЛО

Уфологический фестиваль проходит в Розуэлле

Экзопланета, жаждущая смерти

Гравитационная постоянная - тайна раскрыта!

Апокалиптические астероиды подождут

Атлантида всего в двух милях от побережья Испании

Всемирный день НЛО. История, значение, мероприятия

Галактики, которые мы никогда раньше не видели

Глубинное государство изобрело уфологию

ИИ за пару дней решил загадку супербактерий

Как создать отказоустойчивый квантовый компьютер

Калифорния лидирует по числу наблюдений НЛО

Карьера в области исследований инопланетян

Миссури входит в число уфо-штатов США

Наблюдения НЛО, которые потрясли Индию и весь мир

Необъяснимые наблюдения в небе Вирджинии

Обнаружено самое любимое число ИИ - и это не 42

Обнаружили метеориты с Меркурия

Почему Всемирный день НЛО отмечается 2 июля

Предсказание, что за термоядерным синтезом стоит энергия

Странная история о невидимом мальчике

Странное погодное явление над Португалией

Фиолетовый свет в небе Иордании

Что было замечено в небе Флориды

Экономия с помощью промокодов на Яндекс.Маркете. Как покупать выгодно

Наверх
Яндекс.Метрика