|
Платформа спинтроники для создания энергоэффективного ИИ
|
|
|
|
Исследователи из Университета Тохоку и Калифорнийского университета в Санта-Барбаре разработали новое вычислительное оборудование, в котором используется гауссовский вероятностный бит, созданный на основе стохастического устройства спинтроники. Ожидается, что это нововведение обеспечит энергоэффективную платформу для энергозатратного генеративного ИИ.
|
|
|
|
По мере того как действие закона Мура замедляется, аппаратные архитектуры, ориентированные на конкретную предметную область, такие как вероятностные вычисления с естественными стохастическими компоновочными блоками, приобретают все большее значение для решения сложных вычислительных задач. Подобно тому, как квантовые компьютеры подходят для решения задач, основанных на квантовой механике, вероятностные компьютеры предназначены для работы с изначально вероятностными алгоритмами.
|
|
|
|
Эти алгоритмы находят применение в таких областях, как комбинаторная оптимизация и статистическое машинное обучение. Примечательно, что Нобелевская премия по физике за 2024 год была присуждена Джону Хопфилду и Джеффри Хинтону за их новаторскую работу в области машинного обучения.
|
|
|
|
|
|
|
Вероятностные компьютеры традиционно были ограничены двоичными переменными или вероятностными битами (p-битами), что делало их неэффективными для приложений с непрерывными переменными. Исследователи из Калифорнийского университета в Санта-Барбаре и Университета Тохоку расширили p-разрядную модель, введя гауссовские вероятностные биты (g-биты). Они дополняют p-разряды возможностью генерировать гауссовские случайные числа. Как и p-биты, g-биты служат фундаментальным строительным блоком для вероятностных вычислений, обеспечивая оптимизацию и машинное обучение с использованием непрерывных переменных.
|
|
|
|
Одной из моделей машинного обучения, использующей g-bits, является машина Гаусса-Бернулли-Больцмана (GBM). g-bits позволяют GBM эффективно работать на вероятностных компьютерах, открывая новые возможности для оптимизации и решения задач обучения. Например, современные генеративные модели искусственного интеллекта, такие как диффузионные модели, широко используемые для создания реалистичных изображений, видео и текста, основаны на итеративных процессах, требующих больших вычислительных затрат. g-разряды позволяют вероятностным компьютерам более эффективно обрабатывать эти итеративные этапы, снижая энергопотребление и ускоряя получение высококачественных выходных данных.
|
|
|
|
Другие потенциальные приложения включают оптимизацию портфеля и задачи со смешанными переменными, где модели должны обрабатывать как двоичные, так и непрерывные переменные. Традиционные системы с p-разрядностью не справляются с такими задачами, поскольку они по своей сути дискретны и требуют сложных аппроксимаций для обработки непрерывных переменных, что приводит к неэффективности. Комбинируя p-биты и g-биты, эти ограничения преодолеваются, что позволяет вероятностным компьютерам напрямую и эффективно решать гораздо более широкий круг задач.
|
|
|
|
Источник
|
