|
Новый способ реализации нейронной сети
|
|
|
|
Ученые предлагают новый способ реализации нейронной сети с оптической системой, который может сделать машинное обучение более устойчивым в будущем. Исследователи из Института науки о свете имени Макса Планка опубликовали свой новый метод в журнале Nature Physics, продемонстрировав метод, который намного проще предыдущих подходов.
|
|
|
|
Машинное обучение и искусственный интеллект получают все более широкое распространение, и их приложения варьируются от компьютерного зрения до генерации текста, что продемонстрировал ChatGPT. Однако для решения этих сложных задач требуются все более сложные нейронные сети, некоторые из которых имеют многие миллиарды параметров.
|
|
|
|
Такой быстрый рост размера нейронных сетей привел к тому, что технологии стали неустойчивыми из-за экспоненциально растущего потребления энергии и времени обучения. Например, подсчитано, что учебная установка GPT-3 потребляла более 1000 МВтч энергии, что соответствует ежедневному потреблению электроэнергии в небольшом городе.
|
|
|
|
Эта тенденция породила потребность в более быстрых, энергоэффективных и экономичных альтернативах, что привело к появлению быстро развивающейся области нейроморфных вычислений. Цель этой области - заменить нейронные сети в наших цифровых компьютерах физическими нейронными сетями. Они спроектированы таким образом, чтобы физически выполнять необходимые математические операции потенциально более быстрым и энергоэффективным способом.
|
|
|
Оптика и фотоника являются особенно перспективными платформами для нейроморфных вычислений, поскольку потребление энергии может быть сведено к минимуму. Вычисления могут выполняться параллельно на очень высоких скоростях, ограниченных только скоростью света. Однако до сих пор существовали две серьезные проблемы: во-первых, для выполнения необходимых сложных математических вычислений требуется высокая мощность лазера. Во-вторых, отсутствие эффективного общего метода обучения для таких физических нейронных сетей.
|
|
|
|
Обе проблемы могут быть решены с помощью нового метода, предложенного Кларой Ванджура и Флорианом Марквардтом из Института науки о свете имени Макса Планка в их новой статье в Nature Physics. "Обычно вводимые данные отображаются в световом поле. Однако в наших новых методах мы предлагаем запечатлеть входные данные, изменив светопропускание", - объясняет Марквардт, директор института.
|
|
|
|
Таким образом, входной сигнал может быть обработан произвольным образом. Это верно даже при том, что само световое поле ведет себя простейшим из возможных способов, при котором волны интерферируют, не оказывая иного влияния друг на друга. Таким образом, их подход позволяет избежать сложных физических взаимодействий для реализации требуемых математических функций, которые в противном случае потребовали бы мощных световых полей.
|
|
|
|
Тогда оценка и обучение этой физической нейронной сети стали бы очень простыми. "На самом деле это было бы так же просто, как пропускать свет через систему и наблюдать за проходящим светом. Это позволяет нам оценивать выходные данные сети. В то же время это позволяет измерять всю необходимую информацию для обучения", - говорит Ванджура, первый автор исследования.
|
|
|
|
В ходе моделирования авторы продемонстрировали, что их подход может быть использован для выполнения задач классификации изображений с той же точностью, что и цифровые нейронные сети.
|
|
|
|
В будущем авторы планируют сотрудничать с экспериментальными группами для изучения реализации своего метода. Поскольку их предложение значительно упрощает экспериментальные требования, оно может быть применено ко многим физически очень разным системам. Это открывает новые возможности для нейроморфных устройств, позволяя проводить физические тренировки на широком спектре платформ.
|
|
|
|
Источник
|
