|
Искусственным нейронным сетям позволено эволюционировать
|
|
|
|
Исследователи искусственного интеллекта (ИИ) из Нью-Йорка достигли еще одной важной вехи, разработав технологию синтетического сжатия "генома", позволяющую искусственным нейронным сетям обучаться и эволюционировать таким образом, который отражает процессы живых существ, открывая новые возможности в исследованиях ИИ.
|
|
|
|
В природе выживают наиболее приспособленные, чтобы передать свои черты и поведение следующему поколению через ДНК. В лаборатории Колд-Спрингс-Харбор (CSHL) профессора Энтони Задор (Anthony Zador) и Алекс Кулаков (Alex Koulakov) решили использовать экспоненциальную степень сжатия человеческого генома для разработки "вложенного" ИИ, который может работать с высокой эффективностью после инициализации, как инстинктивное животное.
|
|
Потенциал сжатого животного
|
|
|
|
Вскоре после появления на свет животные часто совершают удивительные поступки, такие как плавание, полет, плетение паутины и множество других действий. Чтобы инстинктивно понимать, как выполнять эти задачи, в геномах этих существ должны храниться миллионы нейронных связей, необходимых для выполнения этих действий. Однако каким-то образом размер генома на несколько порядков меньше, чем нужно для передачи такой ценной информации в соотношении 1:1. Ученые долго ломали голову над тем, как эти знания проходят через “геномное узкое место” - термин, используемый для описания ограничения объема информации, которая может передаваться геномом.
|
|
|
|
|
|
|
Более того, нет никакой реальной разницы между этими врожденными навыками и тем, чему обучается животное. Обучение основывается на инстинкте, и они взаимодействуют друг с другом, помогая выжить. Исследователи искусственного интеллекта уже давно изучают, как учатся люди и другие животные, но они игнорировали инстинкт, важнейший элемент поведения и обучения. Команда CSHL занялась изучением знаний, передаваемых с помощью генома, чтобы продвинуть вперед процесс обучения ИИ и сжатия данных.
|
|
|
|
“Что, если ограниченные возможности генома - это то, что делает нас такими умными?” Спросил Кулаков. “Что, если это особенность, а не ошибка?”
|
|
Хранение Кортекса Головного мозга
|
|
|
|
Чтобы тщательно отобразить кортекс головного мозга, потребовалось бы в пять-шесть раз больше данных, чем доступно в геноме человека. Такая ограниченная пропускная способность подразумевает, что нейронные связи не отображаются явно, а только правила, которые приводят к построению нейронной структуры. Команда CSHL изучила, как свести сложные нейронные сети к простым правилам подключения в сколь угодно больших структурах. Согласно новой статье, такое правило, как “подключитесь к своим четырем ближайшим соседям”, можно было бы продолжать бесконечно, вместо того чтобы составлять карту всей системы, в которой это могло бы произойти.
|
|
|
|
Хотя отчасти это сжатие и понятно, другое дело, как именно его использовать для формирования инстинктивного поведения. Эти правила могут создавать бесконечно стабильные и удивительно сложные структуры, но они не могут подсказать пауку, как плести паутину, или сказать животному, чего бояться. Команда сосредоточилась на том, чтобы понять, как эти простые правила можно использовать для передачи не только общей, но и конкретной информации.
|
|
|
|
“Архитектура коры головного мозга может вместить около 280 терабайт информации — это 32 года видео высокой четкости. Наши геномы вмещают около часа информации. Это означает, что технология сжатия в 400 000 раз пока не может сравниться с ней”, - сказал Кулаков.
|
|
Поиск простоты в сложности
|
|
|
|
Вместо нейронов и синапсов искусственная нейронная сеть (ИНС) представляет собой соединение узлов, связанных весами. По сути, эти термины ИНС представляют собой цифровые аналоги сети коры головного мозга человека. Команда CSHL продвинула метафору еще на шаг вперед, разработав “геном” для автоматического определения веса, позволяющий ANN работать намного лучше от инициализации до тренировки, имитируя инстинктивное поведение животного. Это ограничение теоретически привело бы к более упорядоченной сети, а это означает, что эта “ошибка” стала бы “особенностью”.
|
|
|
|
Система ANN, разработанная командой CSHL на основе этих предпосылок, состояла из двух вложенных контуров, соединенных геномом для передачи информации. Обычно сети искусственного интеллекта органично развиваются в разветвленные, запутанные системы. Сеть CSHL объединяла два контура с помощью узкого места, связанного с информацией о геноме, так что алгоритм обучения мог использовать только самые жесткие и эффективные решения. Геном привел к созданию высоко упорядоченной и оптимизированной сети, развивающейся подобно естественному виду, передающему свои лучшие черты.
|
|
Результаты анализа генома
|
|
|
|
Тщательное тестирование продемонстрировало, что первоначальная производительность очень близка к производительности хорошо развитой сети. Попытки сократить количество чрезвычайно запутанных сетей показали, что многие узлы имеют мало соединений, в то время как другие выполняют большую часть работы. Их работа демонстрирует полезность усовершенствованной сетевой инициализации, которую часто упускают из виду в пользу исключительно изучения обучения.
|
|
|
|
Однако есть существенный нюанс: в то время как ученые почти не спорят по поводу того, что некоторые навыки животных, такие как плавание, передаются с помощью геномики, гораздо больше споров ведется о том, верно ли то же самое для более сложных форм человеческого поведения, которые пытается воспроизвести ИИ, например, для языка.
|
|
|
|
Работа CSHL - это только первый шаг, впереди еще много работы по тестированию других вариантов ограничений генома. В конечном счете, будущие исследователи смогут согласовать этот метод с более продвинутыми исследованиями в области обучения, чтобы оптимизировать структуру правил обучения.
|
|
|
|
Источник
|
