|
Выход за рамки простых моделей нейронных сетей
|
|
|
|
Физику легче всего применять к относительно простым системам: маятнику, столкновению двух электронов или структуре Солнечной системы. Но когда системы усложняются — когда многие частицы взаимодействуют друг с другом, в системах конденсированных сред, таких как газы и жидкости, или в космологии ранней Вселенной, — можно добиться упрощений, используя метод, называемый классической или расширенной теорией среднего поля.
|
|
|
|
Исследовательская группа из Принстонского университета под руководством ведущего автора Луки Ди Карло применила расширенную теорию среднего поля к сетям биологических нейронов. Их работа опубликована в журнале Physical Review Letters. Они обнаружили, что простейшие версии теории среднего поля не смогли точно описать активность этих сетей, но усовершенствованная версия смогла это сделать.
|
|
От вращений к нейронному возбуждению
|
|
|
|
В системе с большим количеством частиц, такой как двумерная решетка с частицами в каждой вершине, каждая из которых обладает квантовым спином (двумерная модель Изинга), каждая частица взаимодействует со всеми остальными в решетке. Это почти всегда слишком громоздко, чтобы получить полное решение для свойств модели, но приближенное решение можно найти, предположив, что каждый спин взаимодействует со средним спином всей решетки, что называется классической теорией среднего поля.
|
|
|
|
Расширенная теория среднего поля предполагает наличие дополнительной информации о структуре системы, например о распределении вероятностей паттернов нейронной активности. В последнем случае важны не только средние значения переменных системы, но и их флуктуации.
|
|
|
|
|
|
|
У нейронов есть потенциал действия — быстрый электрический импульс, который распространяется по аксону нейрона, длинному и тонкому отростку, отходящему от тела нейрона. Потенциал действия позволяет нейронам, мышцам и железам взаимодействовать друг с другом. Этот сигнал является бинарным: клетки либо посылают электрический импульс в течение короткого промежутка времени, либо нет. Таким образом, в каждый момент времени совокупность нейронов представляет собой модель Изинга.
|
|
|
|
Однако, как пишут авторы исследования, «удивительно сложно создать непротиворечивую теорию среднего поля для описания паттернов активности в сети реальных нейронов». Они продолжают: «Наконец, нам удалось создать расширенную модель, которая соответствует средней активности отдельных нейронов и распределению активности вдоль одного аксона».
|
|
|
|
Создание модели с наименьшим количеством допущений
|
|
|
|
В каждый момент времени сеть нейронов находится в определённой конфигурации, в которой, выражаясь языком моделей Изинга, одни нейроны «вращаются по часовой стрелке» (генерируют потенциал действия), а другие — «против часовой стрелки» (не генерируют потенциал действия). Для каждого нейрона существует одна из двух возможных комбинаций. «Состояние» нейронной сети — это совокупность индивидуальных конфигураций всех нейронов.
|
|
|
|
Существует множество возможных состояний, и каждая конфигурация возникает с определенной вероятностью. Желательно знать, как распределяются эти возможности с учетом того, что распределение должно соответствовать экспериментально наблюдаемому среднему значению спина и наблюдаемой корреляции между любыми двумя спинами.
|
|
|
|
Этим средним значениям может соответствовать множество состояний сети — бесконечное множество, если решетка модели Изинга имеет практически неограниченный размер в любом направлении. Согласно важному результату теории информации, распределение с максимальной энтропией — это выбор, который является максимально случайным, то есть максимально неструктурированным, и включает в себя только ту информацию, которая необходима для соблюдения этих ограничений, без каких-либо дополнительных допущений.
|
|
|
|
В результате получается распределение Больцмана, при котором вероятность нахождения сети в том или ином состоянии пропорциональна экспоненте от отрицательного значения полной энергии этого состояния. При таком распределении, ограниченном наблюдаемыми величинами, дальнейшие предсказания не зависят от каких-либо других параметров и могут быть проверены экспериментально, что позволяет избежать проблем, связанных с применением простой теории среднего поля.
|
|
|
|
Чтобы проверить свою расширенную модель среднего поля, ученые использовали статистические модели, построенные на основе данных об активности более 1000 нейронов в мозге мыши. Когда простейшие модели среднего поля не могли объяснить наблюдаемые вариации коллективной нейронной активности, новая модель, основанная на распределении коллективной нейронной активности по Больцману, воспроизвела наблюдаемую статистику нейронной активности.
|
|
|
|
Подход группы исследователей к решению проблемы не зависел от конкретных взаимодействий между нейронами и основывался только на распределении нейронной активности в конкретный момент времени.
|
|
|
|
Они пишут, что было бы важно распространить их подход и на динамические сети. Их нынешняя теория позволяет учитывать только усредненную по времени статистику нейронной активности и может быть дополнена описанием того, как паттерны активности меняются с течением времени в процессе поведения животного.
|
|
|
|
Источник
|
