Ученые из США избавили нейросети от катастрофического забывания, дав им «поспать»

Depositphotos

Ученые из Калифорнийского университета в Сан-Диего выяснили, что искусственные нейронные сети учатся лучше, когда им позволяют отдыхать. Исследование опубликовано в PLOS Computational Biology.

Искусственные нейронные сети в некотором смысле достигли сверхчеловеческой производительности. Но если человеческий мозг постоянно учится и включает новые данные в существующие знания, то у машин новая информация может записаться поверх предыдущей. Это явление называют катастрофическим забыванием.

Известно, что лучше всего человеческий мозг учится, когда обучение чередуется с периодами сна для реорганизации воспоминаний. Авторы работы предположили, что такой подход поможет решить проблему катастрофического забывания у машин.

Ученые использовали импульсные нейронные сети, которые имитируют естественные нейронные системы: вместо непрерывной передачи информации она подается в виде дискретных событий (пиков) в определенные моменты времени.

Авторы обнаружили, что обучение нейронных сетей со случайными периодами отключения, которые имитировали сон, смягчило катастрофическое забывание.

Как рассказали авторы, в других проектах они используют компьютерные модели для разработки оптимальных стратегий стимуляции во время сна. В частности, звуковых сигналов, которые влияют на ритмы сна и улучшают обучение. Такой подход может быть особенно важен для людей, чья память ухудшилась с возрастом или для больных деменцией, а изучение мозга в целом позволит создавать более совершенные искусственные нейронные сети.

Источник

Похожие статьи

Добавить комментарий

Закрыть