Ученые из США избавили нейросети от катастрофического забывания, дав им «поспать»
Ученые из Калифорнийского университета в Сан-Диего выяснили, что искусственные нейронные сети учатся лучше, когда им позволяют отдыхать. Исследование опубликовано в PLOS Computational Biology.
Искусственные нейронные сети в некотором смысле достигли сверхчеловеческой производительности. Но если человеческий мозг постоянно учится и включает новые данные в существующие знания, то у машин новая информация может записаться поверх предыдущей. Это явление называют катастрофическим забыванием.
Известно, что лучше всего человеческий мозг учится, когда обучение чередуется с периодами сна для реорганизации воспоминаний. Авторы работы предположили, что такой подход поможет решить проблему катастрофического забывания у машин.
Ученые использовали импульсные нейронные сети, которые имитируют естественные нейронные системы: вместо непрерывной передачи информации она подается в виде дискретных событий (пиков) в определенные моменты времени.
Авторы обнаружили, что обучение нейронных сетей со случайными периодами отключения, которые имитировали сон, смягчило катастрофическое забывание.
Как рассказали авторы, в других проектах они используют компьютерные модели для разработки оптимальных стратегий стимуляции во время сна. В частности, звуковых сигналов, которые влияют на ритмы сна и улучшают обучение. Такой подход может быть особенно важен для людей, чья память ухудшилась с возрастом или для больных деменцией, а изучение мозга в целом позволит создавать более совершенные искусственные нейронные сети.
