Чтобы нейросеть лучше работала, её научили «спать»
Сон является одним из важнейших элементов жизни, в нём нуждаются все живые существа. При его отсутствии падает концентрация, ухудшается память и могут возникнуть галлюцинации. Однако, как показало свежее исследование, опубликованное в журнале PLOS Computational Biology, нейросети и ИИ могут нуждаться в своём аналоге сна.
Дело в том, что современные нейросети после обучения одной задаче с большим трудом переучиваются на другую. При этом старые навыки повреждаются. Однако с помощью процедуры «консолидации памяти» этого можно избежать. Этот процесс позволяет перевести краткосрочные воспоминания в долгосрочные, а происходит он именно в быстрой фазе сна.
Судя по данным исследователей, разрушительный эффект, названный «катастрофическим забыванием», предположительно можно обойти с помощью аналога биологического сна для нейросети.
В своих экспериментах исследователи использовали нейросеть, которую обучали двум разным задачам. Как и предполагалось, обучение второй задаче нарушало работу первой, то есть нейросеть «забывала» данные. Но после того, как исследовали сымитировали подобие сна для нейросети, оказалось, что система может «вспомнить», как выполнять первую задачу.
Ранее стало известно, что веб-редактор Canva тоже теперь умеет генерировать изображения по текстовому описанию.
