Новый метод обучения ИИ, основанный на хаосе, разработали учёные КНР
Исследователи Hangzhou Institute for Advanced Study (КНР) представили подход, называемый хаотическим обратным распространением ошибки (CSBP), который внедряет хаотическую динамику, аналогичную той, что обнаружена в мозге.
Этот метод, примененный к пиковым нейронным сетям (SNN), не только улучшает эффективность обучения, но и способствует лучшему обобщению на различных наборах данных, сообщается на National Science Review.
SNN - это нейронные сети, которые имеют высокую энергоэффективность, поскольку передают импульсные сигналы, подобно биологическим нервным системам. Однако их обучение оказывается сложным. Существующие методы, такие как суррогатный градиент, не всегда эффективны из-за трудностей с локальными минимумами.
CSBP вводит функцию потерь, генерирующую хаотическую динамику, подобную мозговой. Этот подход демонстрирует значительное превосходство как на нейроморфных данных, так и на крупномасштабных статических наборах данных, таких как CIFAR100 и ImageNet.
С точки зрения теории, CSBP показывает, что процесс обучения сначала хаотичен, затем подвергается различным бифуркациям и, наконец, сходится к градиентной динамике, что соответствует активности мозга животных.
Эта работа открывает новые возможности для обучения SNN и предоставляет глубокое понимание процесса обучения биологического мозга. Это важный шаг в развитии искусственного интеллекта и открывает двери для создания более эффективных и точных нейронных сетей!
Обсудим?
Смотрите также:
