Современные методы обучения с подкреплением имеют ряд ограничений, наложенных использующейся парадигмой искусственных нейронных сетей с точечной моделью нейрона. Использование модели «иерархической темпоральной памяти» (HTM) имеет потенциал как для развития уже устоявшихся методов обучения, так и для создания новых. Целью данной работы является предложение нового дизайна блока пространственно-темпоральной памяти, позволяющего агенту на основе модели HTM учитывать темпоральный контекст ограниченной длинны и, за счёт этого, повысить эффективность его обучения при решении задач, в которых фактически получаемое вознаграждение зависит от темпорального контекста размера меньшего, чем максимальная длинна рассматриваемых в рамках решаемой задачи последовательностей наблюдений и действия.

Канонир Г. (науч. рук. Фильченков А.А.) ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ АГЕНТА НА ОСНОВЕ МОДЕЛИ ИЕРАРХИЧЕСКОЙ ТЕМПОРАЛЬНОЙ ПАМЯТИ // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2024]. URL: https://kmu.itmo.ru/digests/article/11966