В последние десятилетия неуклонно наблюдается рост разработок в области искусственного интеллекта (далее - ИИ). Автономные обучающиеся системы учатся по ходу работы, а это значит, что гораздо сложнее точно знать, как они будут вести себя при развертывании. Основные проблемы, такие как прерывание таких систем, влияющие на то, как они учатся вести себя, или как отсутствие руководителя влияет на действия, которые они решают предпринять, в большинстве случаев остаются нерешенными. Системы ИИ могут небезопасно исследовать свою среду и вызывать негативные побочные эффекты. Возникает необходимость создания модуля ограничений, который будет интегрирован в систему ИИ и регулировать поведение его системы поддержки и принятия решений, тем самым предотвращая его от принятия небезопасных решений.
Краснов Т.А., Компаниец Р.И. (науч. рук. Дудкин А.С.) Разработка модуля безопасности искусственного интеллекта на основе ограничений поведения системы поддержки и принятия решений // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2023]. URL: https://kmu.itmo.ru/digests/article/10668