В рамках данной задачи действия человека тесно связаны с взаимодействием с окружающими предметами, что требует эффективного обнаружения и анализа этих объектов. Одним из современных и эффективных подходов к решению этой проблемы является отслеживание объектов через их обнаружение и последующую классификацию. В данной работе предлагается использовать новейшую версию модели YOLO [1] для определения скелетных точек человека и модели DepthAnything для того, чтобы получить глубину скелетных точек, а также применять комбинацию моделей SAM [2] и DINO [3] для обнаружения целевых объектов независимо от условий окружающей среды. Завершающим этапом является обработка полученных данных с использованием метрических методов или глубоких нейронных сетей для точной классификации действий.

Шпилева А.А. (науч. рук. Ефимова В.А.) Алгоритм распознавания действий человека в видеопотоке с помощью скелетных моделей компьютерного зрения // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/15893