EISSN 2310-6018
Язык: ru

Статья: ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ МОДЕЛЕЙ ГЛУБОКОГО ОБУЧЕНИЯ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ТЕХНОЛОГИЧЕСКИХ ОПЕРАЦИЙ, КАК ПОСЛЕДОВАТЕЛЬНОСТИ ДВИЖЕНИЙ КИСТЕЙ РУК (2024)

Читать онлайн

В работе изучаются методы распознавания на видео специфического класса технологических операций ручного труда, который представляет собой последовательности движения кистей и пальцев рук. Технологическая операция здесь определяется как последовательность новых специфических символов жестового языка. Рассмотрены различные методы распознавания жестов на видео. Исследован двухэтапный подход: на первом этапе распознаются ключевые точки рук на каждом кадре с помощью открытой библиотеки mediapipe, на втором этапе покадровая последовательность ключевых точек трансформируется в текст с помощью обученной нейросети архитектуры трансформер. Основное внимание уделено обучению модели нейросети архитектуры трансформер на базе открытого датасета американского жестового языка (ASL) для распознавания предложений жестового языка на видео. Затронут вопрос применимости данного подхода и обученной модели ASL для распознавания технологических операций ручного труда с мелкой моторикой в виде текстовой последовательности. Полученные результаты могут быть полезны при исследовании трудовых процессов с быстрыми движениями и малыми отрезками времени в алгоритмах распознавания технологических операций ручного труда на видеоданных.

Ключевые фразы: ВИДЕОАНАЛИЗ ДВИЖЕНИЙ РУК, РАСПОЗНАВАНИЕ ЖЕСТОВ, РАСПОЗНАВАНИЕ ДЕЙСТВИЙ, глубокие нейронные сети, ТРАНСФОРМЕР, ТЕХНОЛОГИЧЕСКИЕ ОПЕРАЦИИ
Автор (ы): Штехин Сергей Евгеньевич, Стадник А. В.
Журнал: МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

Идентификаторы и классификаторы

УДК
004.896. Искусственный интеллект в промышленных системах. Интеллектуальные САПР и АСУ. Интеллектуальные роботы
eLIBRARY ID
67919955
Для цитирования:
ШТЕХИН С. Е., СТАДНИК А. В. ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ МОДЕЛЕЙ ГЛУБОКОГО ОБУЧЕНИЯ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ТЕХНОЛОГИЧЕСКИХ ОПЕРАЦИЙ, КАК ПОСЛЕДОВАТЕЛЬНОСТИ ДВИЖЕНИЙ КИСТЕЙ РУК // МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ. 2024. Т. 12 № 2
Текстовый фрагмент статьи