The problem of viseme recognition in video stream is considered. The problem arises as a part of sign language understanding and translation process. An approach that uses only dynamic viseme features is proposed. A weighted optical flow model is developed for modeling these features. Initialization, join, and distance operators are defined on weighted optical flow models for training and recognition purposes. The performance of the developed method was evaluated on a database of 119 visemas that belong to five classes. The recognition rate 69 % was achieved for single user recognition.Розглянуто проблему розпізнавання візем у відеопотоці, яка постає під час вирішення проблеми розпізнавання та перекладу жестової мови. Проаналізовано підхід, який використовує лише динамічні характеристики відео для розпізнавання візем. Розроблено зважену модель оптичного потоку для моделювання цих динамічних характеристик. Уведено операції ініціалізації, об’єднання й обчислення віддалі над зваженими моделями оптичного потоку для навчання та розпізнавання моделей. Розроблений метод протестовано на базі з 119-ти візем, які належать до п’яти класів. Відсоток правильного розпізнавання становить 69 % за умов розпізнавання записів, відзнятих від одного користувача.Рассматривается проблема распознавания визем в видеопотоке при решении проблемы распознавания и перевода жестового языка. Рассмотрено подход, который использует только динамические характеристики видео. Разработано взвешенную модель оптического потокадля моделирования таких характеристик. Введен набор операций инициализации, объединения и вычисления расстояния над взвешенными моделями оптического потока для обучения моделей и распознавания визем. Разработанный метод протестировано на базе 119 визем,принадлежащих пяти классам. Процент правильного распознавания составил 69% при распознавании видеозаписей, отснятых с одного пользователя.

  Повний текст PDF - 426.352 Kb    Зміст випуску     Цитування публікації

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"