Мета дослідження - зменшення часу обробки кадрів при сегментації обличчя на відео на мобільних пристроях за допомогою технологій глибинного навчання. Проведено аналіз переваг і недоліків існуючих методів сегментації, а також їх застосовності для вирішення різних завдань. Виконано порівняння існуючих реалізацій сегментації обличчя в реальному часі в найбільш популярних мобільних додатках, які надають функціонал додавання візуальних ефектів на відео. В результаті визначено, що класичні методи сегментації не володіють відповідним поєднанням точності та швидкості роботи, а також вимагають ручного налаштування під конкретну задачу, тоді як методи сегментації на базі нейронних мереж (НМ) визначають глибинні ознаки автоматично і мають високу точність за прийнятного часу роботи. Для використання обрано метод на базі глибинних згорткових НМ (ЗНМ), оскільки, крім переваг інших методів на базі НМ, він не вимагає настільки значних витрат обчислювальних ресурсів під час виконання. Проведено огляд існуючих ЗНМ для сегментації, виходячи з якого для застосування обрано мережу DeepLabV3+ як ту, що має досить високу точність і при цьому оптимізована для роботи на мобільних пристроях. У структуру обраної мережі внесені модифікації з метою відповідності завданню сегментації на 2 класи та для прискорення роботи на пристроях із низькою продуктивністю. Для подальшого прискорення роботи до оброблюваних мережею значень застосовано восьмібітну квантизацію. Адаптацію мережі під задачу сегментації обличчя виконано за допомогою перенесення навчання, проведеного на вибірці зображень з обличчями з датасета COCO. На базі зміненої та навченої моделі сегментації створено мобільний додаток для запису відео з візуальними ефектами в реальному часі, яке застосовує сегментацію для роздільного накладення ефектів на дві зони - обличчя (фільтри кольору, зміна яскравості, анімовані ефекти) і тло (розмиття, приховування, заміна на інше зображення). Проведено тестування часу обробки кадрів в додатку на мобільних пристроях з різними технічними характеристиками. Проаналізовано відмінності в показниках тестування при сегментації за допомогою отриманої моделі і з використанням сегментації методом нормального розрізу графа. В результаті порівняння виявлено зниження часу обробки кадрів на більшості пристроїв за незначного зменшення точності сегментації.

 Наукова періодика України 

---

Додаткова інформація про автора(ів) публікації:
(cписок формується автоматично, до списку можуть бути включені персоналії з подібними іменами або однофамільці)

• Рувінська Вікторія Михайлівна (технічні науки)

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"