Визначено правовий статус жестової мови, сурдопереклад як елемент системи супроводу навчального процесу студентів з порушеннями слуху. Розкрито значущість жестової мови у вихованні та навчанні дітей з вадами слуху. Проаналізовано досвід використання жестової мови в Україні та за кордоном, зокрема, на уроках в спеціальних загальноосвітніх школах-інтернатах. Висвітлено проблему білінгвізму студентів з порушеннями слуху в ВНЗ, науково-теоретичні засади лінгвістичного дослідження української жестової мови.

Определены правовой статус жестового языка, сурдоперевод как элемент системы сопровождения учебного процесса студентов с нарушениями слуха. Раскрыта значимость жестового языка в воспитании и обучении детей с дефектами слуха. Проанализирован опыт использования жестового языка в Украине и за рубежом, в частности, на уроках в специальных общеобразовательных школах-интернатах. Освещены проблема билингвизма студентов с нарушениями слуха в ВУЗ, научно-теоретические основы лингвистического исследования украинского жестового языка.

Висвітлено теоретичні аспекти жестової мови в структурі вузівської підготовки дефектологів. Розглянуто питання про використання даної мови в системі "тотальної комунікації" та білінгвального навчання. Проаналізовано проблеми сучасної сурдопедагогіки, досвід Канади щодо перекладу жестової мови в системі вищої освіти. Розкрито роль рідної мови у формуванні пізнавальної активності глухих учнів початкових класів. Наведено результати лінгвістичних досліджень жестової мови.

Освещены теоретические аспекты жестового языка в структуре вузовской подготовки дефектологов. Рассмотрен вопрос об использовании данного языка в системе "тотальной коммуникации" и билингвального обучения. Проанализированы проблемы современной сурдопедагогики, опыт Канады относительно перевода жестового языка в системе высшего образования. Раскрыта роль родного языка в формировании познавательной активности глухих учеников начальных классов. Приведены результаты лингвистических исследований жестового языка.

Розглянуто суть поняття "українська дактилологія" за допомогою української пальцевої абетки. Встановлено джерела зародження дактилології. Розкрито сучасний зміст лінгвістичного аспекту функціонування української дактилології. Наведено правила дактилювання. Висвітлено особливості та наведено зразки дактильних абеток. Надано практичні рекомендації щодо якісного оволодіння дактильним мовленням.

Рассмотрена сущность понятия "украинская дактилология" с помощью пальцевой азбуки. Установлены источники зарождения дактилологии. Раскрыто современное содержание лингвистического аспекта функционирования украинской дактилологии. Изложены правила дактилирования. Освещены особенности и приведены образцы дактильных азбук. Даны практические рекомендации по качественному овладению дактильной речью.

Розглянуто питання формування писемного мовлення учнів з порушеннями слуху в теорії сурдопедагогіки, становлення теоретико-методичних підходів до збагачення мовлення глухих учнів дієслівною лексикою. Проаналізовано взаємозв'язки та взаємозалежності між соціальним розвитком, поведінкою глухих учнів і динамікою формування їх читацьких вмінь та якостей в процесі вивчення літератури. Наведено результати дослідження української жестової мови на початковому етапі. Описано інноваційну модель підготовки та перепідготовки перекладачів і педагогів в Україні з основ вивчення жестової мови. Висвітлено історію створення першого музею Українського товариства глухих.

Рассмотрены вопросы формирования письменной речи учеников с нарушениями слуха в теории сурдопедагогики, становления теоретико-методических подходов к обогащению речи глухих учеников глагольной лексикой. Проанализированы взаимосвязи и взаимозависимости между социальным развитием, поведением глухих учеников и динамикой формирования их читательских умений и качеств в процессе изучения литературы. Приведены результаты исследования украинского жестового языка на начальном этапе. Описана инновационная модель подготовки и переподготовки переводчиков и педагогов в Украине по основам изучения жестового языка. Освещена история создания первого музея Украинского общества глухих.

Запропоновано концепцію комплексної інформаційної технології невербального спілкування українською мовою жестів людей із вадами слуху як між собою, так і з іншими людьми.

Розроблено математичне та програмне забезпечення комп'ютеризованої системи ідентифікації жестів української жестової мови у реальному часі. Запропоновано нову модифікацію методу навчання нейронних мереж зворотним поширенням похибки, яка дозволяє на 27 % зменшити кількість помилок розпізнавання кінців пальців долоні та на 44 % зменшити час навчання у порівнянні з методом спряжених градієнтів. Розроблено новий метод вибору прикладів для навчання нейромережевого класифікатора, який дозволяє застосувати технологію інтерактивного навчання з відео. Створено модель псевдодвовимірної неперервної деформації зображення, яку використано для порівняння форми долоні з еталоном. Виявлено, що дана модель дозволяє підвищити відсоток правильного розпізнавання форми долоні з 87 % до 94 %. Виявлено, що розроблена комп'ютеризована система ідентифікації жестів української жестової мови на тестовому наборі з 85-ти жестів правильно розпізнає 92 % жестів.

Розкрито феномен глухоти в контексті технократичного та гуманістичного підходів. Розроблено, змістово забезпечено й апробовано систему організаційно-змістових моделей формування жестової комунікативної компетенції та становлення та розвитку особистості глухої дитини. Доведено, що українська жестова мова - відкрита мовна система взаємопов'язаних елементів різного характеру. Обгрунтовано теоретико-методичні засади вивчення мови жестів як навчальної дисципліни, використання її як засобу навчання нєчуючих за умов двомовного підходу.

Розглянуто особливості становлення та розвитку жестової мови як феномену у контексті соціокультурного підходу. Визначено теоретико-методологічні та методичні засади її функціонування. Розкрито шляхи подальшого вивчення мови жестів як навчальної дисципліни, засобу комунікації та навчання. Висвітлено ідеї соціокультурного розуміння глухоти, сутність української жестової мови та її мовознавчі особливості. Наведено модель формування жестомовної комунікативної компетенції.

Рассмотрены особенности становления и развития языка жестов как феномена в контексте социокультурного подхода. Определены теоретико-методологические и методические основы его функционирования. Раскрыты пути дальнейшего изучения языка жестов как учебной дисциплины, средства коммуникации и обучения. Освещены идеи социокультурного понимания глухоты, сущность украинского языка жестов и его языковедческие особенности. Дана модель формирования коммукативной компетенции языка жестов.

На основі методологій штучного інтелекту розглянуто теоретичні та практичні аспекти розроблення математичного та програмного забезпечення комп'ютеризованої системи ідентифікації жестів української жестової мови. Для вирішення цієї проблеми розглянуто широке коло питань, які стосуються моделювання струкутурованих і неструктурованих даних, зокрема, на основі карт Кохонена. Проаналізовано існуючі та запропоновано власні оригінальні підходи, які мають більшу ефективність і дали змогу розробити відповідне програмне забезпечення. Детально описано систему розпізнавання жестової мови.

Розглянуто проблему розпізнавання артикуляції на зображенні обличчя. Запропоновано метод розпізнавання артикуляції, який базується на методі активної моделі форми ASM. Метод протестовано на відеозображеннях української жестової мови та на базі облич "BioID".

Мета дослідження - розробка та реалізація алгоритмів розпізнавання дактильної жестової мови (ДМ), що використовується під час спілкування з людьми з вадами слуху. Розширено та деталізовано схему класифікації окремих елементів ДМ. Розглянуто та описано методи побудови контуру елемента ДМ.

Розглянуто задачу визначення положення тіла людини з відеопотоку для програмного забезпечення "Тренажера української жестової мови". Досліджено алгоритми побудови полігональної моделі для розв'язання цієї задачі.

Розглянуто підхід до показу дактилем української дактильної жестової мови за допомогою просторової моделі. Розглянуто математичну модель скелета руки людини, алгоритми анімації руки за допомогою скелетної моделі, алгоритми переходу між дактилемами у процесі показу слова, алгоритми підготовки поверхні руки (скінінгу), алгоритм розпаралелення обчислень у підзадачі підготовки кадрів для анімації показу.

Запропоновано інформаційну технологію для моделювання української мови жестів. Наведено інформаційну та математичну моделі для фіксації мінімально значимих одиниць жестової мови, дактильної абетки, мімічних проявів під час промовляння. Розроблено технологію та відповідне програмне забезпечення для одержання, збереження та відтворення жестів і міміки промовляння.

Запропоновано математичну модель та її комп'ютерну реалізацію для одержання та відтворення жестової мови за допомогою тривимірних моделей людей. Запропоновано технологію, яка досить реалістично відтворює рухи на тривимірній моделі, що одержані з відеозображення конкретної людини - носія жестової мови.

Розглянуто проблему розпізнавання артикуляції у відеопотоці. Запропоновано метод розпізнавання артикуляції та його комп'ютерну реалізацію. Метод протестовано на відеозаписах промовляння слів і на зображеннях облич.

Розглянуто проблему розпізнавання артикуляції на відеозаписах із мовленням. Запропоновано багатокроковий метод розпізнавання, що базується на нормалізації зображення обличчя, методі активної моделі форми ASM і методі найменших квадратів. Метод протестовано на відеозаписах промовляння слів та на основі облич.

Запропоновано підхід для моделювання рухів жестової мови для подальшого просторового відтворення на 3D-моделі. Показано спроможність запропонованої технології досить реалістично відтворювати на тривимірній моделі рухи, що одержані з відеозображення конкретної людини - носія жестової мови.

Рассмотрен подход к исследованию движений пальцев руки человека для построения спецификаций жестов дактильного жестового языка. Предложена информационно-параметрическая модель кисти руки человека для описания возможных движений при дактилировании элементов жестового языка. Исследованы дактильные азбуки десяти жестовых языков, осуществлен сравнительный анализ на предмет их подобия и различия построения движений. Приведен пример обучающей программы для украинской дактильной жестовой азбуки, реализованной с использованием технологии .Net и Windows Presentation Foundation компании Microsoft.

Запропоновано підхід до синтезу зовнішньої артикуляції для задачі комп'ютерного відтворення української жестової мови на тривимірній моделі голови людини без і з урахуванням особливості фонетичної структури словоформи. Підхід дозволяє відтворювати артикуляцію губ синхронно до анімації жесту з використанням бази морфів візем української мови. Наведена програмна реалізація алгоритму підтвердила працездатність запропонованого підходу.