Изучены нейронные сети, а именно рекуррентные нейронные сети, отличающиеся способностью запоминания данных, а также программные библиотеки для их реализации. Цель работы - анализ нейронной сети Хопфилда, сетей Элмана и Джордана, эхо-сети, рекурсивной сети и рекуррентной сети с долгой краткосрочной памятью для непосредственного определения оптимальной архитектуры сети. А также анализ следующих программных библиотек: CNTK, Theano, Gluon, TensorFlow. Проведено сравнение по направленности применения и возможностям работы с большими текстовыми данными вышеперечисленных рекуррентных нейронных сетей, определить какая из рассматриваемых программных библиотек является оптимальной и быстродейственной для разработки рекуррентной нейронной сети. Методом проведения исследования является нагрузочное тестирование программных комплексов в одинаковых аппаратных условиях, с использованием одинакового набора данных. По итогу работы получены результаты: платформой для интеграции технологий выбрано приложение для обработки текстовых данных большого объема и их резюмирования, а именно проект интерактивной среды написания литературы, созданный с использованием NET, который позволяет автоматически резюмировать текст по определенным критериям. Для анализа производительности программных библиотек был рассмотрен тест на основе обучения и использования рекуррентных сетей с LSTM-модулями на тестовом наборе данных, с использованием всех исследуемых библиотек. Выводы: в качестве наиболее оптимального архитектурного подхода стоит считать использование LSTM-модулей, которые решают проблему затухающего градиента. Благодаря этому сети, основанные на этом подходе, показывают наилучшие результаты при работе с долгосрочными зависимостями в данных, что является крайне важным фактором при обработке текстовых данных. По результатам тестов производительности можно сказать, что наиболее оптимизированными для работы с рекуррентными архитектурами являются программные библиотеки CNTK и Gluon. При обучении они демонстрируют скорость, превосходящую производительность TensorFlow и Theano на 10-60%.

  Повний текст PDF - 318.92 Kb    Зміст випуску     Цитування публікації

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"