Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. Розроблено метод для оцінювання внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який надає змогу утримувати норму градієнтів у задовільних межах. Для експериментальної перевірки запропонованого підходу використано спеціальні синтетичні бенчмарки для тестування нейромереж на здатність виявляти довготривалі залежності. Навчена з використанням цього методу рекурентна нейромережа з одиничними затримками може знаходити залежності між подіями в часових послідовностях довжиною до 100 і більше тактів.

  Повний текст PDF - 522.572 Kb    Зміст випуску     Цитування публікації

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"