Оскільки не існує загальної концепції того, чи повинен кожен згортковий шар супроводжуватися вузлом лінійного випрямляча, розглянуто питання щодо належного числа вузлів лінійних випрямлячів та їх розміщення. Мета роботи - знаходження закону для встановлення належного числа вузлів лінійних випрямлячів. Якщо це число є меншим за число згорткових шарів, то цей закон обумовлюватиме належне розміщення вузлів лінійних випрямлячів. Визначено метод оцінювання продуктивності на банках даних EEACL26 та CIFAR-10 за різними версіями розміщення вузлів лінійних випрямлячів. Для кожної версії розміщення продуктивність оцінюється упродовж 4 та 8 епох відповідно для EEACL26 та CIFAR-10. Виокремлено найкращі показники продуктивності. У згорткових нейронних мережах з 4 та 5 згортковими шарами перші три згорткові шари мають супроводжуватися вузлами лінійних випрямлячів, а решта згорткових шарів не повинна піддаватися цій обчислювальній процедурі. Правдоподібно те, що доцільність вузлів лінійних випрямлячів включає їх компактне розміщення з початку, тобто всі вузли лінійних випрямлячів розміщуються один за одним від самого першого згорткового шару. Належне число вузлів лінійних випрямлячів є деяким цілим числом між половиною кількості згорткових шарів та цією половиною, збільшеною на 1. Висновки: у деяких випадках виграш може доходити до 100 % і більше. Виграш для CIFAR-10, якщо такий матиме місце, становить від близько 10 до 20 %. Взагалі, виграш очікувано спадає з просуванням процесу навчання. Однак наведена доцільність числа та розміщення вузлів лінійних випрямлячів раціоналізує архітектуру згорткових нейронних мереж. За належного розміщення вузлів лінійних випрямлячів згорткові нейронні мережі можуть бути поступово оптимізовані далі за іншими своїми гіперпараметрами.

  Повний текст PDF - 648.638 Kb    Зміст випуску     Цитування публікації

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"