ОПТИМІЗАЦІЯ ЗГОРТКОВИХ НЕЙРОННИХ МЕРЕЖ ТА ЇХ АНСАМБЛІВ

Анотація

Штучні нейронні мережі застосовуються до розв’язання великої кількості практичних задач, серед яких можна виділити проблеми класифікації, регресії та кластерного аналізу. Зокрема, для розпізнавання образів ефективно використовуються згорткові нейронні мережі. Така популярність пояснюється структурою згорткових мереж, яка складається зазвичай з двох типів шарів: власне згорткових та повнозв’язних. У шарах згортки відбувається автоматичне визначення суттєвих ознак об’єктів. Цей етап можна інтерпретувати як застосування до даних різноманітних фільтрів. У повнозв’язних шарах відбувається безпосередньо класифікація на базі ознак, вилучених згортковими шарами. Кількість шарів обох типів, тип функцій активації, тип оптимізатора, кількість епох навчання та інші показники відносяться до гіперпараметрів нейромереж. У практичних задачах саме структурна та параметрична оптимізація вимагає суттєвих часових затрат та експертних знань предметної області. Одним з методів, що дозволяє уникнути такого ручного налаштування роботи системи є генетичні алгоритми. Загальна схема застосування генетичних алгоритмів до нейронних мереж полягає у наступному. На першому етапі варто обрати спосіб кодування суттєвих параметрів нейронної мережі у вигляді бінарного або числового вектора. Такі вектори формують деяку базову множину розв’язків, у якій здійснюється пошук оптимального розв’язку. Після цього обирається цільова функція, яка визначатиме найбільш вдалу архітектуру окремих нейронних мереж та їх структуру. Така функція повинна бути близькою за значенням до функції втрат, що використовуються при навчанні нейромереж. Суттєвим етапом генетичних алгоритмів є визначення наступних операторів: селекції, кросовера, мутації та відбору. Вибір цих операторів впливає на збіжність та ефективність методу в цілому. Генетичний алгоритм є прикладом метаевристичних методів. Збіжність таких методів у загальному випадку досить важко довести формально. Однак застосування генетичного алгоритму під час налаштування нейронних мереж дозволяє знизити втручання користувача до мінімуму. Іншим відомим підходом до поліпшення ефективності систем розпізнавання є використання ансамблів – поєднань декількох моделей з генерацією спільного результату. Існує декілька способів побудови такого поєднання. Загальною вимогою є те, що елементи ансамблю повинні розрізнятися або структурно, або параметрично. Також можуть використовуватися подібні моделі, але оптимізовані для різних наборів даних. Використання ансамблевого навчання нейронних мереж пов’язано з проблемою різкого збільшення вимог до обчислювальних ресурсів. Одним з підходів тут може бути застосування так званого Snapshot ансамблю, який дозволяє будувати колекцію нейронних мереж, подібних за структурою, але з різними наборами вагових коефіцієнтів. Час навчання такого ансамблю дорівнює часу навчання однієї мережі. Роботу присвячено застосуванню генетичних алгоритмів для спільного налаштування структури нейронних мереж та параметрів ансамблю.