РОЗРОБКА ПРОТОТИПУ ДОДАТКА ВИЯВЛЕННЯ АНОМАЛІЙ ШЛЯХОМ ВІДСТЕЖЕННЯ ПОДІЙ У РОЗПОДІЛЕНИХ КОМП’ЮТЕРНИХ СИСТЕМАХ НА ПРИКЛАДІ БАНКІВСЬКОЇ СИСТЕМИ СПОВІЩЕНЬ

Анотація

У статті представлено розробку прототипу додатка для виявлення й аналізу аномалій у розподілених комп’ютерних системах шляхом відстеження подій, реалізованого на прикладі банківської системи сповіщень. Розроблений прототип складається з двох основних модулів: модуля виявлення аномалій і модуля аналізу першопричин. Модуль виявлення аномалій здатен аналізувати дані, що генеруються системою під спостереженням через розподілену систему відстеження подій, та ідентифікувати аномальну поведінку, особливо таку, що впливає на досвід користувача. Модуль аналізу першопричин призначений для аналізу виявленої аномальної поведінки в контексті залежностей сервісу та встановлення сервісу-першопричини аномальної поведінки з урахуванням ефекту поширення аномалій. У роботі детально описано архітектуру та принципи функціонування обох модулів, їх взаємодію через систему асинхронної комунікації Apache Kafka, а також особливості реалізації алгоритмів виявлення різних типів аномалій. Особлива увага приділяється процесу виявлення помилок, порушень порогових значень та аналізу часу відгуку сервісів. Представлено інноваційний підхід до реконструкції структури залежностей аномалії на основі часових міток та ідентифікаторів трейсів, що дає змогу точно визначати першопричини проблем навіть за відсутності повної інформації про всі спени. Прототип розроблено з використанням сучасних технологій та фреймворків з відкритим кодом, зокрема Spring Cloud Sleuth для відстеження подій, Apache Kafka для асинхронної комунікації та Apache Spark для обробки даних. Архітектура системи спроєктована з урахуванням можливості масштабування та легкого додавання нових алгоритмів виявлення аномалій. Прототип успішно виявляє різні типи аномалій, включно з помилками, порушенням порогових значень і аномальним часом відгуку сервісів, а також точно визначає сервіси-першопричини проблем, що дає змогу значно прискорити процес діагностики й усунення несправностей у складних розподілених системах.