МЕТОДИ ТА АЛГОРИТМИ ДЛЯ ВИЯВЛЕННЯ АНОМАЛІЙ

В. О. Скаковський; Р. С. Савіцький; М. О. Фант

doi:10.26661/2786-6254-2025-1-10

В. О. Скаковський Державний університет «Житомирська політехніка» https://orcid.org/0009-0001-8947-4207
Р. С. Савіцький Державний університет «Житомирська політехніка» https://orcid.org/0000-0001-9804-3604
М. О. Фант Державний університет «Житомирська політехніка» https://orcid.org/0000-0002-4994-8009

DOI: https://doi.org/10.26661/2786-6254-2025-1-10

Ключові слова: виявлення аномалій, виявлення викидів, машинне навчання, глибоке навчання

Анотація

У статті розглядаються кілька підходів до пошуку аномалій у складних наборах даних, що є важливим завданням у сферах промислового моніторингу, кібербезпеки, банківської справи q охорони здоров’я.У статті оцінюються теоретичні основи, переваги та недоліки стратегій виявлення аномалій, класифіковано їх на статистичні підходи, методи кластеризації, моделі глибокого навчання та гібридні / ансамблеві методи.Статистичні методи, як-от аналіз Z-показника, моделі суміші Гауса (GMM) і оцінка щільності ядра (KDE), мають проблеми з обробкою багатовимірних і нелінійних даних. Хоча K-середні, DBSCAN та ієрархічна кластеризація є популярними методами кластеризації для неконтрольованого виявлення аномалій, ефективність залежить від чутливості до шуму та параметрів.У дослідженні розглядаються методи глибокого й машинного навчання, зокрема автокодери, генеративні змагальні (GAN), згорткові нейронні мережі (CNN) і мережі довгострокової короткочасної пам’яті (LSTM). Для часових рядів і графічних даних моделі зробили революцію у виявленні аномалій.Гібридний і ансамблевий підходи поєднують багато методів для підвищення точності та стійкості. У складних завданнях виявлення аномалій такі методи, як утворення ансамблів, посилення й ізоляція лісів, демонструють покращену продуктивність. Інтерпретація та вимоги до обчислень усе ще залишаються головними проблемами.У статті висвітлено багато актуальних дослідницьких питань, як-от пояснюваність, масштабованість моделі й адаптованість до мінливих контекстів. Майбутні дослідження повинні зосередитися на федеративному навчанні, пояснюваному штучному інтелекті (XAI) і напівконтрольованому навчанні. Це дослідження закладає основу для майбутніх розробок у цій сфері.

Посилання

1. Pang, G., Shen, C., Cao, L., & Hengel, A. (2021). Deep learning for anomaly detection: A review. ACM Computing Surveys, 54 (1), 1–38. https://doi.org/10.1145/3439950.
2. Wu, H., Schafer, T.L.J., & Matteson, D.S. (2024). Trend and variance adaptive Bayesian changepoint analysis & local outlier scoring. arXiv. https://doi.org/10.48550/arXiv.2011.09437.
3. Zheng, H., Yu, X., & Li, J. (2021). Density-based neural networks for anomaly detection. Advances in Neural Information Processing Systems (NeurIPS).
4. Yang, C., Lan, S., Huang, W., Wang, W., Liu, G., Yang, H., Ma, W., & Li, P. (2022). A transformer- based GAN for anomaly detection. Lecture Notes in Computer Science. https://doi.org/10.1007/978-3- 031-15931-2_29.
5. Chabchoub, Y., Togbe, M., Boly, A., & Chiky, R. (2022). An in-depth study and improvement of Isolation Forest. IEEE Access. https://doi.org/10.1109/ACCESS.2022.3144425.
6. Noorchenarboo, M., & Grolinger, K. (2025). Explaining deep learning-based anomaly detection in energy consumption data by focusing on contextually relevant data. Energy and Buildings, 328, 115177. https:// doi.org/10.1016/j.enbuild.2024.115177.
7. Rashid, F., Khan, R., & Qureshi, I. (2023). A comprehensive review of the Altman Z-score model across industries. SSRN. https://doi.org/10.2139/ssrn.5044057.
8. Amador Luna, D., Alonso-Chaves, F. M., & Fernández, C. (2024). Kernel density estimation for the interpretation of seismic big data in tectonics using QGIS: The Türkiye–Syria earthquakes (2023). Remote Sensing, 16 (20), 3849. https://doi.org/10.3390/rs16203849.
9. Wibisono, S., Anwar, M., Supriyanto, A., & Amin, I. (2021). Multivariate weather anomaly detection using DBSCAN clustering algorithm. Journal of Physics: Conference Series, 1869, 012077. https://doi. org/10.1088/1742-6596/1869/1/012077.
10. Li, Y., Wang, J., Zhao, H., Wang, C., & Shao, Q. (2024). Adaptive DBSCAN clustering and GASA optimization for underdetermined mixing matrix estimation in fault diagnosis of reciprocating compressors.
Sensors, 24 (1), 167. https://doi.org/10.3390/s24010167
11. Licen, S., Astel, A., & Tsakovski, S. (2023). Self-organizing map algorithm for assessing spatial and temporal patterns of pollutants in environmental compartments: A review. Science of The Total Environment, 878, 163084. https://doi.org/10.1016/j.scitotenv.2023.163084.
12. Gorman, M., Ding, X., Maguire, L., & Coyle, D. (2023). Convolutional autoencoders for anomaly detection in semiconductor manufacturing. IEEE AI for Cybersecurity (AICS), 1–6. https://doi.org/10.1109/ AICS60730.2023.10470831.
13. Arifin, S., Wijaya, A., Nariswari, R., Yudistira, A., Suwarno, Faisal, F., & Wihardini, D. (2023). Long short-term memory (LSTM): Trends and future research potential. International Journal of Emerging Technology and Advanced Engineering, 13, 24–35. https://doi.org/10.46338/ijetae0523_04.
14. Saifullah, S., Yuwono, B., Rustamaji, H.C., Saputra, B., Dwiyanto, F.A., & Dreżewski, R. (2023). Detection of chest X-ray abnormalities using CNN based on hyperparameter optimization. Engineering Proceedings, 56 (1), 223. https://doi.org/10.3390/ASEC2023-16260.
15. Zenati, H., Foo, C.S., Lecouat, B., Manek, G., & Chandrasekhar, V.R. (2019). Efficient GAN-based anomaly detection. arXiv. https://doi.org/10.48550/arXiv.1802.06222.
16. Bousmina, A., Selmi, M., Rhaiem, M., & Farah, I. (2023). A hybrid approach based on GAN and CNN- LSTM for aerial activity recognition. Remote Sensing, 15, 3626. https://doi.org/10.3390/rs15143626.
17. Purandhar, N., Ayyasamy, & Poruran, S. (2022). Classification of clustered health care data analysis using generative adversarial networks (GAN). Soft Computing. https://doi.org/10.1007/s00500-022-07026-7.
18. Hariri, S., Kind, M.C., & Brunner, R.J. (2021). Extended isolation forest. IEEE Transactions on Knowledge and Data Engineering, 33 (4), 1479–1489. https://doi.org/10.1109/TKDE.2019.2947676.
19. Lazzarini, R., Tianfield, H., & Charissis, V. (2023). A stacking ensemble of deep learning models for IoT intrusion detection. Knowledge-Based Systems, 279, 110941. https://doi.org/10.1016/j. knosys.2023.110941.
20. Vozza, M., Polden, J., Mattera, G., Piscopo, G., Vespoli, S., & Nele, L. (2024). Explaining anomaly detection in additive manufacturing via boosting models and frequency analysis. Mathematics, 12, 3414. https://doi.org/10.3390/math12213414.
21. Schonlau, M., & Zou, R. (2020). The random forest algorithm for statistical learning. The Stata Journal: Promoting Communications on Statistics and Stata, 20, 3–29. https://doi.org/10.1177/1536867X20909688.