ПРОБЛЕМИ ВПРОВАДЖЕННЯ МАШИННОГО НАВЧАННЯ В СУЧАСНІ ПЕРИФЕРІЙНІ ПРИСТРОЇ

О. С. Мельничук; М. В. Лобур; Т. В. Свірідова

doi:10.26661/2786-6254-2024-2-07

О. С. Мельничук Національний університет «Львівська політехніка» https://orcid.org/0009-0008-2385-1488
М. В. Лобур Національний університет «Львівська політехніка» https://orcid.org/0000-0001-7516-1093
Т. В. Свірідова ЕПАМ Системз https://orcid.org/0009-0008-4332-8109

DOI: https://doi.org/10.26661/2786-6254-2024-2-07

Ключові слова: TinyML, вбудований ШІ, периферійні обчислення, інтернет речей, мікроконтролери

Анотація

Останнім часом штучний інтелект (ШІ) та машинне навчання (МН) привернули значну увагу як на виробництві, так і в академічних колах. Оскільки традиційні методи МН є енергоємними, то це обмежує їх застосування підмножиною пристроїв зі значними обчислювальними можливостями. Однак зростання потужності процесорів та мікроконтролерів дозволило інтегрувати методи МН для обробки даних спершу на мобільні пристрої, а пізніше – на малопотужні (кілька міліват) периферійні пристрої. Ця концепція остаточно сформувалась у 2018 році та отримала назву TinyML. Її стрімке поширення підживлюється велетенською кількістю вироблених мікроконтролерів (250 мільярдів) та популярністю інтернету речей (ІР). У перспективі, TinyML може бути використаний на кожному пристрої що є частиною ІР, хоча це не завжди буде економічно виправдано. Водночас застосування технологій TinyML не є простим і потребує ретельної оцінки та вибору можливостей як алгоритму МН так і периферійного пристрою. Це пояснюється насамперед відсутністю загальноприйнятих способів порівняння як алгоритмів TinyML, так і спроможностей апаратного забезпечення щодо застосування МН. Існує кілька підходів до впровадження TinyML: орієнтований на програмне забезпечення, апаратне забезпечення та гібридний. Залежно від підходу застосовуються різні методи вирішення конкретної задачі. Деякі алгоритми МН можуть бути перенесені на периферійні пристрої досить просто, через застосування прийомів спрощення та адаптації нейронних мереж (НМ). Однак на сьогодні їх застосування не є автоматизованим та узагальненим. Ця стаття присвячена огляду концепції TinyML, основних етапів та особливостей її застосування, найбільш помітних досягнень в галузях розпізнавання мови та зображень, класифікації послідовностей та стиснення даних, діагностики здоров’я та взаємодії з мозком, прогнозування несправностей техніки та виявлення аномалій, автономного транспорту та екології. На жаль, об’єм статті не дозволяє розкрити особливості застосування TinyML в решті галузей та більш детально. Крім того, в статті проаналізовані проблеми, які виникають при впровадженні технологій МН на малопотужних пристроях. Мета статті – стати путівником та дороговказом у світ застосувань TinyML.

Посилання

1. Dutta, L., & Bharali, S. (2021). TinyML meets IoT: A comprehensive survey. Internet of Things, 16, 100461.
2. Fraga-Lamas, P., Lopes, S. I., & Fernández-Caramés, T. M. (2021). Green IoT and edge AI as key technological enablers for a sustainable digital transition towards a smart circular economy: An industry 5.0 use case. Sensors, 21(17), 5745.
3. Schizas, N., Karras, A., Karras, C., & Sioutas, S. (2022). TinyML for ultra-low power AI and large scale IoT deployments: a systematic review. Future Internet, 14(12), 363.
4. Warden, P., & Situnayake, D. (2019). TinyML: Machine learning with TensorFlow Lite on Arduino and ultra-low-power microcontrollers. O’Reilly Media.
5. Pramod, A., Naicker, H. S., & Tyagi, A. K. (2021). Machine learning and deep learning: Open issues and future research directions for the next 10 years. Computational analysis and deep learning for medical care: Principles, methods, and applications, 463–490.
6. Capogrosso, L., Cunico, F., Cheng, D. S., Fummi, F., & Cristani, M. (2024). A machine learning-oriented survey on tiny machine learning. IEEE Access.
7. Kallimani, R., Pai, K., Raghuwanshi, P., Iyer, S., & López, O. L. (2024). TinyML: Tools, applications, challenges, and future research directions. Multimedia Tools and Applications, 83(10), 29015-29045.
8. Rajapakse, V., Karunanayake, I., & Ahmed, N. (2023). Intelligence at the extreme edge: A survey on reformable TinyML. ACM Computing Surveys, 55(13s), 1-30.
9. Banbury, C. R., Reddi, V. J., Lam, M., Fu, W., Fazel, A., Holleman, J., ... & Yadav, P. (2020). Benchmarking TinyML systems: Challenges and direction. arXiv preprint arXiv:2003.04821.
10. Kwon, J., & Park, D. (2021). Hardware/software co-design for TinyML voice-recognition application on resource frugal Edge Devices. Applied Sciences, 11(22), 11073.
11. Paul, A. J., Mohan, P., & Sehgal, S. (2020, December). Rethinking generalization in american sign language prediction for edge devices with extremely low memory footprint. In 2020 IEEE Recent Advances in Intelligent Computational Systems (RAICS) (pp. 147–152). IEEE.
12. Patil, S. G., Dennis, D. K., Pabbaraju, C., Shaheer, N., Simhadri, H. V., Seshadri, V., ... & Jain, P. (2019, October). Gesturepod: Enabling on-device gesture-based interaction for white cane users. In Proceedings of the 32nd Annual ACM symposium on User Interface Software and technology (pp. 403–415).
13. Ren, H., Anicic, D., & Runkler, T. A. (2021, July). TinyOL: TinyML with online-learning on microcontrollers. In 2021 international joint conference on neural networks (IJCNN) (pp. 1–8). IEEE.
14. Cai, H., Gan, C., Zhu, L., & Han, S. (2020). TinyTL: Reduce activations, not trainable parameters for efficient on-device learning. arXiv preprint arXiv:2007.11622.
15. Rashid, H. A., Ren, H., Mazumder, A. N., & Mohsenin, T. (2021). Tiny RespNet: a scalable multimodal tinyCNN processor for automatic detection of respiratory symptoms. In TinyML Research Symposium (pp. 1–8).
16. Chen, Z., Gao, Y., & Liang, J. (2023). LOPdM: A Low-power On-device Predictive Maintenance System Based on Self-powered Sensing and TinyML. IEEE Transactions on Instrumentation and Measurement.
17. Athanasakis, G., Filios, G., Katsidimas, I., Nikoletseas, S., & Panagiotou, S. H. (2022, September). TinyML-based approach for remaining useful life Prediction of Turbofan Engines. In 2022 IEEE 27th International Conference on Emerging Technologies and Factory Automation (ETFA) (pp. 1-8). IEEE.
18. Pai, K., Kallimani, R., Iyer, S., Maheswari, B. U., Khanai, R., & Torse, D. (2022). A Survey on Brain-Computer Interface and Related Applications. arXiv preprint arXiv:2203.09164.
19. Merk, T., Peterson, V., Köhler, R., Haufe, S., Richardson, R. M., & Neumann, W. J. (2022). Machine learning based brain signal decoding for intelligent adaptive deep brain stimulation. Experimental Neurology, 351, 113993.
20. Bharadwaj, H. K., Agarwal, A., Chamola, V., Lakkaniga, N. R., Hassija, V., Guizani, M., & Sikdar, B. (2021). A review on the role of machine learning in enabling IoT based healthcare applications. IEEE Access, 9, 38859-38890.
21. Padhi, P. K., & Charrua-Santos, F. (2021). 6G enabled tactile internet and cognitive internet of healthcare everything: Towards a theoretical framework. Applied System Innovation, 4(3), 66.
22. de Prado, M., Rusci, M., Capotondi, A., Donze, R., Benini, L., & Pazos, N. (2021). Robustifying the deployment of TinyML models for autonomous mini-vehicles. Sensors, 21(4), 1339.
23. Roshan, A. N., Gokulapriyan, B., Siddarth, C., & Kokil, P. (2021, March). Adaptive traffic control with TinyML. In 2021 Sixth International Conference on Wireless Communications, Signal Processing and Networking (WiSPNET) (pp. 451-455). IEEE.
24. Nakhle, F., & Harfouche, A. L. (2021). Ready, Steady, Go AI: A practical tutorial on fundamentals of artificial intelligence and its applications in phenomics image analysis. Patterns, 2(9).
25. Curnick, D. J., Davies, A. J., Duncan, C., Freeman, R., Jacoby, D. M., Shelley, H. T., ... & Pettorelli, N. (2022). SmallSats: a new technological frontier in ecology and conservation?. Remote Sensing in Ecology and Conservation, 8(2), 139–150.
26. Alongi, F., Ghielmetti, N., Pau, D., Terraneo, F., & Fornaciari, W. (2020, September). Tiny neural networks for environmental predictions: An integrated approach with miosix. In 2020 IEEE International Conference on Smart Computing (SMARTCOMP) (pp. 350-355). IEEE.
27. Lord, M., & Kaplan, A. (2021, December). Mechanical anomaly detection on an embedded microcontroller. In 2021 International Conference on Computational Science and Computational Intelligence (CSCI) (pp. 562–568). IEEE.
28. Oliveira, V. M., & Moreira, A. H. (2021). Edge AI System Using a Thermal Camera for Industrial Anomaly Detection. In International Summit Smart City 360° (pp. 172-187). Cham: Springer International Publishing.
29. Sanchez-Iborra, R., & Skarmeta, A. F. (2020). Tinyml-enabled frugal smart objects: Challenges and opportunities. IEEE Circuits and Systems Magazine, 20(3), 4-18.
30. Ray, P. P. (2022). A review on TinyML: State-of-the-art and prospects. Journal of King Saud University-Computer and Information Sciences, 34(4), 1595-1623.
31. Saha, S. S., Sandha, S. S., & Srivastava, M. (2022). Machine learning for microcontroller-class hardware: A review. IEEE Sensors Journal, 22(22), 21362-21390.
32. Su, W., Li, L., Liu, F., He, M., & Liang, X. (2022). AI on the edge: a comprehensive review. Artificial Intelligence Review, 55(8), 6125-6183.
33. Alajlan, N. N., & Ibrahim, D. M. (2022). TinyML: Enabling of inference deep learning models on ultralow-power IoT edge devices for AI applications. Micromachines, 13(6), 851.
34. Abadade, Y., Temouden, A., Bamoumen, H., Benamar, N., Chtouki, Y., & Hafid, A. S. (2023). A comprehensive survey on tinyml. IEEE Access.
35. Tsoukas, V., Gkogkidis, A., Boumpa, E., & Kakarountas, A. (2024). A Review on the emerging technology of TinyML. ACM Computing Surveys.
36. Jouini, O., Sethom, K., Namoun, A., Aljohani, N., Alanazi, M. H., & Alanazi, M. N. (2024). A Survey of Machine Learning in Edge Computing: Techniques, Frameworks, Applications, Issues, and Research Directions. Technologies, 12(6), 81.
37. Laskaridis, S., Venieris, S. I., Kouris, A., Li, R., & Lane, N. D. (2024). The future of consumer edge-ai computing. IEEE Pervasive Computing.
38. Zhou, H., Jiang, K., Liu, X., Li, X., & Leung, V. C. (2021). Deep reinforcement learning for energy-efficient computation offloading in mobile-edge computing. IEEE Internet of Things Journal, 9(2), 1517-1530.
39. Tabanelli, E., Tagliavini, G., & Benini, L. (2023). DNN is not all you need: Parallelizing non-neural ML algorithms on ultra-low-power IoT processors. ACM Transactions on Embedded Computing Systems, 22(3), 1-33.
40. Sudharsan, B., Salerno, S., Nguyen, D. D., Yahya, M., Wahid, A., Yadav, P., ... & Ali, M. I. (2021, June). Tinyml benchmark: Executing fully connected neural networks on commodity microcontrollers. In 2021 IEEE 7th World Forum on Internet of Things (WF-IoT) (pp. 883-884). IEEE.
41. Samakovlis, D., Albini, S., Álvarez, R. R., Constantinescu, D. A., Schiavone, P. D., Peón-Quirós, M., & Atienza, D. (2024). BiomedBench: A benchmark suite of TinyML biomedical applications for low-power wearables. IEEE Design & Test.