Mathematical model of coordinated multilevel parallel processing of streaming data in real-time artificial intelligence systems
DOI:
https://doi.org/10.33216/1998-7927-2026-304-6-35-43Keywords:
streaming data processing, artificial intelligence systems, end-to-end latency, multilevel parallelism, throughput, mathematical modelAbstract
A mathematical model of coordinated multilevel parallel processing of streaming data in real-time artificial intelligence systems is proposed to reduce end-to-end latency while preserving specified performance indicators of intelligent processing. The relevance of the study follows from the fact that modern artificial intelligence systems operate as multistage streaming computational pipelines in which timing constraints are determined not only by the execution time of an individual model but also by the combined influence of local computations and data transfers, algorithmic dependencies, communications, synchronization, scheduling, and queues. In the proposed model, the input is represented as a sequence of discrete data portions with a specified arrival rate, whereas the processing of each portion is represented as a set of interrelated stages with defined timing characteristics. The steady-state interval between consecutive outputs and the system throughput are formalized, and the streaming operability condition is established, requiring the achievable throughput to be not lower than the incoming portion rate. End-to-end latency is decomposed into local, algorithmic, and system components. The local component characterizes intra-node computations, memory access, device-to-device transfers, and local synchronization; the algorithmic component is determined by the dependency graph and its critical path; the system component covers communication, global synchronization, scheduling, and queueing delays. Based on this decomposition, the dominant latency component is introduced and a correspondence is established between its type and the local, algorithmic, or system level of parallel organization. The scientific novelty consists in formalizing, within a single mathematical model, the relationship among stream characteristics, end-to-end latency components, throughput, and levels of parallel organization. This relationship enables a justified selection of the target level for parallel transformation and repeated evaluation of the latency structure after the transformation has been applied. The practical applicability of the model is illustrated using a streaming brain MRI analysis system. Identification of the local component as dominant justified multithreaded preprocessing, which reduced the processing pass time from 9.96 s to 1.09 s and increased throughput from 705.12 to 6443.12 images/s without degrading classification accuracy. The proposed model is independent of a specific streaming-data type or hardware platform and can be used as a formal basis for selecting a parallel-processing level in multistage real-time artificial intelligence systems.
References
1. Саламун К., Павіч І., Дзапо Х., Чуляк І. Слабко жорстка модель реального часу для систем керування: огляд. Sensors. 2023. Т. 23, № 10. С. 4652. DOI: https://doi.org/10.3390/s23104652.
2. Гомес Е., Коста Ф., Де Ролт К., Пленц П., Дантас М. Огляд застосувань від реального до майже реального часу в середовищах туманних обчислень. Telecom. 2021. Т. 2, № 4. С. 489–517. DOI: https://doi.org/10.3390/telecom2040028.
3. Сінгх Р., Гілл С. С. Edge AI: огляд. Internet of Things and Cyber-Physical Systems. 2023. Т. 3. С. 71–92. DOI: https://doi.org/10.1016/j.iotcps.2023.02.004.
4. Сзе В., Чен Ю.-Х., Янг Т.-Дж., Емер Дж. С. Ефективне опрацювання глибоких нейронних мереж: навчальний матеріал та огляд. Proceedings of the IEEE. 2017. Т. 105, № 12. С. 2295–2329. DOI: https://doi.org/10.1109/JPROC.2017.2761740.
5. Кренкшоу Д. та ін. InferLine: урахування затримки під час виділення ресурсів і масштабування конвеєрів прогнозування. Proceedings of the 11th ACM Symposium on Cloud Computing. 2020. С. 477–491. DOI: https://doi.org/10.1145/3419111.3421285.
6. Акідау Т. та ін. Модель Dataflow: практичний підхід до узгодження коректності, затримки та вартості в масштабній необмеженій потоковій обробці з невпорядкованими даними. Proceedings of the VLDB Endowment. 2015. Т. 8, № 12. С. 1792–1803. DOI: https://doi.org/10.14778/2824032.2824076.
7. Захарія М., Дас Т., Лі Х., Хантер Т., Шенкер С., Стойка І. Дискретизовані потоки: відмовостійкі потокові обчислення у масштабі. Proceedings of the Twenty-Fourth ACM Symposium on Operating Systems Principles. 2013. С. 423–438. DOI: https://doi.org/10.1145/2517349.2522737.
8. Квінтареллі Е., Рабосіо Е., Танка Л. Ефективне використання контекстного впливу для рекомендації нових елементів тимчасовим групам. Information Systems. 2019. Т. 84. С. 197–213. DOI: https://doi.org/10.1016/j.is.2019.05.003.
9. Міттал С., Веттер Дж. С. Огляд методів гетерогенних обчислень CPU–GPU. ACM Computing Surveys. 2015. Т. 47, № 4. С. 1–35. DOI: https://doi.org/10.1145/2788396.
10. Хестнесс Дж., Кеклер С. В., Вуд Д. А. Неефективність конвеєрів GPU-обчислень і можливості оптимізації в гетерогенних процесорах CPU–GPU. 2015 IEEE International Symposium on Workload Characterization. 2015. С. 87–97. DOI: https://doi.org/10.1109/IISWC.2015.15.
11. Шраєн Г. Прискорення та ефективність обчислювального розпаралелювання: узагальнювальний підхід і асимптотичний аналіз. Journal of Parallel and Distributed Computing. 2024. Т. 187. С. 104835. DOI: https://doi.org/10.1016/j.jpdc.2023.104835.
12. Кемерон К. В. За межами закону Амдала: як вимірювання й моделювання співвідношення енергоспоживання та продуктивності в масштабі визначають проєктування серверів і суперкомп’ютерів. Journal of Computer Science and Technology. 2023. Т. 38, № 1. С. 80–86. DOI: https://doi.org/10.1007/s11390-022-2950-7.
13. Лю С., Буйя Р. Керування ресурсами та планування в розподілених системах потокової обробки: таксономія, огляд і перспективні напрями. ACM Computing Surveys. 2021. Т. 53, № 3. С. 1–41. DOI: https://doi.org/10.1145/3355399.
14. Мочурад Л. Підхід до підвищення точності семантичної сегментації рентгенівських зображень грудної клітки шляхом інтеграції детектування контурів і глибокого навчання. Frontiers in Artificial Intelligence. 2025. Т. 8. С. 1522730. DOI: https://doi.org/10.3389/frai.2025.1522730.
15. Мочурад Л. І. Аналіз детектування контурів Canny на основі паралельного алгоритму, побудованої шкали складності та CUDA. Computing and Informatics. 2022. Т. 41, № 4. С. 957–980. DOI: https://doi.org/10.31577/cai_2022_4_957.
16. Мочурад Л., Мельничук К., Мочурад Ю. Оптимізація попередньої обробки МРТ головного мозку з використанням паралельних обчислень для ефективної класифікації пухлин мозку. The Journal of Supercomputing. 2026. Т. 82, № 3. С. 123. DOI: https://doi.org/10.1007/s11227-026-08282-2.
17. Нікпарвар М. Brain Tumor MRI Dataset. Kaggle. 2025. URL: https://www.kaggle.com/datasets/masoudnickparvar/brain-tumor-mri-dataset.
