Аналіз підходів доступу до даних у мульти-клауд середовищі

Abstract

UK: Актуальність. Мультихмарна система характеризується послідовним або одночасним використанням послуг від різних хмарних постачальників для виконання програм. Така система є бажаною інфраструктурою для переважної більшості ІТ-бізнесу сьогодні. Наразі існують різномантні підходи для об’єднання хмарних платформ кількох постачальників. У даній статті досліджувались практичні підходи для досягнення мультихмарної сумісності, зосереджуючись на абстрактному доступі до даних між різними постачальниками cloud-сховищ та multi-cloud розподілі обчислювальних ресурсів. Представлено ключові технології та методології безперебійного керування даними, такі як використання мультихмарних шлюзів зберігання даних (на прикладі S3Proxy), впровадження платформ керування даними (Apache NiFi) та використання універсальних хмарних бібліотек (Apache Libcloud). У роботі висвітлено переваги і недоліки обраних підходів і проведено експерименти по визначенню вартості і продуктивності для них. Результатом проведених досліджень є визначення вартості і продуктивності для різних підходів доступу до даних у мультихмарних середовищах. Мета. Дослідити різні підходи мультихмарного доступу до даних і визначити найбільш оптимальний за характеристиками продуктивності і вартості. Метод. Запропоновано оптимізацію мультихмарних інфраструктур на основі експериментальних даних. Експериментальне моделювання включає в себе емпіричні вимірювання швидкодії і порівняння витрат на зберігання. Визначення продуктивності базується на вимірюванні часу читання даних і затримки. Для оцінки вартості використовується модель ціноутворення AWS S3. Описано підходи оптимізації з урахуванням розмірів файлів і обсягом зберігання даних: об’єднання сильних сторін різних мультихмарних підходів і динамічне перемикання між рішеннями. Запропоновано алгоритм вибору мультихмарних підходів, де враховані критерії вартості і швидкодії, а також їх пріоритетності. Результати. У ході експерименту отримано значення вартості, необхідної для зберігання і завантаження даних різних обсягів ( 100 ГБ, 1 ТБ, 10 ТБ), а також продуктивності для передавання файлів різного розміру (100 КБ, 1 МБ, 10 МБ) для технологій мультихмарних шлюзів, платформ управління даними, та хмарно-незалежних бібліотек. S3Proxy має найшвидший доступ до файлів для великих обсягів даних. Apache Libcloud показує кращу вартість на невеликих об’ємах. Проте ці обидва підходи значно переважають Apache NіFі. Дане дослідження може сприяти розвитку методів ефективного керування ресурсами у мультихмарних середовищах. Висновки. Отримані результати дають можливість визначити пріоритетність вибору означених парадигм, щоб допомогти організаціям розробити та розгорнути ефективні мультихмарні стратегії, які дозволять їм скористатися перевагами унікальних функцій кожного хмарного провайдера, зберігаючи при цьому уніфіковане, гнучке та ефективне середовище зберігання та обчислення EN: Context. A multi-cloud system is characterized by the sequential or simultaneous use of services from different cloud providers to run applications. Such a system is a preferred infrastructure for the vast majority of IT businesses today. Currently, there are various approaches to combining cloud platforms from multiple vendors. This article explores practical approaches to achieve multi-cloud interoperability, focusing on abstract data access between different cloud storage providers and multi-cloud computing resource allocation. Key technologies and methodologies for uninterrupted data management are presented, such as the use of multi-cloud storage gateways (using S3Proxy as an example), the implementation of data management platforms (Apache NiFi), and the use of cloud-agnostic libraries (Apache Libcloud). The paper highlights the advantages and disadvantages of the selected approaches and conducts experiments to determine the cost and performance of these strategies. The result of the research is to determine the cost and performance of different approaches to data access in multi-cloud environments. Objective. To investigate different approaches to multi-cloud data access and determine the most optimal in terms of cost and performance. Method. We propose the optimization of multi-cloud infrastructures based on experimental data. Experimental modeling includes empirical measurements of performance and comparison of storage costs. The determination of performance is based on the measurement of data reading time and latency. The AWS S3 pricing model is used to estimate the cost. Optimization approaches are described, considering file sizes and data storage, combining the strengths of different multi-cloud approaches and dynamic switching between solutions. An algorithm for selecting multi-cloud approaches is proposed, which takes into account the criteria of cost and performance, as well as their priority. Results. The experiment yielded values for the cost of storing and downloading data of different sizes (100 GB, 1 TB, 10 TB), and the performance of transferring files of different sizes (100 KB, 1 MB, 10 MB) for multi-cloud gateway technologies, data management platforms, and cloud-agnostic libraries. S3Proxy was found to have the fastest file access for large data volumes, while Apache Libcloud showed better value for smaller volumes. Both approaches significantly outperformed Apache NiFi. This study can contribute to the development of methods for efficient resource management in multi-cloud environments. Conclusions. The obtained results can assist in prioritizing the selection of these paradigms, aiding organizations in developing and deploying effective multi-cloud strategies. This approach enables them to leverage the distinctive features of each cloud provider while maintaining a unified, flexible, and efficient storage and computing environment.