EIRNUZP – Електронний інституційний репозитарій Національного університету «Запорізька політехніка»
Інституційний репозитарій Національного університету «Запорізька політехніка» – це електронний архів, що накопичує, систематизує, зберігає та забезпечує довготривалий відкритий доступ до електронних публікацій та електронних версій документів наукового та навчально-методичного призначення, авторами яких є співробітники, аспіранти, докторанти та студенти Національного університету «Запорізька політехніка».
Communities in DSpace
Select a community to browse its collections.
Recent Submissions
Faster optimization-based meta-learning adaptation phase
(Національний університет "Запорізька політехніка", 2022) Khabarlak, K. S.; Хабарлак, К. С.
EN: Context. Neural networks require a large amount of annotated data to learn. Meta-learning algorithms propose a way to decrease number of training samples to only a few. One of the most prominent optimization-based meta-learning algorithms is MAML. However, its adaptation to new tasks is quite slow. The object of study is the process of meta-learning and adaptation phase as defined by the MAML algorithm.
Objective. The goal of this work is creation of an approach, which should make it possible to: 1) increase the execution speed of MAML adaptation phase; 2) improve MAML accuracy in certain cases. The testing results will be shown on a publicly available few-shot learning dataset CIFAR-FS.
Method. In this work an improvement to MAML meta-learning algorithm is proposed. Meta-learning procedure is defined in terms of tasks. In case of image classification problem, each task is to try to learn to classify images of new classes given only a few training examples. MAML defines 2 stages for the learning procedure: 1) adaptation to the new task; 2) meta-weights update. The whole training procedure requires Hessian computation, which makes the method computationally expensive. After being trained, the network will typically be used for adaptation to new tasks and the subsequent prediction on them. Thus, improving adaptation time is an important problem, which we focus on in this work. We introduce Λ (lambda) pattern by which we restrict which weight we update in the network during the adaptation phase. This approach allows us to skip certain gradient computations. The pattern is selected given an allowed quality degradation threshold parameter. Among the pattern that fit the criteria, the fastest pattern is then selected. However, as it is discussed later, quality improvement is also possible is certain cases by a careful pattern selection.
Results. The MAML algorithm with Λ pattern adaptation has been implemented, trained and tested on the open CIFAR-FS dataset. This makes our results easily reproducible.
Conclusions. The experiments conducted have shown that via Λ adaptation pattern selection, it is possible to significantly improve the MAML method in the following areas: adaptation time has been decreased by a factor of 3 with minimal accuracy loss. Interestingly, accuracy for one-step adaptation has been substantially improved by using Λ patterns as well. Prospects for further research are to investigate a way of a more robust automatic pattern selection scheme.
UK: Актуальність. Нейронні мережі потребують багато розмічених даних для навчання. Алгоритми мета-навчання пропонують спосіб навчатися лише за декількома прикладами. Один з найзначніших алгоритмів оптимізаційного мета-навчання – це MAML. Однак, його процедура адаптації до нових задач є досить повільною. Об’єктом дослідження є процес мета-навчання та фаза адаптації в тому вигляді, як її визначено в алгоритмі MAML.
Мета. Метою даної роботи є створення підходу, що дозволить: 1) зменшити час виконання адаптації алгоритму MAML; 2) покращити якість алгоритму в ряді випадків. Показати результати тестування на публічно доступному наборі даних для мета-навчання CIFAR-FS.
Метод. В даній роботі запропоновано покращення алгоритму мета-навчання MAML. Процедура мета-навчання визначається через так звані «задачі». В разі класифікації зображень кожна задача є спробою навчитися класифікувати зображення нових класів лише за декількома навчальними прикладами. В алгоритмі MAML визначено 2 кроки процедури навчання: 1) адаптація до нової задачі; 2) оновлення мета-параметрів мережі. Вся тренувальна процедура потребує обчислення гесіану, що робить метод обчислювально складним. Після навчання мережа, зазвичай, буде використовуватися для адаптації до нових задач та наступної класифікації на них. Таким чином, покращення часу адаптації мережі є важливою проблемою. Саме на цій проблемі ми фокусуємося в даній роботи. Нами запропоновано шаблон Λ (лямбда) за допомогою якого ми обмежуємо, які параметри мережі слід оновлювати під час кроку адаптації. Даний підхід дозволяє не обчислювати градієнти для обраних параметрів та таким чином зменшити кількість необхідних обчислень. Шаблон обирається в межах параметру дозволеного зменшення якості мережі. Серед шаблонів, що відповідають заданому критерію, обирається найшвидший. Однак, як буде показано далі, в деяких випадках також можливе підвищення якості за допомогою правильно обраного шаблону адаптації.
Результати. Було реалізовано, навчено та перевірено якість роботи алгоритму MAML із шаблоном адаптації Λ на відкритому наборі даних CIFAR-FS, що робить отримані результати легко відтворюваними.
Висновки. Проведені експерименти показують, що із вибором шаблону Λ можливе значне покращення методу MAML в наступних областях: час адаптації було зменшено в 3 рази за мінімальних втрат якості. Цікаво, що для однокрокової адаптації якість значно виросла за умови використання запропонованого шаблону. Перспективи подальших досліджень можуть полягати в розробці більш робастного методу автоматичного вибору шаблонів.
Швидка нечітка правдоподібна кластеризація на основі аналізу піків щільності розподілу даних
(Національний університет "Запорізька політехніка", 2022) Бодянський, Є. В.; Плісс, І. П.; Шафроненко, А. Ю.; Bodyanskiy, Ye. V.; Pliss, I. P.; Shafronenko, A. Yu.
UK: Актуальність. Проблема кластеризації (класифікації без вчителя), що часто зустрічається при обробці масивів даних різної природи, є досить цікавою і невід’ємною частиною штучного інтелекту. Для вирішення цього завдання існує безліч відомих методів та алгоритмів, які базуються на принципах щільності розподілу спостережень в даних, що аналізуються. Однак ці методи досить складні в програмній реалізації та не позбавлені недоліків, а саме: проблеми визначення значущих кластерів в наборах даних різної щільності, багатоепохове самонавчання, застрягання в локальних екстремумах цільових функцій, тощо. Слід зазначити, що методи, засновані на аналізі піків щільності розподілу даних, є за своєю природою чіткими, тому для розширення можливостей цих методів доцільно ввести їх нечітку модифікацію.
Мета. Мета роботи полягає у запровадженні швидкої нечіткої кластеризації даних з використанням піків щільності розподілу даних, яка може знаходити екстемуми (центоїди) кластерів, що перетинаються незалежно від кількості даних, що надходять.
Метод. Розглянуто задачу нечіткої кластеризації масивів даних на основі гібридного методу, заснованого на одночасному використанні правдоподібного підходу до нечіткої кластеризації і алгоритму знаходження типів щільності розподілу вихідних даних. Особливістю запропонованого методу є обчислювальна простота і висока швидкість, пов’язана з тим, що весь масив обробляється тільки один раз, тобто виключається необхідність в багатоепоховому самонавчанні, що реалізується в традиційних алгоритмах нечіткої кластеризації.
Результати. Особливістю запропонованого методу швидкої нечіткої правдоподібної кластеризації на основі аналізу піків щільності розподілу даних є обчислювальна простота і висока швидкість, пов’язана з тим, що весь масив обробляється тільки один раз, тобто виключається необхідність у багатоепоховому самонавчанні, що реалізується в традиційних алгоритмах нечіткої кластеризації. Результати обчислювального експерименту підтверджують ефективність запропонованого підходу в задачах кластерзаціі в умовах, коли кластери перетинаються.
Висновки. Результати експерименту дозволяють рекомендувати розроблений метод для вирішення проблем автоматичної кластеризації та класифікації даних та максимально швидко знаходити центри кластерів. Запропонований метод швидкої нечіткої правдоподібної кластеризації на основі аналізу піків щільності розподілу даних призначений для використання в системах обчислювального інтелекту, нейро-фаззі системах,в навчанні штучних нейронних мереж та у завданнях кластеризації.
EN: Context. The problem of clustering (classification without a teacher) is often occures when processing data arrays of various natures, which is quite an interesting and integral part of artificial intelligence. To solve this problem, there are many known methods and algorithms based on the principles of the distribution density of observations in the analyzed data. However, these methods are rather complicated in software implementation and are not without drawbacks, namely: the problem of determining significant clusters in datasets of different densities, multiepoch self-learning, getting stuck in local extrema of goal functions, etc. It should be noted that the methods based on the analysis of the peaks of the data distribution density are clear in nature, therefore, to expand the capabilities of these methods, it is advisable to introduce their fuzzy modification.
Objective. The aim of the work is to introduce fast fuzzy data clustering using density peaks distribution of the datasets, that can find the prototypes (centroids) of clusters that overlapping regardless of the amount of incoming data.
Method. The problem of fuzzy clustering data arrays based on a hybrid method that based on the simultaneous use of a credibilistic approach to fuzzy clustering and an algorithm for finding the types of distribution density of the initial data is proposed. A feature of the proposed method is computational simplicity and high speed, due to the fact that the entire array is processed only once, that is, eliminates the need for multi-era self-learning, implemented in traditional fuzzy clustering algorithms.
Results. A feature of the proposed method of fast fuzzy credibilistic clustering using of density peaks distribution is characterized by computational simplicity and high speed due to the fact that the entire array is processed only once, that is, the need for multiepoch self-learning is eliminated, which is implemented in traditional fuzzy clustering algorithms. The results of the computational experiment confirm the effectiveness of the proposed approach in clustering problems under conditions in the case when the clusters are ovelap.
Conclusions. The experimental results allow us to recommend the developed method for solving the problems of automatic clustering and data classification, as quickly as possible to find the centroids of clusters. The proposed method of fast fuzzy credibilistic clustering using of density peaks distribution of dataset is intended for use in computational intelligence systems, neuro-fuzzy systems, in training artificial neural networks and in clustering problems.
Two pairs of dual queueing systems with conventional and shifted distribution laws
(Національний університет "Запорізька політехніка", 2022) Tarasov, V. N.; Bakhareva, N. F.; Тарасов, В. Н.; Бахарєва, Н. Ф.
EN: Context. The relevance of studies of G/G/1 systems is associated with the fact that they are in demand for modeling data transmission systems for various purposes, as well as with the fact that for them there is no final solution in the general case. We consider the problem of deriving a solution for the average delay of requests in a queue in a closed form for ordinary systems with Erlang and exponential input distributions and for the same systems with distributions shifted to the right.
Objective. Obtaining a solution for the main characteristic of the system – the average delay of requests in a queue for two pairs of queuing systems with ordinary and shifted Erlang and exponential input distributions, as well as comparing the results for systems with normalized Erlang distributions.
Methods. To solve the problem posed, the method of spectral solution of the Lindley integral equation was used, which allows one to obtain a solution for the average delay for the systems under consideration in a closed form. For the practical application of the results obtained, the method of moments of the theory of probability was used.
Results. Spectral solutions of the Lindley integral equation for two pairs of systems are obtained, with the help of which calculation formulas are derived for the average delay of requests in the queue in a closed form. Comparison of the results obtained with the data for systems with normalized Erlang distributions confirms their identity.
Conclusions. The introduction of the time shift parameter into the distribution laws of the input flow and service time for the systems under consideration transforms them into systems with a delay with a shorter waiting time. This is because the time shift operation reduces the value of the variation coefficients of the intervals between the arrivals of claims and their service time, and as is known from the queuing theory, the average delay of requests is related to these variation coefficients by a quadratic dependence. If a system with Erlang and exponential input distributions works only for one fixed pair of values of the coefficients of variation of the intervals between arrivals and their service time, then the same system with shifted distributions allows operating with interval values of the coefficients of variations, which expands the scope of these systems. The situation is similar with shifted exponential distributions. In addition, the shifted exponential distribution contains two parameters and allows one to approximate arbitrary distribution laws using the first two moments. This approach makes it possible to calculate the average latency and higher-order moments for the specified systems in mathematical packets for a wide range of changes in traffic parameters. The method of spectral solution of the Lindley integral equation for the systems under consideration has made it possible to obtain a solution in closed form, and these obtained solutions are published for the first time.
UK: Актуальність. Актуальність дослідження систем G/G/1 пов’язана з тим, що вони потрібні для моделювання систем передачі різного призначення, а також з тим, що для них не існує рішення в кінцевому вигляді в загальному випадку. Розглянуто задачу виведення рішення для середньої затримки вимог у черзі в замкнутій формі для звичайних систем з ерлангiвським i експонентним вхідними розподілами i для цих систем зі зсунутими вправо розподілами.
Мета роботи. Отримання рішення для основної характеристики системи – середньої затримки вимог у черзі для двох пар систем масового обслуговування зі звичайними i зі зсунутими ерлангівськими та експоненціальними вхідними розподілами, а також порівняння результатів для систем із нормованими ерлангівськими розподілами. Отримання рішення для основної характеристики системи – середнього часу очікування вимог в черзі для двох систем масового обслуговування типу G/G/1 зі зсунутими вхідними розподілами.
Метод. Для вирішення поставленого завдання був використаний метод спектрального рішення інтегрального рівняння Ліндлі, який дозволяє отримати рішення для середньої затримки в черзі для розглянутих систем в замкнутій формі. Для практичного застосування отриманих результатів було використаний відомий метод моментів теорії ймовірностей.
Результати. Отримано спектральні рішення інтегрального рівняння Ліндлі для двох пар систем, за допомогою яких виведені розрахункові формули для середньої затримки вимог у черзі в замкнутій формі. Порівняння отриманих результатів зі даними для систем зі нормованими ерлангівськими розподілами підтверджує їхню ідентичність.
Висновки. Введення параметра зсуву в часі в закони розподілу вхідного потоку і часу обслуговування для систем, що розглядаються, перетворює їх в системи запізненням з меншим часом очікування. Це пов’язано з тим, що операція зсуву у часі зменшує величину коефіцієнтів варіацій інтервалів між надходженнями вимог та його часу обслуговування, а як відомо з теорії масового обслуговування, середня затримка вимог пов’язана з цими коефіцієнтами варіацій квадратичною залежністю. Якщо система з ерлангівським і експонентним вхідними розподілами працює тільки при одній фіксованій парі значень коефіцієнтів варіацій інтервалів між надходженнями вимог та їх часу обслуговування, то ця ж система зі зрушеними розподілами дозволяє оперувати з інтервальними значеннями коефіцієнтів варіацій, що розширює сферу застосування цих систем. Аналогічно і зі зрушеними експонентними розподілами. Крім того, зрушений експонентний розподіл містить два параметри і дозволяє апроксимувати довільні закони розподілу з використанням перших двох моментів. Такий підхід дозволяє розрахувати середній час очікування та моменти вищих порядків для зазначених систем у математичних пакетах для широкого діапазону зміни параметрів трафіку. Метод спектрального вирішення інтегрального рівняння Ліндлі для розглянутих систем дозволив отримати рішення у замкнутій формі, і ці отримані рішення публікується вперше.
The modular exponentiation with precomputation of redused set of residues for fixed-base
(Національний університет "Запорізька політехніка", 2022) Prots’ko, I.; Gryshchuk, O.; Процько, І.; Грищук, О.
EN: Context. Modular exponentiation is an important operation in many applications that requires a large number of calculations Fast computations of the modular exponentiation are extremely necessary for efficient computations in theoretical-numerical transforms, for provide high crypto capability of information data and in many other applications.
Objective – the runtime analysis of software functions for computation of modular exponentiation of the developed program that uses the precomputation of redused set of residuals for fixed-base.
Method. Modular exponentiation is implemented using of the development of the right-to-left binary exponentiation method for a fixed basis with precomputation of redused set of residuals. To efficient compute the modular exponentiation over big numbers, the property of a periodicity for the sequence of residuals of a fixed base with exponents equal to an integer power of two is used.
Results. Comparison of the runtimes of five variants of functions for computing the modular exponentiation is performed. In the algorithm with precomputation of redused set of residuals for fixed-base provide faster computation of modular exponentiation for values larger than 1K binary digits compared to the functions of modular exponentiation of the MPIR and Crypto++ libraries. The MPIR library with an integer data type with the number of binary digits from 256 to 2048 bits is used to develop an algorithm for computing the modular exponentiation.
Conclusions. In the work has been considered and analysed the developed software implementation of the computation of modular exponentiation on universal computer systems. One of the ways to implement the speedup of computing modular exponentiation is developing algorithms that can use the precomputation of redused set of residuals for fixed-base. The software implementation of modular exponentiation with increasing from 1K the number of binary digit of exponent shows an improvement of computation time with comparison with the functions of modular exponentiation of the MPIR and Crypto++ libraries.
UK: Актуальність. Модульне піднесення до степеня є важливою операцією в багатьох застосуваннях, що вимагає великої кількості обчислень. Швидкі обчислення модульної експоненти вкрай необхідні для ефективних обчислень у теоретично-числових перетвореннях, для забезпечення високої криптостійкості інформаційних даних та в багатьох інших завданнях.
Мета – аналіз часу виконання програмних функцій розрахунку модульної експоненти з розробленою програмою, що використовує попереднє обчислення зменшеного набору залишків для фіксованої бази.
Метод. Модульне піднесення до степеня реалізовано з використанням методу двійкового зсуву справа наліво для фіксованого базису з попереднім обчисленням зменшеного набору залишків. Для ефективного обчислення модульної експоненти великих чисел використовується властивість періодичності послідовності залишків фіксованої бази з експонентами, що дорівнюють цілочисельній степені двійки.
Результати. Проведено порівняння часу виконання п’яти варіантів функцій для обчислення модульного піднесення до степеня. В алгоритмі з попереднім обчисленням зменшеного набору залишків для фіксованої бази забезпечується більш швидке обчислення модульної експоненти для значень даних, що перевищують 1K двійкових розрядів, порівняно з функціями модульного піднесення до степеня бібліотек MPIR і Crypto++. Бібліотека MPIR з цілочисельним типом даних з кількістю двійкових розрядів від 256 до 2048 біт використовується для розробки алгоритму обчислення модульного піднесення до степеня.
Висновки. У роботі розглянуто та проаналізовано розроблену програмну реалізація обчислення модульної експоненти на універсальних комп’ютерних системах. Одним із способів реалізації прискорення обчислення модульного піднесення до степеня є розробка алгоритмів, які можуть використовувати попереднє обчислення зменшеного набору залишків для фіксованої бази. Програмна реалізація модульного піднесення до степеня зі збільшенням від числа 1K двійкових розрядів даних показує покращення часу обчислень у порівнянні з функцією модульного піднесення до степеня бібліотек MPIR та Crypto++.
Solving Poisson equation with convolutional neural networks
(Національний університет "Запорізька політехніка", 2022) Kuzmych, V. A.; Novotarskyi, M. A.; Nesterenko, O. B.; Кузьмич, В. А.; Новотарський, M. A.; Нестеренко, О. Б.
EN: Context. The Poisson equation is the one of fundamental differential equations, which used to simulate complex physical processes, such as fluid motion, heat transfer problems, electrodynamics, etc. Existing methods for solving boundary value problems based on the Poisson equation require an increase in computational time to achieve high accuracy. The proposed method allows solving the boundary value problem with significant acceleration under the condition of acceptable loss of accuracy.
Objective. The aim of our work is to develop artificial neural network architecture for solving a boundary value problem based on the Poisson equation with arbitrary Dirichlet and Neumann boundary conditions.
Method. The method of solving boundary value problems based on the Poisson equation using convolutional neural network is proposed. The network architecture, structure of input and output data are developed. In addition, the method of training dataset generation is described.
Results. The performance of the developed artificial neural network is compared with the performance of the numerical finite difference method for solving the boundary value problem. The results showed an acceleration of the computational speed in x10–700 times depending on the number of sampling nodes.
Conclusions. The proposed method significantly accelerated speed of solving a boundary value problem based on the Poisson equation in comparison with the numerical method. In addition, the developed approach to the design of neural network architecture allows to improve the proposed method to achieve higher accuracy in modeling the process of pressure distribution in areas of arbitrary size.
UK: Актуальність. Рівняння Пуассона – це одне з фундаментальних диференціальних рівнянь, яке використовується для моделювання складних фізичних процесів, таких як рух рідини, проблеми теплообміну, електродинаміки тощо. Існуючі методи розв’язування крайових задач на основі рівняння Пуассона для досягнення високої точності, вимагають збільшення часу обчислень. Запропонований метод дозволяє розв’язувати крайову задачу зі значним прискоренням, за умови незначної втрати точності.
Мета. Метою нашої роботи є розробка архітектури штучної нейронної мережі для розв’язування крайової задачі на основі рівняння Пуассона з довільними крайовими умовами Діріхле та Неймана.
Метод. Запропоновано метод розв’язування крайових задач на основі рівняння Пуассона за допомогою згорткової нейронної мережі. Розроблено архітектуру мережі, структуру вхідних та вихідних даних. Також описано метод формування навчального набору даних.
Результати. Результати роботи розробленої нейронної мережі були порівняні з продуктивністю чисельного методу скінченних різниць для вирішення крайової задачі. Результати продемонстрували прискорення обчислювальної швидкості у x10–700 разів, в залежності від кількості вузлів дискретизації.
Висновки. Запропонований метод значно прискорив швидкість вирішення крайової задачі на основі рівняння Пуассона в порівнянні з чисельним методом. Також розроблений підхід до проектування архітектури нейронної мережі дозволяє вдосконалити запропонований метод для досягнення більш високої точності при моделюванні процесу розподілу тиску у областях довільного розміру.