Online fuzzy clustering of incomplete data using credibilistic approach and similarity measure of special type

Abstract

EN: Context. In most clustering (classification without a teacher) tasks associated with real data processing, the initial information is usually distorted by abnormal outliers (noise) and gaps. It is clear that “classical” methods of artificial intelligence (both batch and online) are ineffective in this situation.The goal of the paper is to propose the procedure of fuzzy clustering of incomplete data using credibilistic approach and similarity measure of special type. Objective. The goal of the work is credibilistic fuzzy clustering of distorted data, using of credibility theory. Method. The procedure of fuzzy clustering of incomplete data using credibilistic approach and similarity measure of special type based on the use of both robust goal functions of a special type and similarity measures, insensitive to outliers and designed to work both in batch and its recurrent online version designed to solve Data Stream Mining problems when data are fed to processing sequentially in real time. Results. The introduced methods are simple in numerical implementation and are free from the drawbacks inherent in traditional methods of probabilistic and possibilistic fuzzy clustering data distorted by abnormal outliers (noise) and gaps. Conclusions. The conducted experiments have confirmed the effectiveness of proposed methods of credibilistic fuzzy clustering of distorted data operability and allow recommending it for use in practice for solving the problems of automatic clusterization of distorted data. The proposed method is intended for use in hybrid systems of computational intelligence and, above all, in the problems of learning artificial neural networks, neuro-fuzzy systems, as well as in the problems of clustering and classification. UK: Актуальність. У більшості завдань кластеризації (класифікації без вчителя), пов’язаних з обробкою реальних даних, початкова інформація, у тому чи іншому випадку як правило, спотворюється через аномальні викиди (збурення) та пропуски. Зрозуміло, що «класичні» методи інтелектуального аналізу даних (як пакетні, так і онлайн) в цій ситуації неефективні. Метою роботи було запропонувати процедуру нечіткої кластеризації викривлених даних з використанням достовірного підходу та міри подібності спеціального типу, а також розробка метода достовірної нечіткої кластеризації спотворених даних із використанням теорії довіри, яка була би позбавлена недоліків імовірнісних і можливісних підходів кластеризації викривлених даних. Метод. Процедура нечіткої кластеризації неповних даних із використанням достовірного підходу та міри схожості спеціального типу, заснована на використанні робастних цільових функцій спеціального типу, а також мір подібності, нечутливих до викидів та призначених для роботи як у пакетній, так і в онлайн версії для вирішення проблем Data Stream Mining, коли дані надходять на обробку послідовно в режимі реального часу. Результати. Запропоновані методи є простими в чисельній реалізації та позбавлені недоліків, властивих традиційним методам імовірнісної та можливістної нечіткої кластеризації. Висновки. Проведені експериментальні дослідження підтвердили результативність та якість роботи запропонованих методів достовірної нечіткої кластеризації спотворених даних і дозволяють рекомендувати їх для використання на практиці для вирішення проблем автоматичної кластеризації викривлених даних. Запропонований метод призначений для використання в гібридних системах обчислювального інтелекту і, перш за все, у проблемах навчання штучних нейронних мереж, нейро-фаззі систем, а також у завданнях кластеризації та класифікації.