Outlier detection technique for heterogeneous data using trimmed-mean robust estimators

Abstract

EN: Context. Fortunately, the most commonly used in parametric statistics assumptions such as such as normality, linearity, independence, are not always fulfilled in real practice. The main reason for this is the appearance of observations in data samples that differ from the bulk of the data, as a result of which the sample becomes heterogeneous. The application in such conditions of generally accepted estimation procedures, for example, the sample mean, entails the bias increasing and the effectiveness decreasing of the estimates obtained. This, in turn, raises the problem of finding possible solutions to the problem of processing data sets that include outliers, especially in small samples. The object of the study is the process of detecting and excluding anomalous objects from the heterogeneous data sets. Objective. The goal of the work is to develop a procedure for anomaly detection in heterogeneous data sets, and the rationale for using a number of trimmed-mean robust estimators as a statistical measure of the location parameter of distorted parametric distribution models. Method. The problems of analysis (processing) of heterogeneous data containing outliers, sharply distinguished, suspicious observations are considered. The possibilities of using robust estimation methods for processing heterogeneous data have been analyzed. A procedure for identification and extraction of outliers caused by measurement errors, hidden equipment defects, experimental conditions, etc. has been proposed. The proposed approach is based on the procedure of symmetric and asymmetric truncation of the ranked set obtained from the initial sample of measurement data, based on the methods of robust statistics. For a reasonable choice of the value of the truncation coefficient, it is proposed to use adaptive robust procedures. Observations that fell into the zone of smallest and lowest ordinal statistics are considered outliers. Results. The proposed approach allows, in contrast to the traditional criteria for identifying outlying observations, such as the Smirnov (Grubbs) criterion, the Dixon criterion, etc., to split the analyzed set of data into a homogeneous component and identify the set of outlying observations, assuming that their share in the total set of analyzed data is unknown. Conclusions. The article proposes the use of robust statistics methods for the formation of supposed zones containing homogeneous and outlying observations in the ranked set, built on the basis of the initial sample of the analyzed data. It is proposed to use a complex of adaptive robust procedures to establish the expected truncation levels that form the zones of outlying observations in the region of the lowest and smallest order statistics of the ranked dataset. The final level of truncation of the ranked dataset is refined on the basis of existing criteria that allow checking the boundary observations (minimum and maximum) for outliers. UK: Актуальність. Загальноприйняті припущення в параметричній статистиці, такі як нормальність, лінійність, незалежність, далеко не завжди виконуються у реальній практиці. Основною причиною тому є поява спостережень у досліджуваних вибірках даних, що відрізняються від основної маси даних, внаслідок чого вибірка стає неоднорідною. Застосування в таких умовах загальноприйнятих процедур оцінювання, наприклад, вибіркового середнього, тягне за собою збільшення зсуву та зниження ефективності одержуваних оцінок. Це в свою чергу висуває задачу пошуку можливих шляхів вирішення проблеми обробки масивів даних, що містять аномальні спостереження, особливо в умовах обробки вибірок малого обсягу. Об’єкт дослідження – процес виявлення та виключення аномальних спостережень у вибірках неоднорідних даних. Мета роботи – розробка процедури пошуку аномальних спостережень у вибірках неоднорідних даних, та обґрунтування використання низки усічених оцінок типу «середнє» для оцінювання параметру положення спотворених параметричних моделей розподілів. Метод. Розглянуті питання аналізу (обробки) неоднорідних даних, що містять аномальні, підозрілі спостереження. Проаналізовано можливості використання робастних процедур оцінювання, стійких до наявності викидів у вибірках неоднорідних даних. Запропоновано процедуру виявлення та виключення аномальних спостережень, причиною яких можуть бути помилки вимірювань, приховані дефекти апаратури, вироблення ресурсів, умови проведення експерименту тощо. В основу запропонованого підходу покладено процедуру симетричного та несиметричного усічення варіаційного ряду, отриманого на основі вихідної вибірки даних, на основі методів робастної статистики. Для обґрунтованого вибору величини коефіцієнта усічення α, запропоновано використовувати адаптивні робастні процедури статистичного оцінювання. Спостереження, що потрапили до зони молодших та зони старших порядкових статистик, визнані аномальними. Результати. Запропонований підхід дозволяє на відміну від традиційних критеріїв пошуку аномальних значень, таких як критерій Смірнова(Граббса), критерій Діксона та ін., розбивати аналізовану сукупність даних на однорідну складову та виявляти сукупність аномальних спостережень, при припущенні, що їх частка у загальній сукупності аналізованих даних невідома. Висновки. У статті запропоновано використання методів робастної статистики для формування передбачуваних зон, що містять однорідні та аномальні спостереження у варіаційному ряді, побудованому за вихідною вибіркою аналізованих даних. Запропоновано використовувати комплекс адаптивних робастних процедур для встановлення рівнів усічення, що утворюють зони аномальних спостережень в області старших та молодших порядкових статистик. Остаточний рівень усічення варіаційного ряду уточнюється на основі існуючих критеріїв, що дозволяють перевіряти граничні спостереження (мінімальне та максимальне) на аномальність.