Feature vector generation for the facial expression recognition using neo-fuzzy system

Abstract

EN: Context. The article is devoted to the problem of a training data set forming for the automatic human emotions recognition system on the basis of a multidimensional extended neo-fuzzy neuron. The aspects of choice the attributes vector’s dimension and composition, their influence on the system learning rate are considered. The object of research is the method of multidimensional data clustering. The subject of research is two-dimensional images geometric features systematization. Objective. The main goal of the work is to develop an approach to person’s face expression description using geometric features fixed set that can be obtained by video sequence frames processing. Method. To study the facial expressions recognition system it is proposed to form a feature vector consisting of characteristic points coordinates. There were selected points that relate to the location and shape of the eyelids, eyebrows, eye pupils, lips contours, nose wings, nasolabial folds. Such points can be easily found during the automatic image processing using known contour detectors. Also, the possibility of using for the human facial expression description not the coordinates of characteristic points, but the distances between them, was investigated. From these distances a different feature vector was created, the properties of which were compared with the points coordinates vector. Results. The developed recognition system on the basis of a multidimensional extended neo-fuzzy neuron have been implemented in software and investigated for solving the problem of facial expression classification. A comparison between the attribute vectors that are different in composition and dimension is made. The structure for the feature vector, which provides high system learning rate, and does not require the additional structural elements was chosen. Conclusions. The experimental study fully confirms the effectiveness of the developed approach for the human facial expressions recognition using a multidimensional extended neo-fuzzy neuron. UK: Актуальність. Стаття присвячена вивченню проблеми формування набору навчальних даних для системи автоматичного розпізнавання емоцій людини на основі багатовимірного розширеного нео-фаззі нейрона. Розглядаються аспекти вибору розмірності і складу вектору ознак, їх впливу на швидкість навчання системи. Об’єктом дослідження є метод кластеризації багатовимірних даних. Предмет дослідження – систематизація геометричних ознак двовимірних зображень. Основна мета роботи – розробка підходу до опису виразу обличчя людини за допомогою фіксованого набору геометричних ознак, які можуть бути отримані в ході обробки кадрів відеоряду. Метод. Для навчання системи розпізнавання виразів обличчя пропонується утворити вектор ознак, що складається з координат характерних точок. Вибрані такі точки, які пов’язані з розташуванням і формою зіниць очей, контурами губ, повік, брів, крил носа, носогубних складок. Подібні точки досить легко можна виділяти в автоматичному режимі обробки зображень за допомогою відомих контурних детекторів. Також розглянуто можливість використання для опису вираження обличчя не координат характерних точок, а відстаней між ними. З цих відстаней створено інший вектор ознак, властивості якого було порівняно з властивостями вектору з координат точок. Результати. Розроблена система розпізнавання на базі багатовимірного розширеного нео-фаззі нейрона була реалізована у програмному забезпеченні та досліджена для вирішення проблеми класифікації виразів обличчя. Зроблено порівняння векторів атрибутів, що відрізняються за складом та розмірами. Обрано таку структуру вектору ознак, що забезпечує високу швидкість навчання системи, та не вимагає введення додаткових структурних елементів. Висновки. Експериментальне дослідження повністю підтверджує ефективність розробленого підходу для розпізнавання виразів обличчя людини з використанням багатовимірного нео-фаззі нейрона.