Automatic classification of paintings by year of creation

Abstract

EN: Context. The problem of automatic verification of the legitimacy of the export of works of art is considered. Objective. A method is proposed for automatically determining the age of a painting from a digital photograph using a classification that is performed by an intelligent decision-making system. Method. It is proposed to use the attribute of picture year of creation as the main criterion for making a decision during the customs check of exports legitimacy. Instead of a long and expensive museum examination, photographing works of art in customs conditions and processing photos using a set of descriptors is used. The set of descriptors is proposed, include local binary patterns, their color modification, Haralik’s texture features, the first four moments, Tamura’s texturt features, SIFT descriptor. The data obtained as a result of descriptors action give the values of several dozen private attributes. They form data vectors, which are then concatenated into a generalized object description vector. In the feature space thus created, automatic classification by weighted k-nearest neighbors is performed. The proposed algorithm calculates the distance between objects in a multidimensional space of attribute values and assigns new objects to already formed classes. The criterion for creating classes is the age of the painting from the existing database. As a measure of the objects proximity, it is proposed to use the Euclid and Minkowski metrics. The calculation of weights for the proposed classification algorithm is performed by the Fisher method. Results. The effectiveness of the proposed method was investigated in the course of experiments with an image database containing photos of paintings by world, European and Ukrainian artists. Algorithm configuration parameters that provide high classification accuracy are found. Conclusions. The performed experiments have shown the effectiveness of the selected descriptors for the formation of vector descriptions of images of paintings. The greatest accuracy is provided by descriptor merging, which reveals significant differences in the structural properties of images. This approach to the description of objects in combination with the proposed classification algorithm and the chosen main criterion ensures high accuracy of the obtained solutions. The direction of further research may include the use of convolutional neural networks to improve the accuracy of classification under the condition of a static database. UK: Актуальність. Розглядається завдання автоматичної перевірки легітимності експорту творів живопису. Мета. Запропоновано метод автоматичного визначення віку картини з цифрової фотографії за допомогою класифікації, яку виконує інтелектуальна система прийняття рішень. Метод. Пропонується використовувати атрибут року створення картини як головний критерій для прийняття рішення під час митної перевірки легітимності експорту. Замість тривалої та дорогої музейної експертизи застосовується фотографування творів живопису в умовах митниці та обробка фото за допомогою набору дескрипторів. До набору дескрипторів пропонується включити локальні бінарні патерни, їх колірну модифікацію, текстурні ознаки Хараліка, перші чотири моменти, текстурні ознаки Тамури, SIFT дескриптор. Дані, отримані внаслідок дії дескрипторів, утворюють значення кількох десятків окремих атрибутів. Вони формують вектори даних, які потім конкатенуються в узагальнений опис вектора-об’єкта. У просторі ознак, створеному таким чином, виконується автоматична класифікація методом зважених k-найближчих сусідів. Пропонований алгоритм розраховує відстань між об’єктами в багатовимірному просторі значень атрибутів, і відносить нові об’єкти до сформованих класів. Критерієм для створення класів є вік картини із існуючої бази даних. Як міру близькості об’єктів пропонується використовувати метрики Евкліда та Мінковського. Розрахунок вагів для алгоритму класифікації запропоновано виконувати методом Фішера. Результати. Ефективність запропонованого методу була досліджена під час експериментів із базою зображень, що містить фото картин світових, європейських та українських художників. Знайдено параметри конфігурації алгоритму, що забезпечують високу точність класифікації. Висновки. Проведені експерименти показали ефективність вибраних дескрипторів формування векторів-описів зображень картин. Найбільшу точність забезпечує поєднання дескрипторів, яке виявляє суттєві відмінності у структурних властивостях зображень. Такий підхід до опису об’єктів у поєднанні із запропонованим алгоритмом класифікації та обраним головним критерієм забезпечує високу точність отриманих рішень. Напрямок подальших досліджень може включати використання згорткових нейронних мереж для підвищення точності класифікації за умови статичності бази даних.