Training two-layer perceptron in a problem of turned 60-by-80-images classification

Abstract

EN: A 13-itemed scenario framework for classifier single training parameter optimization is developed. Formally, the problem is to find global extremum (mostly, minimum) of function as a classifier output parameter against its single training parameter. Linking the scenario theory to praxis, the classifier type has been decided on two-layer perceptron. Its input objects are monochrome images of a medium format, having a few thousands independent features. Within the framework, the programming environment has been decided on MATLAB, having powerful Neural Network Toolbox. Keeping in mind the stochasticity of the being minimized function, there is defined statistical -stability of its evaluation by a finite set of data. These data are mined in batch testings of the trained classifier. For exemplification of the scenario framework, there is optimized pixel-to-turn standard deviations ratio for training two-layer perceptron in classifying monochrome 60-by-80-images of the enlarged 26 English alphabet capital letters. The goal is to find a pixel-to-turn standard deviations ratio for the training process in order to ensure minimum of classification error percentage. The optimization relative gain is about a third. The developed framework can be applied also for classifier multivariable optimization, wherein it instructs which item operations shall regard the corresponding multiplicity of variables. UK: Розробляється структура 13-етапного плану для оптимізації окремого навчального параметра класифікатора. Формально задача полягає у знаходженні глобального екстремуму (переважно мінімуму) функції, котра є певним вихідним параметром класифікатора залежно від його окремого параметра навчання. Пов’язуючи теорію плану з практикою, типом класифікатора обрано двошаровий персептрон. Його вхідними об’єктами є монохромні зображення середнього формату з декількома тисячами незалежних ознак. За поданою структурою програмним середовищем обрано MATLAB, котре має потужний інструмент Neural Network Toolbox. Зважаючи на стохастичність функції, що мінімізується, означається статистична ε-стабільність її оцінки за скінченною множиною даних. Ці дані дістаються за пакетним тестуванням навченого класифікатора. Для прикладу використання поданої структури плану оптимізується співвідношення середньоквадратичних відхилень піксельних спотворень і поворотів для навчання двошарового персептрону з метою класифікувати монохромні зображення формату 60-на-80 збільшених 26 великих літер англійського алфавіту. Ціллю є знаходження певного співвідношення середньоквадратичних відхилень піксельних спотворень і поворотів у процесі навчання для того, щоб забезпечити мінімум відсотка помилок класифікації. Відносний виграш такої оптимізації складає близько третини. Розроблена структура може бути застосована також і для оптимізації класифікатора з багатьма змінними, у відношенні чого зазначається, які саме дії плану мають врахувати множинність змінних.