On-board log and coordinate transformation for detected objects on the surface of water

Abstract

EN: Context. The relevance of the work is to the demand for UAV technologies with the integration of artificial intelligence in today’s conditions. Objective. The goal of the work is to develop a minimum working version of the UAV explorer and software for controlling the UAV data. Method. The proposed mathematical description, which calculates the coordinates of the object, based on the dimensions of the original image from the camera, the dimensions of the image with which the neural network works, the angle of the field of view of the camera, the position of the UAV and the angles of roll, pitch and yaw, allows you to transfer the coordinates of the object, of the found NN, in the image to the geographical coordinates, thereby moving away from the rigid reference to the coordinates of the UAV. Results. The problem of systematization of objects detected during the mission on the surface of water bodies was solved by creating a flight log, organizing interaction with a neural network, applying post-processing of recognized objects, mathematically transforming the coordinates of objects for display and visualization into geographic coordinates, thereby move away from the rigid reference to the coordinates of the UAV. Conclusions. A workable logbook generation and storage system has been created, which takes into account the peculiarities of information presentation in the logbook, and ensures effective interaction of the components of the created information system within the proposed hardware and software complex, which allows organizing the process of researching water bodies using the SITL environment from the flight controller developers. UK: Актуальність роботи обумовлена попитом на технології БПЛА з інтеграцією штучного інтелекту в умовах сьогодення. Мета роботи – розробити мінімальну робочу версію БПЛА-дослідника та програмного забезпечення для керування даним БПЛА. Метод. Запропоноване математичне описання, яке вираховує координати об’єкту, спираючись на розміри оригінального зображення від камери, розміри зображення з яким працює нейромережа, кут поля зору камери, положення БПЛА та кути крену, тангажу та рискання, дозволяє перенести координати об’єкту, знайденого НМ, на зображенні у географічні координати, тим самим відійти від жорсткої прив’язки до координат БПЛА. Результати. Було вирішено проблему систематизації детектованих в ході місії об’єктів на поверхні водойм шляхом формування журналу польоту, організації взаємодії з нейромережею, застосування пост обробки розпізнаваних об’єктів, математичного перетворення координат об’єктів для відображення і візуалізації у географічних координати, тим самим відійти від жорсткої прив’язки до координат БПЛА. Висновки. Створено працездатну систему генерації та збереження бортового журналу, яка враховує особливості представлення інформації в бортовому журналі, та забезпечує ефективну взаємодію компонентів створеної інформаційної системи у межах запропонованого апаратно-програмного комплексу, що дозволяє організувати процес дослідження водойм за допомогою середовища SITL від розробників польотного контролеру.