UNMANNED AERIAL VEHICLES SURVEILLANCE AND INSPECTION USING OPTICAL IMAGING SENSORS

Abstract

Unmanned Air Systems (UASs) have large and still increasing employment in many areas, such as military applications, industry, agriculture, entertainment etc. Inserted in this state of the art scope, this thesis presents two parts with solutions that will match many UASs autonomous missions. Firstly, it is proposed an algorithm, using Model Predictive Control, for UAS applications in search and rescue autonomous missions. Search and Rescue (SAR) is one of the most prominent areas for the employment of UASs, in place of a manned mission. In this part, a real-time path-planning solution, using multiple cooperative UASs for SAR missions, is proposed. The technique of Particle Swarm Optimization is used to solve a Model Predictive Control (MPC) problem, that aims to perform search in a given area of interest, following the directive of international standards of SAR. A coordinated turn kinematic model for level flight, in the presence of wind, is included in the MPC. The solution is fully implemented to be embedded in the UAS on-board computer with DUNE, an on-board navigation software. The performance is evaluated using Ardupilot’s Software-In-The-Loop, with JSBSim flight dynamics model simulations. Results show that, when employing three UASs, the group reaches 50% Probability of Success, 2.35 times faster than when a single UAS is employed. The other part of this Thesis develops a method for direct georeferencing of images, gotten from optical sensors aboard the UAS. Optical image sensors are the most common remote sensing data acquisition devices present in Unmanned Aerial Systems (UASs). In this context, assigning a location in a geographic frame of reference to the acquired image is a necessary task in the majority of the applications. This process is denominated direct georeferencing when ground control points are not used. The complete direct georeferencing process involves much information, such as camera sensor characteristics, mounting measurements, attitude and position of the UAS, among others. In addition, there are many rotations and translations between the different reference frames, among many other details, which makes the whole process a considerable complex operation. Another problem is that manufacturers and software tools may use different reference frames, posing additional difficulty when implementing the direct georeferencing. In order to supply this demand, this research presents a comprehensive method for direct georeferencing of aerial images, acquired by cameras mounted on UAS, where all the required information, mathematical operations and implementation steps are explained in detail. Finally, in order to show the practical use of the method and to prove its accuracy, both simulated and real flights were performed, where objects of the acquired images are direct georeferenced.

Veículos Aéreos Não-Tripulados (VANTs) apresentam vasto e crescente emprego em diversas áreas, como aplicações militares, indústria, agricultura, entretenimento etc. Inserida neste escopo do Estado da Arte, esta tese apresenta duas partes, com soluções que atendem a missões autônomas de VANTs. Primeiramente, é proposto um algoritmo, com o emprego do Model Predictive Control (MPC), para utilização em missões de busca e salvamento com VANTs. Busca e salvamento (SAR) é uma área proeminente para uso de VANTs, em substituição de missões tripuladas. Nesta parte, é apresentada uma solução em tempo real de planejamento de trajetória, empregando múltiplos cooperativos VANTs. A técnica de otimização do enxame de partículas é utilizada no problema em Model Predictive Control (MPC), com o objetivo de realizar a busca em determinada área de interesse, seguindo a diretiva de padronização internacional de SAR. Um modelo cinemático coordenado para voo nivelado, com o efeito do vento, é incluído no MPC. A solução é implementada para ser embarcada no computador de bordo do VANT com DUNE, um software de bordo para navegação. O desempenho é avaliado usando o software-in-the-loop do Ardupilot, com o modelo de simulações da dinâmica de voo JSBSim. Os resultados mostram que, quando são empregados três VANTs, o grupo alcança 50% de Probabilidade de Sucesso, 2.35 vezes mais rápido do que apenas um VANT. A outra parte desta tese desenvolve um método de georeferenciamento direto de imagens, obtidas por sensores ópticos a bordo de VANTs. Neste contexto, a localização em um sistema geográfico de referência de uma imagem é uma tarefa necessária na maior parte das aplicações. Este processo é denominado georeferenciamento direto, quando não são empregados pontos de controle no solo. O processo completo de georeferenciamento direto envolve várias informações, como características dos sensores, medidas de construção, atitude e posição do VANT, entre outras. Além disso, há várias rotações e translações entre os diferentes sistemas de referência, fazendo do processo uma operação complexa. Outro problema é que fabricantes e softwares podem utilizar sistemas referenciais diferentes, acrescentando dificuldade à implementação. Para suprir esta demanda, esta pesquisa apresenta um método para georeferenciamento direto de imagens aéreas, obtidas de câmeras em VANTs, em que são explicadas em detalhes toda a informação requerida, operações matemáticas e etapas da implementação. Finalmente, para demonstrar a praticidade e a acurácia do método, são realizadas simulações e voos reais, em que as imagens obtidas são diretamente georeferenciadas