A Collaborative UAV-UGV Framework for Solar Farm Inspection with Convolutional Neural Network and Synthetic-Real Data Generalization Analysis

Abstract

This dissertation proposes a comprehensive multi-robot architecture for the autonomous inspection of Photovoltaic (PV) farms, integrating aerial and ground robotic platforms. The system employs an Unmanned Aerial Vehicle (UAV) for image acquisition and a You Only Look Once version 8 (YOLOv8) Convolutional Neural Network (CNN) for real-time solar panel detection, while an Unmanned Ground Vehicle (UGV) serves as a mobile support base and charging station. The architecture is hierarchically structured and enables collaborative behavior through optimized path planning based on a Genetic Algorithm (GA), which minimizes inspection time and energy consumption using the detected panel locations. The UAV operates under the PX4 autopilot framework, communicates via the MAVLink protocol, and integrates the Robot Operating System (ROS). In parallel, this study investigates the impact of training data composition on object detection performance, analyzing how different proportions of synthetic and real-world images affect the YOLOv8 model's generalization. Synthetic datasets were generated using ROSGazebo simulations to complement real aerial imagery. Experimental results demonstrate that models trained with a balanced combination of real and simulated data achieve superior cross-domain robustness when evaluated on real, simulated, and hybrid test sets. Quantitatively, the proposed YOLOv8-based detector achieved an F1-score of 0.91 on solar panel detection tasks, with low false-positive and false-negative rates. Moreover, training configurations combining real and synthetic data (notably the 50%50% split) significantly outperformed models trained exclusively on a single domain, confirming improved generalization and detection reliability. The framework was validated in realistic simulation environments, confirming its robustness, scalability, and operational autonomy for intelligent and cost-effective solar farm inspection.

Esta dissertação propõe uma arquitetura multirrobótica abrangente para a inspeção autônoma de parques fotovoltaicos, integrando plataformas robóticas aéreas e terrestres. O sistema emprega um Veículo Aéreo Não Tripulado (UAV) para a aquisição de imagens e uma Rede Neural Convolucional You Only Look Once versão 8 (YOLOv8) para a detecção em tempo real de painéis solares, enquanto um Veículo Terrestre Não Tripulado (UGV) atua como uma base móvel de suporte e estação de recarga. A arquitetura é estruturada hierarquicamente e possibilita o comportamento colaborativo por meio do planejamento otimizado de trajetórias baseado em um Algoritmo Genético, que minimiza o tempo de inspeção e o consumo de energia a partir das localizações dos painéis detectados. O UAV opera sob a estrutura de piloto automático PX4, comunica-se por meio do protocolo MAVLink e integra-se ao middleware do Sistema Operacional do Robô (ROS). Paralelamente, este estudo investiga o impacto da composição dos dados de treinamento no desempenho da detecção de objetos, analisando como diferentes proporções de imagens sintéticas e do mundo real afetam a capacidade de generalização do modelo YOLOv8. Conjuntos de dados sintéticos foram gerados por meio de simulações no ambiente ROSGazebo para complementar imagens aéreas reais. Os resultados experimentais demonstram que modelos treinados com uma combinação equilibrada de dados reais e simulados apresentam maior robustez entre domínios quando avaliados em conjuntos de teste reais, simulados e híbridos. Do ponto de vista quantitativo, o detector baseado em YOLOv8 proposto alcançou um F1-score de 0,91 nas tarefas de detecção de painéis solares, com baixas taxas de falsos positivos e falsos negativos. Além disso, configurações de treinamento que combinam dados reais e sintéticos, em especial a proporção 50%50%, superaram significativamente modelos treinados exclusivamente em um único domínio, confirmando melhorias na generalização e na confiabilidade da detecção. O framework foi validado em ambientes de simulação realistas, confirmando sua robustez, escalabilidade e autonomia operacional para a inspeção inteligente e economicamente eficiente de parques solares.