Multispectral object detection
Détection d’objets multispectrale
Résumé
Only using RGB cameras for automatic outdoor scene analysis is challenging when, for example, facing insufficient illumination or adverse weather. To improve the recognition reliability, multispectral systems add additional cameras (e.g. infra-red) and perform object detection from multispectral data. Although multispectral scene analysis with deep learning has been shown to have a great potential, there are still many open research questions and it has not been widely deployed in industrial contexts. In this thesis, we investigated three main challenges about multispectral object detection: (1) the fast and accurate detection of objects of interest from images; (2) the dynamic and adaptive fusion of information from different modalities;(3) low-cost and low-energy multispectral object detection and the reduction of its manual annotation efforts. In terms of the first challenge, we first optimize the label assignment of the object detection training with a mutual guidance strategy between the classification and localization tasks; we then realize an efficient compression of object detection models including the teacher-student prediction disagreements in a feature-based knowledge distillation framework. With regard to the second challenge, three different multispectral feature fusion schemes are proposed to deal with the most difficult fusion cases where different cameras provide contradictory information. For the third challenge, a novel modality distillation framework is firstly presented to tackle the hardware and software constraints of current multispectral systems; then a multi-sensor-based active learning strategy is designed to reduce the labeling costs when constructing multispectral datasets.
L’analyse automatique de scènes extérieures se basant uniquement sur des images issues de caméras RGB est parfois difficile en cas d’éclairage insuffisant ou de mauvais temps. Pour améliorer la fiabilité de la reconnaissance, les systèmes multispectraux utilisent des caméras thermiques supplémentaires et détectent les objets à partir de données multispectrales. Dans ce contexte et dans cette thèse, nous avons attaqué trois verrous principaux : (1) la détection rapide et précise d’objets d’intérêt à partir d’images ; (2) la fusion dynamique et adaptative d’informations provenant de différentes modalités ; (3) la détection d’objets multispectrale à faible coût et à faible énergie et la réduction des efforts d’annotation manuelle. En ce qui concerne le premier verrou, nous optimisons d’abord l’attribution des étiquettes de l’entraînement de la détection d’objets en introduisant une stratégie de guidage mutuel entre les tâches de classification et de localisation; nous réalisons ensuite une compression efficace des modèles de détection d’objets en incluant les désaccords de prédiction enseignant/étudiant dans le cadre d’une distillation des connaissance. En ce qui concerne le deuxième verrou, trois schémas de fusion de caractéristiques multispectrales différents sont proposés pour traiter les cas de fusion les plus difficiles où différentes caméras fournissent des informations contradictoires. Pour le troisième défi, un nouveau cadre de distillation de modalité est d’abord présenté pour aborder les contraintes matérielles et logicielles des systèmes multispectraux actuels; Ensuite,une stratégie d’apprentissage actif basée sur plusieurs capteurs est conçue pour réduire les coûts d’étiquetage lors de la construction d’ensembles de données multispectrales.
Origine : Fichiers produits par l'(les) auteur(s)