Perception pour la Robotique

Cette unité d’enseignement a pour objet l’étude et la mise en place de systèmes de perception pour les robots mobiles, de manipulation, humanoïdes, … L’enseignement s’articule autour des systèmes de perception proprioceptive et extéroceptive avec un focus important sur les systèmes de vision. Dans les cours magistraux sont présentés les principes généraux de la perception et le fonctionnement des capteurs les plus utilisés (caméras, projecteurs, capteurs de distance de mouvement et de position, …). Une série de travaux pratiques accompagnent cet enseignement prenant la forme d’un long projet jalonné de sous-buts abordant différentes parties du cours.

-----------------------------------------------------------------------------------------------------------------------------------------------------------

This course presents the perception systems commonly used on all types of robots (e.g., mobile robots, manipulators, humanoids). The course presents proprioceptive and exteroceptive sensors with a focus on vision. We start by introducing the general principles of perception, and then explain the modeling and working principle of the main robot sensors: monocular cameras, stereo cameras, distance position and movement sensors, etc. The lab practicals consist of a robotic project with sub-goals addressing the various steps of the course.

Ce cours a pour but de familiariser l’étudiant à l’étude et à l’usage des systèmes de perception pour les robots. Son ambition est de s’assurer qu’un étudiant l’ayant suivi est capable de lire et de comprendre un article scientifique dans ce domaine et de participer au développement du système de perception d’un robot en étant force de proposition dans son élaboration.

----------------------------------------------------------------------------------------------------------------------------------------------------------------

The objective of this course is to make the student familiar with perception systems for robots. How to design a perception system? How to model it? How to use the sensor information? Its ambition is to enable the student to read and understand a scientific article in this field and to participate in the development of a robot's perception system.

Contact Hours:

            Taught lectures: 27 hours

            Laboratory Practicals: 15 hours

• Bonnes connaissances en traitement du signal et des images,
• Notions de robotique et d’automatique,
• Bonnes connaissances en génie informatique.
• -----------------------------------------------------------------------------------------------------------------------------------------------------------
• good knowledge in signal and image processing,
• notions of robotics and automation,
• good knowledge in computer engineering.

Examen écrit avec documents à partir d’articles scientifiques 60%

Travaux pratiques 40%

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

Written exam based on scientific journal or conference papers 60%

Practical project 40%

Modélisation géométrique de la formation des images,

Etalonnage des caméras

Principe de la stéréovision

Vision du mouvement (flot optique, poursuite de cible, …)

Vision en lumière structurée

Vision omnidirectionnelle et vision plénoptique

Principe de fonctionnement et caractéristiques principales des capteur de distance, mouvement et position

Notions d’asservissement visuel

-------------------------------------------------------------------------------------------------------------------------------------------------------------

Geometric modeling of image projection,

Camera calibration

Basics of stereo-vision

Vision with movement (optical flow, target tracking, etc.)

Structured light vision

Omnidirectional and plenoptic vision

Working principle and main characteristics of distance, movement and position sensors

Basics of visual servoing 

CM : 27h

TP : 15h

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Taught lectures: 27 hours

Laboratory Practicals: 15 hours