Estimation non-paramétrique

Ce cours présente quelques unes des méthodes classiques et modernes pour la construction d'estimateurs non-paramétriques de la densité ou de la régression. Des aspects tout à la fois théoriques et pratiques y sont abordés

L'objectif de ce cours est double : d'une part il s'agit de comprendre la construction des estimateurs afin d'être capable de les adapter à d'autres contextes d'estimation et de comprendre les résultats mathématiques qui garantissent le bien-fondé de ces approches mais aussi les limites notamment en grande dimension. Un deuxième objectif est d'appréhender les enjeux de la sélection des paramètres d'un point de vue pratique grâce à la mise en œuvre numérique des algorithmes pour la sélection de fenêtre ou la sélection de modèles. A l'issue de ce cours, l'étudiant doit disposer d'une boîte à outils pour l'implémentation pratique de ces méthodes.

Cours d'analyse et de probabilités de licence, 
 
 
 
 
Pré-requis recommandés : connaître un langage de programmation, HAX710X cours de statistique inférentielle, HAX814X cours de Modèle Linéaire

Contrôle continu intégral

• Notions de risque et de critères d'erreur
• Introduction à l'estimation non-paramétrique : la fonction de répartition empirique
• Estimateurs à noyaux de la densité :
  • lemme de Bochner, risque quadratique
  • noyaux usuels,  noyaux d'ordre supérieur
  • sélection de la fenêtre optimale : méthode plug-in, validation croisée, autres méthodes adaptatives
  • vitesse de convergence, comparaison avec la vitesse paramétrique
• Estimateurs par projection de la densité :
  • bases de Fourier, bases de polynômes, ondelettes de Haar. 
  • estimateur par minimum de contraste, étude du risque quadratique
  • sélection de la dimension du sous-espace de projection : méthode de Barron, Birgé, Massart (1999)
  • notion d'estimateur adaptatif (pour des modèles emboîtés).
• Estimateurs de Nadaraya-Watson de la fonction de régression : approche par quotient. 
• Estimateurs des moindres carrés : lien avec le modèle linéaire multivarié.
  • sélection de modèles, adaptation.
• Régression polynomiale locale : mise en œuvre pratique des splines
• Fléau de la dimension pour estimer une densité multivariée et/ou une fonction de régression de plusieurs variables. Visualisation en dimension 2 : exemple de données géo-spatialisées. Quelques pistes pour la dimension supérieure à 1 : modèles single-index, modèles additifs.
• Bootstrap : construction d'intervalles de confiance

Volumes horaires :
            CM : 21h
            TD :
            TP :
            Terrain :