Théories de l'information et de la décision

La modélisation statistique est fondée sur les deux notions fondamentales d'information (qu'il s'agit d'extraire des données) et de décision (qu'il s'agit de prendre au vu de ces données). Ce cours introduit à la formalisation théorique de ces deux notions. Il est donc logiquement placé en début de cursus, beaucoup d'autres cours utilisant ses notions et résultats par la suite.

Introduire les deux notions qui sont au fondement de la statistique mathématique: l'information (quantification de l'information et codage) et la décision (quantification et gestion du risque).

Cours de théorie des probabilités.

Pré-requis recommandés : une bonne maîtrise du calcul des probabilités, de la dérivation et de l'intégration.

Introduction

Environnement aléatoire: la problématique de la réduction de l'incertitude et des risques associés.

I - Théorie de l'information

  1. Entropie d'une distribution

     a) Repérage d'un élément dans un ensemble probabilisé. Codage optimal et entropie d'une variable discrète. b) Entropie d'une variable continue. c) Entropie d'un vecteur. d) Propriétés générales de l'entropie: changement de variable affine, indépendance.

   2. Information mutuelle

     a) Information mutuelle et entropie conditionnelle de deux événements. b) Information mutuelle et entropie conditionnelle de deux variables. c) Contraste de Kullback-Leibler. Approximation du chi2. Application à l'information mutuelle de deux variables.

  3. Esquisses d'applications statistiques

    a) Sélection de variables prédictives. b) Arbres de régression et classement (CART). c) Classification par arbres de segmentation. d) Sélection de loi dans un modèle paramétrique. Pseudo-vraie loi. e) Recodages optimaux d'une variable: cas non-supervisé / supervisé.

II - Théorie de la décision

  1. Cadre et problématique.

    a) Expérience aléatoire, état de la nature, décision, perte, règle de décision pure / mixte, risque. b) Pré-ordre sur les règles de décision.

  2. Quelques problèmes classiques:

   a) Estimation ponctuelle. b) Estimation ensembliste. c) Tests d'hypothèses. d) Diagnostic (classement).

  3. Le pré-ordre sur les règles de décision.

    a) Absence générale de règle optimale: absence d'estimateur optimal, absence de test optimal.

     b) Règles admissibles. c) Classe de règles essentiellement complète. Théorème de convexité.

  4. Principes statistiques & sélection de règles

     a) Principes permettant de transformer le préordre partiel en préordre total: principe minimax, principe de Bayes.

    b) Principes de sélection: règles sans biais, règles fondées sur la théorie de l'information.

  5. Approfondissement du cadre bayésien

    a) Densité a priori (prior) du paramètre. Densité jointe de paramètre et des observations. Densité a posteriori du paramètre.

    b) Quels Priors? Priors conjugués. Priors non-informatifs: prior uniforme, prior de Jeffrey.

    c) Risque de Bayes. Règle de Bayes: estimateur de Bayes et test de Bayes. Intervalle de crédibilité.

Volumes horaires :

            CM : 9

            TD : 9

            TP : 

            Terrain :