referentiel-evaluation-dsrc
referentiel-evaluation-dsrc copied to clipboard
Improvements and additions to modelisation and evaluation elements
List of topics to study to improve/complement the existing eval elements and answer items:
[ME] Modélisation, éval de perf.
ME1- Qualité de l’apprentissage : limiter l’overfitting, l’évaluer
ME2- Si biais suite métriques de fairness, quelle méthode / algo de débiaisage ? À ajouter à la carte d’identité. Ressources possibles : gros article fairness sur Medium, MOOC Ivado
ME3- Evaluation de perf. : définir un mode d’évaluation en conditions réelles, et un écart max de perf admissible vs. données d’environnement contrôlé
ME4- Caractériser les comportements du modèle sur les data hors du domaine d’application spécifié dans la carte d’identité
ME5- Quelles sont les “contre-indications” à l’usage du modèle ? Par ex. certains types de données sur lesquelles le modèle marche mal
Tentative de répartition de ces points au sein du référentiel :
- ME1 sur éval overfitting : à ajouter au 3.4
- ME2 sur méthode de débiaisage : à ajouter au 2.3 et/ou 2.4 ?
- ME3 sur éval de perf en cnditions réelles et écart max vs données de validation : ajouter au 3.4 et/ou 3.5
- ME4 sur caractérisation comportement hors du domaine : ajouter au 4.2
- ME5 sur contre-indications : ajouter au 4.2