referentiel-evaluation-dsrc icon indicating copy to clipboard operation
referentiel-evaluation-dsrc copied to clipboard

Improvements and additions to governance and model card elements

Open bowni opened this issue 2 years ago • 0 comments

List of topics to study to improve/complement the existing eval elements and answer items:

[GCI] Gouvernance des projets, carte d’identité des modèles

GCI1- Spécifications/Objectifs du modèle ou système d’IA : que doit-il accomplir ? Cette info doit être définie et documentée, et être accessible à toutes les parties prenantes élaboration + usage

GCI2- Une fois l’objectif connu, faire une analyse de risques préliminaire, des mésusages possibles du système d'IA : qu’est-ce qui pourrait mal se passer, quels problèmes le système pourrait générer ? Celle-ci doit être mise à jour à chaque étape introduisant des changements

GCI3- Introduire une notion d’auteur(s) d’un modèle, des bases de données, des métriques…

GCI4- Exigence de reproductibilité / répétabilité des modèles élaborés : la tester ? Documenter les éventuels cas de non-reproductibilité éventuels !

GCI5- Généalogie/Lifecycle : tracer tous les changements apportés au système d’IA

GCI6- Quelles ressources matérielles minimales sont nécessaires à l’entraînement et à l’usage en inférence ?

bowni avatar Sep 07 '21 15:09 bowni