referentiel-evaluation-dsrc
referentiel-evaluation-dsrc copied to clipboard
Improvements and additions to governance and model card elements
List of topics to study to improve/complement the existing eval elements and answer items:
[GCI] Gouvernance des projets, carte d’identité des modèles
GCI1- Spécifications/Objectifs du modèle ou système d’IA : que doit-il accomplir ? Cette info doit être définie et documentée, et être accessible à toutes les parties prenantes élaboration + usage
GCI2- Une fois l’objectif connu, faire une analyse de risques préliminaire, des mésusages possibles du système d'IA : qu’est-ce qui pourrait mal se passer, quels problèmes le système pourrait générer ? Celle-ci doit être mise à jour à chaque étape introduisant des changements
GCI3- Introduire une notion d’auteur(s) d’un modèle, des bases de données, des métriques…
GCI4- Exigence de reproductibilité / répétabilité des modèles élaborés : la tester ? Documenter les éventuels cas de non-reproductibilité éventuels !
GCI5- Généalogie/Lifecycle : tracer tous les changements apportés au système d’IA
GCI6- Quelles ressources matérielles minimales sont nécessaires à l’entraînement et à l’usage en inférence ?