lidar-prod icon indicating copy to clipboard operation
lidar-prod copied to clipboard

Parallélisation de l'optimisation des seuils

Open CharlesGaydon opened this issue 1 year ago • 0 comments

L'optimisation des seuils nécessite la succession d'étapes suivantes :

  • Inférence IA sur jeu de val
  • Optimisation sur jeu de val
  • Inférence IA sur jeu de test
  • Évaluation des seuils optimisés sur jeu de test

Ce sont des opérations longues, qui rendent l'optimisation de seuils malaisée.

L'inférence peut être parallélisée facilement avec GNU-parallel.

L'évaluation des seuils prend en entrée un dossier de las. C'est l'étape de préparation avant optimisation qui prend le plus de temps (opérations de clustering des points).

On peut imaginer une parallélisation de deux façons :

  • Interne : avec MPIRE dans le code, avec un risque de mauvaise interaction avec pdal
  • Externe : on ne donne plus un dossier de las (self.paths.input_las_dir) mais une expression glob. Cela permet de lancer la tâche avec todo="prepare" uniquement, avec GNU-parallel. L'interface d'optimisation change très légèrement, et prend maintenant une expression type "dir/*.las" en entrée au lieu de "dir".

CharlesGaydon avatar Sep 30 '23 19:09 CharlesGaydon