Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Parallélisation de l'optimisation des seuils #97

Open
CharlesGaydon opened this issue Sep 30, 2023 · 0 comments
Open

Parallélisation de l'optimisation des seuils #97

CharlesGaydon opened this issue Sep 30, 2023 · 0 comments
Labels
enhancement New feature or request

Comments

@CharlesGaydon
Copy link
Collaborator

CharlesGaydon commented Sep 30, 2023

L'optimisation des seuils nécessite la succession d'étapes suivantes :

  • Inférence IA sur jeu de val
  • Optimisation sur jeu de val
  • Inférence IA sur jeu de test
  • Évaluation des seuils optimisés sur jeu de test

Ce sont des opérations longues, qui rendent l'optimisation de seuils malaisée.

L'inférence peut être parallélisée facilement avec GNU-parallel.

L'évaluation des seuils prend en entrée un dossier de las. C'est l'étape de préparation avant optimisation qui prend le plus de temps (opérations de clustering des points).

On peut imaginer une parallélisation de deux façons :

  • Interne : avec MPIRE dans le code, avec un risque de mauvaise interaction avec pdal
  • Externe : on ne donne plus un dossier de las (self.paths.input_las_dir) mais une expression glob. Cela permet de lancer la tâche avec todo="prepare" uniquement, avec GNU-parallel. L'interface d'optimisation change très légèrement, et prend maintenant une expression type "dir/*.las" en entrée au lieu de "dir".
@CharlesGaydon CharlesGaydon added the enhancement New feature or request label Sep 30, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

1 participant