[TECH] Gestion de files de traitements

[Sébastien Dinot <sdinot AT april.org>]

Bonjour à tous,

Je recherche un outil de gestion de file de traitements. J'ai déjà trouvé sur 
le net pas mal d'outils mais ce sont soit des bibliothèques spécifiques à un 
langage nécessitant une interface avec le code à exécuter (par exemple 
l'ajout de méthodes et d'attributs à des classes), soit des outils tels que 
Torque, orientés clusters et qui semblent un peu disproportionnés par rapport 
à mon besoin, à savoir :

* lancement au plus tôt de scripts Bash et Python (« au plus tôt » donc 
solution de type démon plus que crontab ou atjobs) ;
* nombre de traitements exécutés en parallèle configurable ;
* exécution locale des traitements (une seule machine est en jeu) ;
* ajout dynamique de nouveaux traitements par un process tiers ;
* récupération du statut des traitements et, lorsqu'ils sont achevés, de leur 
code de retour et des sorties produites.

Une commande telle que batch (fournie par le paquet « at » sur Debian/Ubuntu) 
aurait presque fait l'affaire mais le problème est que l'élément déclencheur 
de l'exécution d'un nouveau traitement est la charge du système (le démon atd 
lance la tâche sitôt qu'il détecte une charge du système inférieure à au 
seuil préalablement). Or, les traitements lourds que nous effectuons 
occasionnent une charge très variable dans le temps, selon qu'ils sont dans 
des sections parallélisables (le process utilise alors le maximum de cœurs 
disponibles) ou pas (le process n'utilise qu'un seul cœur).

Je suis preneur de toute suggestion et de tout retour d'expérience.

Merci par avance,

Sébastien

-- 
Sébastien Dinot, sdinot AT april.org
Vice-président de l'April (http://www.april.org)
April - Promouvoir et défendre le logiciel libre