Re: [TECH] Gestion de files de traitements

[Thierry Fernandez <thierry.fernandez AT gmail.com>]

Bonjour,

As-tu jeté un oeil à hudson (http://hudson-ci.org/)?

Cordialement,

Thierry Fernandez

Le 17 août 2012 15:23, Sébastien Dinot <sdinot AT april.org> a écrit :
> Bonjour à tous,
>
> Je recherche un outil de gestion de file de traitements. J'ai déjà trouvé 
> sur le net pas mal d'outils mais ce sont soit des bibliothèques spécifiques 
> à un langage nécessitant une interface avec le code à exécuter (par exemple 
> l'ajout de méthodes et d'attributs à des classes), soit des outils tels que 
> Torque, orientés clusters et qui semblent un peu disproportionnés par 
> rapport à mon besoin, à savoir :
>
> * lancement au plus tôt de scripts Bash et Python (« au plus tôt » donc 
> solution de type démon plus que crontab ou atjobs) ;
> * nombre de traitements exécutés en parallèle configurable ;
> * exécution locale des traitements (une seule machine est en jeu) ;
> * ajout dynamique de nouveaux traitements par un process tiers ;
> * récupération du statut des traitements et, lorsqu'ils sont achevés, de 
> leur code de retour et des sorties produites.
>
> Une commande telle que batch (fournie par le paquet « at » sur 
> Debian/Ubuntu) aurait presque fait l'affaire mais le problème est que 
> l'élément déclencheur de l'exécution d'un nouveau traitement est la charge 
> du système (le démon atd lance la tâche sitôt qu'il détecte une charge du 
> système inférieure à au seuil préalablement). Or, les traitements lourds 
> que nous effectuons occasionnent une charge très variable dans le temps, 
> selon qu'ils sont dans des sections parallélisables (le process utilise 
> alors le maximum de cœurs disponibles) ou pas (le process n'utilise qu'un 
> seul cœur).
>
> Je suis preneur de toute suggestion et de tout retour d'expérience.
>
> Merci par avance,
>
> Sébastien
>
> --
> Sébastien Dinot, sdinot AT april.org
> Vice-président de l'April (http://www.april.org)
> April - Promouvoir et défendre le logiciel libre
>
>
> --
> Pour gérer votre abonnement à la liste technique et vos informations 
> personnelles :
> http://listes.april.org/wws/info/technique
>