MPI avec python Fermé

Question

Bonjour, 

Je souhaite utiliser MPI avec Python. Mon programme python est très simple, mais le temps de calcul et d'ecriture à chaque itération est long.

__________________________________________________________________________
for i in mylist:
    myfile  = open(path+str(i)+'filename.dat, 'w')
    .......
   # calcul + ecriture du fichier...
   .......
  
   myfile.close()

__________________________________________________________________________

Par consequent, je voudrais lancer le programme sur plusieurs processeurs grace à MPI, etant donné que chaque iteration correspond à un job independant. 

Quelqu'un aurait-il une methode simple pour faire ça svp?

Merci!


Configuration: Mac OS X Snow Leopard (10.6) / Firefox 5.0.1

flo88 · Answer

Salut 

MPI est un protocole de transfert de données industriel............ 
  
 Il faut toujours précisé.
 
Bonjour chez vous

nuanda · Answer

Houla :)

MPI signifie Message Passing Interface et permet d'executer un programme en parallele en distribuant des "jobs" sur divers CPU.

Dans mon cas, je cherche une méthode simple pour implementer çà avec Python.

Si vous avez des bases de Python et MPI, toute aide est plus que bienvenue! ;)
Merci.

KX · Answer

Je pourrais t'aider à faire des algorithmes en parallèle, mais en pseudo MPI car je ne connais pas Python... Pour l'implémentation en naviguant un peu j'ai trouvé pyMPI.

Quand je regarde ton code j'ai quand même un gros doute sur la parallélisation, car si c'est le temps d'écriture qui est long tu ne pourras rien faire car de toute façon ton fichier final devra être lu et écrit sur l'ordinateur maître. La parallélisation va de plus demander un certain nombres de ressources puisque tu vas devoir envoyer sur le réseau les fichiers de départ, puis les fichiers d'arrivées.
En revanche si c'est le temps des calculs qui est long alors tu as tout intérêt à paralléliser, par exemple avec 1 fichier par ordinateur (processeur en fait) :

Maître : Pour chaque i, envoyer le fichier f[i] sur l'ordinateur i.
Maître : Pour chaque i, recevoir le fichier f'[i] de l'ordinateur i.

Ordinateur [i] : recevoir le fichier f du maître
Ordinateur [i] : faire le calcul de f et enregistrer le résultat dans f' 
Ordinateur [i] : envoyer le fichier f' au maître
Ça c'est la première idée (assez naïve) de la parallélisation. Mais il peut-être intéressant d'utiliser la parallélisation aussi dans les calculs, mais là il nous faut plus d'infos sur ce que tu veux faire !

nuanda · Answer

Merci KX.

"Pour chaque i, envoyer le fichier f[i] sur le CPU i" C'est exactement ça que je veux.
Et j'utilise une seule machine multi-core donc pas de souci pour l'ecriture etc.

J'aurais juste besoin de savoir comment implementer ça en Python (en utilisant pyMPI par exemple comme tu le suggeres).

MPI avec python

4 réponses

Discussions similaires