organiser tache distante pour load balancing Fermé

Question

Bonjour,

Voila je travaille sur un projet de sauvegarde via des client ftp vers un serveur ftp. la connexion sera crypté donc une charge importante pour le serveur ( ne pas depasser 50 connexion ssl par coeur, environ)...

je cherche donc une solution pour que tout mes client (peut etre quelques millier) ne mette pas mon infra a genou en se connectant tous en même tant.

Pour info les utilisateur ne devrait avoir la main que sur le rep a sauvegarde, rien d'autre. Il ne déclenche pas la sauvegarde.

Alors soit j'impose de tranche horaire par groupe d'utilisateur,mais c'est super lourd a gérer, soit je laisse le déclenchement du client à la charge d'un automate.

mes client seront majoritairement sous windows mais mon serveur sera surement sous un linux type centos...

J'ai commencé à chercher et je tombe sur les ordonnanceur de tache mais est ce adapté à mon besoin ?

je m'explique, moi je souhaiterais que cela se passe comme ca :

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : y a de la place dans la file d'attente et je ne suis pas surchargé. OK tu peut te lancer.
mon client : OK je lance le client ftp.

ou 

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : houla la file est pleine et il y a trop de connexion ssl. ressaye dans 5 minutes.
mon client : OK je refait une demande dans 5 min.

voila le principe.

Y a t il plus simple ?
Cela existe t il deja ? ou ?
Dois je faire develloper mon prope truc ?


merci

jipicy · Answer

Salut misterjepassequetroprarement ;-))

Sans rien connaitre au load balancing, est-ce qu'une simple directive d'un serveur FTP comme "max_clients" (vsftpd) ne pourrait pas faire l'affaire ?

Sinon, demande au Jcheff (ou à Adrien) vu les problèmes de load balancing qu'ils ont eu lors de sa mise en place, et dans la mesure où ils ont solutionné le tout, ils doivent en connaitre un petit rayon sur le sujet, non ?

;-))

mr_poussy · Answer

pour clarifier un peut plus :

Les clients envoient les données qu'ils souhaitent sauvegarder sur le server FTP. mais vu le nombre de client je voudrais repartir la charge sur la journée.  sans que ce soit trop lourd a gérer pour moi et sans aucune manip de l'utilisateur.

mr_poussy · Answer

Si si c'est peut etre ma solution.

Comme au final j'aurai un nombre fixe d'utilisateurs, il me suffit de bien dimensionner mon serveur.

disons un bi-proc quad core. je suis l'estimation du datacenter qui me dit qu'il ne faut pas plus de 50 connexion ssl par coeur. je fais donc 50 * 8 = 400.

du coté serveur je met donc max_client_simultané = 400

du cote client je parametre le client ftp pour qu'il se lance au demarage et si le serveur n'est pas dispo il retente une connexion 5 ou 10 mn plus tard et ceci n fois jusqu'au soir.

du coup les premiers connecter finissent leur incrémental laissant la place aux clients qui auront été boulé avant...

j'éponge donc ma demande au fur et a mesure de la journée avec une solution toute simple.

qu'en pensez vous ??

si mon nombre max d'utilisateur par serveur et bien calculer cela devrait bien marcher non ?

jipicy · Answer

En tout cas ça m'a l'air de coller à ta demande 1ère :

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : y a de la place dans la file d'attente et je ne suis pas surchargé. OK tu peut te lancer.
mon client : OK je lance le client ftp.

ou

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : houla la file est pleine et il y a trop de connexion ssl. ressaye dans 5 minutes.
mon client : OK je refait une demande dans 5 min.

Tiens-nous au courant si ça gaze (et même si ça gaze pas) ;-))

Organiser tache distante pour load balancing

4 réponses

Discussions similaires