SyncBack Pro - Fichier temporaire de suivi

Fermé
jmgroud Messages postés 39 Date d'inscription mardi 23 mai 2006 Statut Membre Dernière intervention 10 mars 2023 - 23 nov. 2022 à 10:29
jmgroud Messages postés 39 Date d'inscription mardi 23 mai 2006 Statut Membre Dernière intervention 10 mars 2023 - 23 nov. 2022 à 13:15

Bonjour

Contexte

J'utilise SyncBack Pro depuis de nombreuses années et je viens de mettre en place le calcul de hashage des fichiers afin d'essayer de mettre en place la reconnaissance des renommages de fichier.

Pour l'instant, renommer un fichier sur la plateforme source ou cible revient pour SyncBack à générer une suppression (ancien nom de fichier) et la création d'un nouveau fichier (nouveau nom). Tout ceci fonctionne parfaitement, c'est assez "logique", mais pas optimisé au sujet des transferts car un renommage génère le téléchargement complet du fichier (alors qu'il est déjà présent).

Après avoir modifié le paramètre de calcul de hashage, j'ai relancé la synchronisation et j'ai donc pour l'instant une étape supplémentaire qui consiste à avoir le calcul des valeurs de hashage pour tous les fichiers concernés par cette sauvegarde.

Problème

J'ai environ 20 000 fichiers donc certains dépassent les 10 Go, donc un "certain temps" pour effectuer cette opération (qui sera certainement plus rapide lors de la prochaine exécution).

Afin d'estimer le temps total mis par SyncBack pour effectuer tout ce travail, avez-vous une idée du fichier temporaire de suivi qui est stocké sur le disque pendant le calcul ? Je n'ai aucun information d'estimation dans l'interface ni le nombre de fichier traités (et/ou à traiter), donc impossible à estimer.

Merci d'avance pour vos réponses.

Cordialement


A voir également:

3 réponses

brucine Messages postés 14316 Date d'inscription lundi 22 février 2021 Statut Membre Dernière intervention 25 avril 2024 1 813
23 nov. 2022 à 11:04

Bonjour,

Je comprends mal le contexte: le propre d'une sauvegarde incrémentielle est de copier de la source à la cible les fichiers dont l'horodatage est plus récent et de supprimer de la cible ceux qui ne se trouvent plus dans la source, la procédure est assez rapide sauf la première fois même en présence d'un gros volume de fichiers (ce n'est personnellement pas Syncback que j'utilise à cet effet mais la simple ligne de commandes).

Évidemment, si un utilisateur a renommé même sans le modifier un fichier dans la source, le résultat en sera que ce fichier dans son ancienne version disparaîtra à la fois de la source et de la cible, la situation la plus anormale survenant quand ce fichier n'a pas été renommé, mais copié sous un autre nom, la démarche normale dans ce cas de figure me semblant davantage d'interdire à l'utilisateur une telle procédure.

Si maintenant on a une bonne raison de conserver disons les 3 dernières sauvegardes quotidiennes de la source, ce n'est pas une sauvegarde incrémentielle qu'il faut faire mais un script qui va automatiquement copier la dernière source puis supprimer de la cible tous les dossiers de sauvegarde vieux de plus de 3 jours, quitte à les compresser à la volée pour gagner de l'espace, mais cela va tout de même prendre une place considérable.

Dans tous les cas, contrôler non seulement l'attribut de date mais aussi calculer le hash de chaque fichier va prendre un temps considérable.

Qui plus est et autant que je sache, je connais mal le problème, un fichier n'est pas par défaut pourvu d'une empreinte de hachage qu'il faut lui conférer, seuls me semblant concernés ceux qu'on peut télécharger sur Internet pour s'assurer qu'ils sont conformes à l'original, et cette vérification éventuelle ne devant-elle pas prendre place lors de la création du fichier dans la source et non pas lors de son transfert, d'autant que cette empreinte concerne en principe le contenu du fichier mais pas son nom?

0
jmgroud Messages postés 39 Date d'inscription mardi 23 mai 2006 Statut Membre Dernière intervention 10 mars 2023 12
23 nov. 2022 à 11:31

Merci pour ta réponse brucine

Il existe d'autres logiciels, je sais, et j'en utilise d'autres aussi pour d'autres raisons.

Je ne tiens donc pas expliquer ici les raisons pour lesquels j'utiliserai des profils SyncBackPro pour echanger avec d'autres machines. J'ai environ une 20 taine de profils pour gérer différentes situations sur différentes machines Windows, Linux, à différents endroits géographiques. J'y passerai trop de temps...

Je sais très bien le temps qu'il faut à une machine et "beaucoup" de temps pour calculer un MD5 ou autre (le transfert met aussi du temps...) et je sais qu'il faut bien entendu les même algorithmes à gauche et à droite pour "faire confiance" en cette méthode.

Ceci dit, je trouve SyncBackPro très bien abouti même si rien n'est jamais parfait bien entendu.
Il possède beaucoup d'options, pas toujours faciles à maîtriser, mais permet une ouverture très large des possibilités d'échanges de fichiers entre 2 machines.

Je suis donc en train de tester l'option de hashage qui, pour certains profils me semble intéressante.
Il reste des questions en suspens concernant la méthodologie de calcul mais aussi le système de stockage des valeurs (de la machine locale sur laquelle s'exécute SyncBack mais aussi et surtout celle à distance puisque SyncBack n'est pas installé sur cette machine).

Je ne serai pas étonné de voir SyncBack gérer tous ces aspects de façon "très intelligente" afin d'optimiser la sécurité et la durée d'exécution des profils, mais je vais voir...

Je vais donc rester à ma question de départ : Comment connaître où en est le profil actuellement exécuté ?

J'ai pensé en effet à la présence éventuelle d'un fichier de suivi stocké sur disque (en espérant que SyncBack ne gère pas tout en mémoire...) mais peut-être y a t il un autre moyen...

Jean-Marie


0
brucine Messages postés 14316 Date d'inscription lundi 22 février 2021 Statut Membre Dernière intervention 25 avril 2024 1 813
23 nov. 2022 à 12:19

Les fichiers de Log sont comme tu le sais à C:\Users\xxx\AppData\Local\2BrightSparks\SyncBack, mais rien n'atteste qu'ils soient horodatés ou qu'en effet les opérations ne soient pas redirigées que vers la console, ni d'ailleurs quand bien même le Log des traitements de fichiers serait horodaté que les opérations y soient séquentielles (traitement entier des attributs d'un côté, du hash de l'autre) sans quoi il n'y pas moyen de savoir quel est le temps spécifiquement dédié à cette dernière opération (sauf à décompiler le logiciel....).

On peut évidemment savoir, mais sans la prédire, quelle durée a été prise par la sauvegarde d'un profil lambda en n'exécutant que celui-là (ou pour tous par la différence entre le temps de création du Log et celui de sa dernière modification), mais je suppose que ce n'est pas ce que tu veux savoir.

0
jmgroud Messages postés 39 Date d'inscription mardi 23 mai 2006 Statut Membre Dernière intervention 10 mars 2023 12
23 nov. 2022 à 13:15

En fait, je ne savais plus par cœur où étaient situées les fichiers de log... Merci de ce rappel, je vais aller voir, on ne sait jamais...

Connaître exactement la durée par avance n'est de toute façon pas possible, mais ce ne sera qu'une estimation après avoir calculé le temps mis pour un certain nombre de Go en local (je ferai une règle de 3).

De plus, ceci ne sera de toute façon pas encore suffisant car je ne considère pour l'instant que le temps de calcul pour mes fichiers en local.
Je ne considère pas encore les fichiers sur la machine cible car je ne sais pas comment SyncBack procédera. J'imagine un transfert vers un fichier temporaire sur ma machine SyncBack (avec des informations d'horodatage), puis un calcul de hashage pour ensuite un stockage dans sa base de données, mais rien de certain bien entendu...

Je verrai tout ceci dans "quelques heures ou jours ou semaines" ;-) suivant le temps global pris pour mes 20 000 fichiers en local...
En tout cas, c'est un sacré test...
Je suis prêt à patienter quelques semaines mais si je dois compter en "mois" je vais donc réfléchir avec mes partenaires pour savoir si tout ceci en vaut la peine :-)

Merci en tout cas pour tes remarques très intéressantes.

Pour info, le dossier des logs de SyncBack ne semble pas contenir les "log temporaires" des profils en cours d'exécution.
J'ai recherché tous les fichiers (par l'option de recherche Windows avec "*") dans le dossier et avec un tri sur la date de modification et n'ai trouvé que des fichiers datant d'hier (mes profils terminés).
Tout doit être stocké ailleurs...


0