Consolidation entre fichiers imposants Résolu/Fermé

Question

Salut tout le monde 

Je suis toute nouvelle (en témoigne mon nombre de messages..) et me permets de solliciter l'aide de la communauté pour le défi excel ci dessous :

47 Go
47k fichiers
Un véritable sac de noeud ! Même Goku hésiterait à y mettre le nez, et dieu sait qu'il le fourre partout.
A noter que mes connaissances s'arrêtent actuellement au niveau d'un tableur croisé dynamique soit .. lambda.

Pour faire simple chacun des fichiers possède des informations diverses mais avec des dénominateurs communs & des redondances.
Le but étant de créer un fichier global ou/et plusieurs fichier, qui reprend l'ensemble des informations sans redondances.
Pour illustrer le cas de figure :
Prenons 4 fichiers qu'on va nommer Alpha, Beta, Gamma, Delta.
Alpha contient des informations sur A, B, C, D, E avec les critères 1, 2, 3, 4, 5
Beta contient des informations sur D, E, F, G, H avec les critères 4, 5, 6, 7, 8
Gamma contient des informations sur G, H, I, A, B, avec les critères 1, 3, 9, 10
Delta contient des informations sur D, G, J, P, Q avec les critères 9, 10, 11, 12, 14

Quel est le meilleur moyen de fonctionner dans le but d'obtenir ce classeur consolidé ?
Je suis ouvert à toute solution hors excel si nécessaire, type macro etc..

Merci par avance pour votre support !

Raymond PENTIER · Answer

Je ne suis pas Kakarot, ni Eric ANTOINE.
Je ne suis donc pas certain de deviner ce que veut dire  47 Go - 47k fichiers : On dirait 47 000 fichiers pour une taille totale de 47 Go (soit 1 000 Ko par fichier) !
Dis-moi que ne ce n'est pas vrai !

Raymond PENTIER · Answer

... et tu voudrais obtenir un immense fichier avec des centaines de milliers de lignes, et avec ton exemple on aurait 
A, B avec les critères 1, 2, 3, 4, 5, 9, 10 
C avec les critères 1, 2, 3, 4, 5 
D avec les critères 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 14 
E avec les critères 1, 2, 3, 4, 5, 6, 7, 8
F avec les critères 4, 5, 6, 7, 8, 9, 10, 11, 12, 14 
G avec les critères 1, 3, 4, 5, 6, 7, 8, 9, 10
H, I avec les critères 1, 3, 9, 10
J, P, Q avec les critères 9, 10, 11, 12, 14 
c'est bien ça ?   
On passerait alors de 95 à 82 données, 
soit 14% de doublons évités.

Raymond PENTIER · Answer

Merci beaucoup, Eric ! 

Cette fausse Space Girl m'a quand même fait perdre du temps ...
On va devoir demandeur aux modérateurs de revoir son inscription !
D'ailleurs Excel ne résoudra pas ce problème, puisqu'il y a effectivement 47 000 fichiers à traiter !
Amicalement.

jordane45 · Answer

Bonjour
le fait que la personne ait posée sa question sur différents forums ne permet pas de revoir son inscription et ne mérite pas de signalement.

Bonne soirée.

SpaceG · Answer

Bonsoir Raymond,

En effet votre exemple est bien éloquent. Il est question de consolider dans ce sens avec une BDD finale à +100 000 lignes et une 100ene de critères.
Pour l'heure j'ai un début de réponse via Powerquery. Je vais tenter de réaliser cela avec cet outil tout en restant à l'écoute d'autres propositions.

Je ne cherche cependant à faire perdre de temps à personne.. Je ne comprends vraiment pas cette vision des choses.
Lorsqu'on cherche une information, pour quelle que sujet que ce soit, il est naturel d'aller checker à plusieurs sources afin d'opter pour le best way final.. Je suis présent, j'échange, je ne laisse aucune question sans réponse, ni réponse sans remerciement.

Bref, merci tout de même de l'attention..

Jordane : Merci de l’aparté, vous êtes bien le seul à ne pas trouver cela hors cadre..

eriiic · Answer

Bonjour,

bien entendu que tu peux poster sur plusieurs forums.
A condition d'avoir la courtoisie de le signaler avec des liens qu'on profite des réponses et compléments apportés ailleurs pour éviter les redites.

Tout comme on a le droit de fuir à l'avenir un demandeur pour lequel on a passé 1/2h à chercher, pour s'apercevoir qu'il avait la réponse ailleurs depuis plusieurs heures...
Ce qui est très humain.
Choisis ton camp camarade ! :-)
eric

SpaceG · Answer

Bonjour,

Solution trouvé, je vous remercie de l'interet.
Vous pouvez fermer le topic.

Consolidation entre fichiers imposants

7 réponses

Discussions similaires