Quel format de compression pour des millions de fichiers text ?

Signaler
Messages postés
412
Date d'inscription
dimanche 21 mai 2017
Statut
Membre
Dernière intervention
10 juillet 2020
-
Messages postés
15523
Date d'inscription
samedi 10 juillet 2010
Statut
Membre
Dernière intervention
2 août 2020
-
Bonjour,
j'ai besoin, pour de l'archivage, de stocker des millions de textes.
Il n'y a pas de style sur les textes.
Chaque texte sera dans un fichier différent. Pour le moment j'utilise l'extension .txt
Je cherche à savoir, sous Windows, comment et sous quel format compresser chaque fichier pour in fine pouvoir faire une recherche à l'intérieur de tous ces fichiers sans avoir à les décompresser.
Par exemple, parmi des millions de fichiers .7z ou .gzip je voudrais pouvoir retrouver les fichiers comportant le terme "bilibob".
Merci beaucoup pour votre aide :)

4 réponses

Messages postés
15523
Date d'inscription
samedi 10 juillet 2010
Statut
Membre
Dernière intervention
2 août 2020
4 057
Pour moi ce n'est pas possible car la compression va passer le format ASCII du fichier texte en format binaire
Messages postés
28628
Date d'inscription
vendredi 5 février 2010
Statut
Modérateur
Dernière intervention
8 juillet 2020
6 782
Hi,

Sans compter que la compression imposerai une décompression pour la recherche... et donc, un gouffre à performance pour lire l'archive et rechercher un mot clé... :-)

Le plus simple, à priori, serait plutôt un moteur de base de données, dans lequel serait stocké tous les textes, ce qui permettrait indexation et recherche de manière assez simple... Le tout en concentrant tous les textes au même endroit, sans avoir des milliers de fichiers éparpillés, mais simplement des milliers d'entrées dans une base.
Messages postés
526
Date d'inscription
dimanche 17 juillet 2016
Statut
Membre
Dernière intervention
27 juillet 2020
50
Ne vaudrait-il pas mieux trier et classer les fichiers en fonction de leur contenu ?
Quand c'est compressé ce n'est accessible à rien d'autre qu'à la décompression.
Messages postés
15523
Date d'inscription
samedi 10 juillet 2010
Statut
Membre
Dernière intervention
2 août 2020
4 057
Il y a aussi le catalogueur de fichier qui peut voir le contenu d'une archive (sans la decompresser) c'est a dire le nom des fichiers contenus dans une archive, mais il est incapable de faire une recherche a l'interieur d'un fichier compresse....

A une epoque (ou les disques n'avaient pas de grosses capacites) on compressait la totalite du disque et il y avait un petit programme de gestion (transparent pour l'utilisateur) qui se chargeait de faire la passerelle entre la commande et le stockage..
Ca dit quelque chose a quelqu'un ?
Messages postés
412
Date d'inscription
dimanche 21 mai 2017
Statut
Membre
Dernière intervention
10 juillet 2020
116
J'ai trouvé ceci, mais comme je suis pas excellent en anglais je n'arrive pas à savoir si leur logiciel (payant) décompresse les fichiers pour faire une recherche dedans ou pas.
https://www.powergrep.com/index.html
Messages postés
526
Date d'inscription
dimanche 17 juillet 2016
Statut
Membre
Dernière intervention
27 juillet 2020
50 >
Messages postés
53
Date d'inscription
lundi 18 mai 2020
Statut
Membre
Dernière intervention
15 juillet 2020

"ZipGenius" (gratuit) est bien aussi.
Messages postés
412
Date d'inscription
dimanche 21 mai 2017
Statut
Membre
Dernière intervention
10 juillet 2020
116 >
Messages postés
53
Date d'inscription
lundi 18 mai 2020
Statut
Membre
Dernière intervention
15 juillet 2020

A priori les logiciels que vous citez "ZipGenius" & 7-ZIP servent uniquement à compresser/décompresser des fichiers. Je souhaite faire une recherche à l'intérieur des fichiers textes compressés moi. D'ailleurs j'ai utilisé 7-zip pour obtenir mes fichiers .7z.
Messages postés
526
Date d'inscription
dimanche 17 juillet 2016
Statut
Membre
Dernière intervention
27 juillet 2020
50 >
Messages postés
412
Date d'inscription
dimanche 21 mai 2017
Statut
Membre
Dernière intervention
10 juillet 2020

Et ben c'est pas possible, quand c'est compressé, c'est blindé, fermé, closed; la seule chose qu'on peut faire avec du compressé, c'est de le décompresser.
Messages postés
53
Date d'inscription
lundi 18 mai 2020
Statut
Membre
Dernière intervention
15 juillet 2020
>
Messages postés
526
Date d'inscription
dimanche 17 juillet 2016
Statut
Membre
Dernière intervention
27 juillet 2020

Mais non, avec 7-ZIP on peut chercher
Messages postés
15523
Date d'inscription
samedi 10 juillet 2010
Statut
Membre
Dernière intervention
2 août 2020
4 057 >
Messages postés
53
Date d'inscription
lundi 18 mai 2020
Statut
Membre
Dernière intervention
15 juillet 2020

De quelle facon se fait la recherche avec 7-Zip pour retrouver un mot dans un fichier compresse ?