Quel format de compression pour des millions de fichiers text ?
Fivel51
Messages postés
463
Date d'inscription
Statut
Membre
Dernière intervention
-
contrariness Messages postés 21236 Date d'inscription Statut Membre Dernière intervention -
contrariness Messages postés 21236 Date d'inscription Statut Membre Dernière intervention -
Bonjour,
j'ai besoin, pour de l'archivage, de stocker des millions de textes.
Il n'y a pas de style sur les textes.
Chaque texte sera dans un fichier différent. Pour le moment j'utilise l'extension .txt
Je cherche à savoir, sous Windows, comment et sous quel format compresser chaque fichier pour in fine pouvoir faire une recherche à l'intérieur de tous ces fichiers sans avoir à les décompresser.
Par exemple, parmi des millions de fichiers .7z ou .gzip je voudrais pouvoir retrouver les fichiers comportant le terme "bilibob".
Merci beaucoup pour votre aide :)
j'ai besoin, pour de l'archivage, de stocker des millions de textes.
Il n'y a pas de style sur les textes.
Chaque texte sera dans un fichier différent. Pour le moment j'utilise l'extension .txt
Je cherche à savoir, sous Windows, comment et sous quel format compresser chaque fichier pour in fine pouvoir faire une recherche à l'intérieur de tous ces fichiers sans avoir à les décompresser.
Par exemple, parmi des millions de fichiers .7z ou .gzip je voudrais pouvoir retrouver les fichiers comportant le terme "bilibob".
Merci beaucoup pour votre aide :)
A voir également:
- Quel format de compression pour des millions de fichiers text ?
- Format epub - Guide
- Format factory - Télécharger - Conversion & Codecs
- Hp usb disk storage format tool - Télécharger - Stockage
- Format apfs - Guide
- Renommer des fichiers en masse - Guide
4 réponses
Pour moi ce n'est pas possible car la compression va passer le format ASCII du fichier texte en format binaire
Ne vaudrait-il pas mieux trier et classer les fichiers en fonction de leur contenu ?
Quand c'est compressé ce n'est accessible à rien d'autre qu'à la décompression.
Quand c'est compressé ce n'est accessible à rien d'autre qu'à la décompression.
Il y a aussi le catalogueur de fichier qui peut voir le contenu d'une archive (sans la decompresser) c'est a dire le nom des fichiers contenus dans une archive, mais il est incapable de faire une recherche a l'interieur d'un fichier compresse....
A une epoque (ou les disques n'avaient pas de grosses capacites) on compressait la totalite du disque et il y avait un petit programme de gestion (transparent pour l'utilisateur) qui se chargeait de faire la passerelle entre la commande et le stockage..
Ca dit quelque chose a quelqu'un ?
A une epoque (ou les disques n'avaient pas de grosses capacites) on compressait la totalite du disque et il y avait un petit programme de gestion (transparent pour l'utilisateur) qui se chargeait de faire la passerelle entre la commande et le stockage..
Ca dit quelque chose a quelqu'un ?
J'ai trouvé ceci, mais comme je suis pas excellent en anglais je n'arrive pas à savoir si leur logiciel (payant) décompresse les fichiers pour faire une recherche dedans ou pas.
https://www.powergrep.com/index.html
https://www.powergrep.com/index.html
En plus c'est payant !!!
Pour un logiciel tu télécharge 7-ZIP en cliquant ici : https://www.7-zip.org/a/7z2000-x64.exe
Pour un logiciel tu télécharge 7-ZIP en cliquant ici : https://www.7-zip.org/a/7z2000-x64.exe
Sans compter que la compression imposerai une décompression pour la recherche... et donc, un gouffre à performance pour lire l'archive et rechercher un mot clé... :-)
Le plus simple, à priori, serait plutôt un moteur de base de données, dans lequel serait stocké tous les textes, ce qui permettrait indexation et recherche de manière assez simple... Le tout en concentrant tous les textes au même endroit, sans avoir des milliers de fichiers éparpillés, mais simplement des milliers d'entrées dans une base.