Importation / Gestion de GROS fichier CSV
Xtoons64
Messages postés
3
Date d'inscription
Statut
Membre
Dernière intervention
-
yg_be Messages postés 23541 Date d'inscription Statut Contributeur Dernière intervention -
yg_be Messages postés 23541 Date d'inscription Statut Contributeur Dernière intervention -
Bonjour,
Je dispose de 7 gros fichiers CSV allant de 1.2 Go à 35 Go
Dans chaque fichier CSV, je souhaiterais récupérer seulement les informations dont j'ai besoin.
Actuellement je me suis fait un script qui me permet de traiter 25000 lignes / jour, j'ai tout simplement split un des fichiers, mais c'est beaucoup trop long comme méthode.
J'ai essayé d'importer mon fichier CSV brutalement dans une BDD mysql en boostant au maximum des performances, mais ça ne passe pas. Et j'ai retenté l'opération avec des fichiers de 50 Mo ( split ), rien n'a faire, que ce soit en local ou sur mon dédié, il ne veut pas traité les informations ( à titre informatif, j'ai bien remplie avec les bonnes valeurs les prérequis )
J'ai du coups plusieurs questions:
Existe t'il un logiciel qui me permettrait de visualiser le fichier, et de par exemple supprimer les colonne que je n'ai pas besoin ( en vue de minimiser la taille du fichier final ) ?
Avez vous une idée pour importer mes fichiers CSV vers une base de donnée en vue de les modifier ?
Ou tout autres idées pour que je puisse traiter mes fichiers ?
En vous remerciant.
Si vous avez des questions, n'hésitez pas :)
Au plaisir.
Je dispose de 7 gros fichiers CSV allant de 1.2 Go à 35 Go
Dans chaque fichier CSV, je souhaiterais récupérer seulement les informations dont j'ai besoin.
Actuellement je me suis fait un script qui me permet de traiter 25000 lignes / jour, j'ai tout simplement split un des fichiers, mais c'est beaucoup trop long comme méthode.
J'ai essayé d'importer mon fichier CSV brutalement dans une BDD mysql en boostant au maximum des performances, mais ça ne passe pas. Et j'ai retenté l'opération avec des fichiers de 50 Mo ( split ), rien n'a faire, que ce soit en local ou sur mon dédié, il ne veut pas traité les informations ( à titre informatif, j'ai bien remplie avec les bonnes valeurs les prérequis )
J'ai du coups plusieurs questions:
Existe t'il un logiciel qui me permettrait de visualiser le fichier, et de par exemple supprimer les colonne que je n'ai pas besoin ( en vue de minimiser la taille du fichier final ) ?
Avez vous une idée pour importer mes fichiers CSV vers une base de donnée en vue de les modifier ?
Ou tout autres idées pour que je puisse traiter mes fichiers ?
En vous remerciant.
Si vous avez des questions, n'hésitez pas :)
Au plaisir.
A voir également:
- Importation / Gestion de GROS fichier CSV
- Fichier bin - Guide
- Fichier epub - Guide
- Fichier rar - Guide
- Comment réduire la taille d'un fichier - Guide
- Fichier .dat - Guide
2 réponses
Bonjour,
Quelques pistes qu'il te faudrait développer :
- utiliser powerquery avec excel pour simplifier le csv, voir : https://forums.commentcamarche.net/forum/affich-36718337-ouvrir-un-csv-trop-volumineux-faire-des-requetes
- ce que je tenterais c'est un script python qui lit le fichier .csv, en constitue un autre en ne reprenant que les données/colonnes utiles et éventuellement en constituant de nouveaux sous fichiers comportant des blocs de lignes pour avoir des fichiers moins volumineux à traiter. Avec python on pourrait même aller plus loin, faire l'insertion directement dans la bdd mysql.
Quelques pistes qu'il te faudrait développer :
- utiliser powerquery avec excel pour simplifier le csv, voir : https://forums.commentcamarche.net/forum/affich-36718337-ouvrir-un-csv-trop-volumineux-faire-des-requetes
- ce que je tenterais c'est un script python qui lit le fichier .csv, en constitue un autre en ne reprenant que les données/colonnes utiles et éventuellement en constituant de nouveaux sous fichiers comportant des blocs de lignes pour avoir des fichiers moins volumineux à traiter. Avec python on pourrait même aller plus loin, faire l'insertion directement dans la bdd mysql.
yg_be
Messages postés
23541
Date d'inscription
Statut
Contributeur
Dernière intervention
Ambassadeur
1 584
bonjour,
que est le résultat espéré? des fichiers avec uniquement les données utiles? ces données dans une base de données?
"il ne veut pas traité les informations": message d'erreur?
que fait précisément le script trop lent? quel langage?
que est le résultat espéré? des fichiers avec uniquement les données utiles? ces données dans une base de données?
"il ne veut pas traité les informations": message d'erreur?
que fait précisément le script trop lent? quel langage?