Traitement des fichiers volumineux

JenSi Messages postés 2 Statut Membre -  
ElementW Messages postés 5690 Statut Contributeur -
Bonjour,
Je tente à traiter un fichier texte volumineux (32Go), le fichier contient 1.963.263.821 lignes de données. Quels sont les langages de programmation qui me permettent de traiter ce fichier?
Merci d'avance.

1 réponse

ElementW Messages postés 5690 Statut Contributeur 1 224
 
Tous. Tous les langages qui peuvent lire et écrire des fichiers sont capables de traiter des gros fichiers, il faut juste bien utiliser les fonction de lecture pour ne pas lire tout d'un coup.
Certains langages sont plus adaptés pour le traitement de gros volumes de données.
Perl, Python et Ruby s'en sortent plutôt bien.
0
JenSi Messages postés 2 Statut Membre
 
Merci pour la réponse !
Est-ce qu'il vaut mieux transformer le fichier en une table base de données ? En fait je cherche à effectuer des statistiques sur les données et j'ai un peut peur d'avoir des problèmes de gestion de mémoire.
0
ElementW Messages postés 5690 Statut Contributeur 1 224
 
Oui, car les bases de données utilisent des systèmes déjà programmés pour gérer d'énormes quantités de données avec une quantité limitée de mémoire et de puissance processeur.
0