Nombreux fichiers ou gros fichier ?

Oliv -  
KX Messages postés 19031 Statut Modérateur -
Bonjour,

C'est peut-être un peu (Ôô) plus général que Java, mais peut-être aussi que Java (et surtout sa classe 
Scanner
) à des arguments à lui. Et c'est en Java que le ou les fichiers sont traités. Donc :
Dans un cas de donnée typée chaîne de caractères stockée sur une ligne, avec beaucoup de ces données, et beaucoup de traitements concurentiels à faire en lecture, tant sur l'ensemble de données que sur chacune sans aucun lien avec les autres, et ce de manière continue (à la demande) :
Est-ce qu'il vaut mieux créer un fichier de 300 000 lignes (aïe les 
Thread
), ou 300 000 fichiers d'une ligne (aïe la mémoire) ?
Des pièges autre que la synchronisation dans les deux cas ?
Merci de bien vouloir m'éclairer un peu, beaucoup, fruit de la passion et nommément. :)

Configuration: Windows / Chrome 86.0.4240.183
A voir également:

1 réponse

Réponse 1 / 1
KX Messages postés 19031 Statut Modérateur 3 020
 
Bonjour,

"beaucoup de traitements concurentiels à faire en lecture"
S'il n'y a que de la lecture il n'y a pas de problème de concurrence.

Sinon, l'idéal serait de passer par une base de données, dont la gestion des transactions est plus performante que n'importe quel traitement à la main que tu pourrais mettre en place.
0
Oliv
 
Mettre en place une base données (et apprendre un langage tout entier au passage) pour associer (300 000 fois, certes) une chaîne de caractère à une requête, je ne crois pas en fait. J'ai toujours besoin de la chaîne entière, à chaque fois, dans le même ordre d'utilisation des données qu"elle contient. Vu comme ça...
Dans le doute, je pense que je vais faire 300 000 fichiers de 300 000 lignes, ce sera plus suûrÛr¡
0
Oliv
 
D'autre part les données de la base de données dont les arbres et les tables ne serviront à rien, il faut bien les mettre quelque part. Que je stocke les données pour une base de données inutile, ou pour les utiliser directement la question est toujours la même : comment ? Gros fichier, petits fichiers. Je ne me doutais pas que ce serait si difficile de savoir même pour quelqu'un d'autre que moi...
0
KX Messages postés 19031 Statut Modérateur 3 020 > Oliv
 
Tu ne donnes pas assez d'éléments pour que l'une ou l'autre des réponses soit plus pertinente.

Par exemple, si chaque ligne "avec beaucoup de ces données" possède 3'000 caractères en moyenne. Charger 300'000 lignes intégralement en mémoire, ça ne fait jamais que 1Go... C'est tout à fait abordable.
0