Lire gros fichier 3GB Résolu/Fermé

Question

Bonjour,

Je voudrais lire un très gros fichier texte de plusieurs Go. Le problème est que le compilateur PHP de mon hébergeur est un 32 bits et donc la taille maximale du integer est inférieure à la taille de mon fichier en bytes.

J'utilise la fonction fseek pour me déplacer dans le fichier. Et j'ai essayé de contourner le problème de différente façons (récursivité, boucle) mais rien n'y fait... quand le curseur est arrivé à une position égale à la taille max du int dans le fichier, il ne peut pas avancer plus loin.

Mon code qui ne fonctionne pas :

function fseek_bigfile($file,$pos,$first=0){

if($first) fseek($fp,0,SEEK_SET);

$pos=floatval($pos);

if($pos<=PHP_INT_MAX){

fseek($file,intval($pos),SEEK_CUR);

}else{

while($pos>PHP_INT_MAX){
    fseek($file,PHP_INT_MAX,SEEK_CUR);
    $pos-=floatval(PHP_INT_MAX);
    echo " ".$pos;
   }

fseek($file,intval($pos),SEEK_CUR);
  }
 }


Si vous avez une solution, merci de me répondre! ^^

si il y en a pas, je pense que je serai contraint de scinder mon fichier en plusieurs petits fichiers

Merci pour vos remarques!!
 
Qui ne tente rien n'a rien

NHenry · Answer

Bonsoir,

Pourquoi as-tu besoin d'un aussi gros fichier ?

totodunet · Answer

Bonsoir,

Pour stocker des décimales (10 Go).

Je voudrais juste l'exploiter en lecture de A à Z.

NHenry · Answer

Si ton hébergeur ne peut pas faire plus de 2Go, tu devra découper ton fichier, il n'y a pas de méthode pour contourner une restriction système (à ma connaissance).

totodunet · Answer

Bonjour,

Je peux mettre des fichiers de taille que je veux, c'est pas ça le problème. Actuellement je travaille qu'en local. L'inconvénient c'est qu'il n'y a pas possibilité de déplacer le curseur plus loin que 2 milliards et quelque dans mon fichier pour cause que ça dépasse la taille du int.

L'idéal ce serait de trouver en php une fonction équivalente à celle que j'utilise fseek(file, float start, float whence) mais qui prend des float en paramètre.

La solution de la boucle pour les gros fichiers je l'avait pioché sur le site de PHP (http://php.net/manual/fr/function.fseek.php#112647) mais visiblement ça n'a pas l'air de fonctionner chez moi...

totodunet · Answer

Bonsoir,

oui je fais des print. j'ai vu qu'il y a un echo dans le bout de code que j'ai posté d'ailleurs. Et ce que j'ai pu voir par l'affichage c'est que fseek() me renvoie false lorsque je veut bouger mon curseur de plus de 2 147 483 647 (PHP_INT_MAX) caractères depuis le début du fichier.

admettons que je sois à 1 milliard de caractères depuis le début début de mon fichier fseek($file,1 000 000 000,SEEK_SET);

et si je me déplace ensuite de 1 500 000 000 caractères par rapport à ma position actuelle fseek($file,1 500 000 000,SEEK_CUR); la fonction me renverra false.

J'avais pu constater qu'il revenait en fait automatiquement au début du fichier. Si je reviens à mon exemple, je serai finalement positionné à (2 500 000 000-2 147 483 647) caractères au lieu d'idéalement à 2 500 000 000 caractères depuis le début du fichier.

du coup je pense que je vais travailler avec plusieurs fichiers de plus petite taille même si ça va pas me faciliter la tâche dans le développement.

sinon voilà pour quel genre de site je travaille avec des fichiers de cette taille : http://www.piproject.org/decimals/ 

mais j'avais pas ce problème là auparavant quand je l'ai fait vu que je m'étais limité à 1 milliard^^

merci
 
Qui ne tente rien n'a rien

ElementW · Answer

'lut, il me vient une idée assez louche mais qui pourrait marcher, et qui ne marcherais que chez un hébergeur permettant d'utiliser la fonction shell_exec et tournant sous Linux ou OSX... Tu pourrais utiliser la commande dd pour sortir les octets demandés du fichier voulu, avec comme options if=fichier_decimales iflag=skip_bytes skip= bs=. shell_exec te renverrais les données voulues sous forme de string, sans problème de taille de fichier si ton environnement le permet (à savoir, que dd utilise les fonctions Unix définies lors du Large File Summit, permettant l'accès aux fichiers de + de 4Go sur des systèmes 32bit).

Xavierdu34 · Answer

Le code suivant permet de travailler ligne à ligne et permet de ce fait la gestion de très gros fichiers ... 
Après j'ai jamais eu à l'utiliser avec des fichiers vraiment très très gros, comme dans ton cas, mais je ne pense pas que ce soit un soucis, surtout en local ou tu n'es pas limité sur le temps d'exécution de ton script. 

<?php$fichier = fopen('/path/file.txt', 'r');if ($fichier){ while (!feof($fichier)) // parcours de toutes les lignes.  {  $ligne = fgets($fichier); // ligne courante  echo $ligne; // afficher la ligne. ou faire autre chose ^^ } fclose($fichier);}?>

P.S. : Bon pour ton cas, je viens de voir le site en question, c'est pas le plus évident ligne à ligne, surtout si ton fichier n'est en réalité qu'une seule ligne ... si tu peux insérer des retours à la ligne tout les 1000 décimales ... tu devrait t'en sortir avec ça .. autrement compliqué ..

totodunet · Answer

bonsoir,

la Pi-Day est passée, les 17 milliards de décimales sont stockées sur le site et ça fonctionne à merveille.

la solution de la commande shell dd était pas mal mais relativement lente. j'ai opté le choix de faire plusieurs petits fichiers et de bien organiser mes scripts PHP. merci pour vos solutions qui m'ont été instructifs.

le lien du site si vous voulez vous amuser : http://www.piproject.org/decimals/ - il y a une appli android du site qui existe depuis samedi aussi (Decimals Search sur Google Play)

voilà j'arrête ma pub^^ 

merci encore!
 
Qui ne tente rien n'a rien

Lire gros fichier >3GB

8 réponses

Discussions similaires