Sed : Argument list too long Résolu/Fermé

Question

Salut,
Et voilà je continue à galèrer. :p
Cette fois c'est la commande sed, qui m'empêche de faire ce que je veux. (encore des limitations)
Je veux lancer une commande qui touche un peu trop de fichiers semble-t-il :
sed -i 's#bateau #maison #' ../*/*/*/*
Mais bon je ne peux pas faire autrement. :D

Lors du lancement je reçois un message d'erreur : 
bash: /bin/sed: Liste d'arguments trop longue

J'ai vu une histoire de "find" ou "xargs" mais bon je n'y arrive pas.
Si quelqu'un a une solution. :)
Thx.. ou mono

lami20j · Answer

Salut,

Par exemplels ../*/*/*/* | xargs sed -i 's#bateau #maison #'

bkrqpzef · Answer

Salut et merci pour la réponse. :)
Cependant :
bash: /bin/ls: Liste d'arguments trop longue
sed: pas de fichiers en entrée

lami20j · Answer

Re,

Essaiefind ../ -type f -exec  sed -i 's#bateau #maison #' {} \;

bkrqpzef · Answer

Je teste.
Ca à l'air de marcher, Merci.
(Ca risque de mettre du temps pour vérifier si tout se passe bien)

bkrqpzef · Answer

Cool ça marche. Mais je n'y comprend rien :).
Il faut que je lance :
sed -i 's#bateau #maison #' ../*/*/*/*
et
sed -i 's#bateau #maison #' ../*/*/*/*/*(avec un /* de plus que l'autre)
Est ce que :
find ../ -type f -exec  sed -i 's#bateau #maison #' {} \;
peut remplacer les deux ?

bkrqpzef · Answer

Je répond à ma propre question : OUI !!!!!! :p
Merci pour tout.

lami20j · Answer

Re,

De toute façon tu veux traiter tous les fichiers de répertoire parent.
Pourquoi pas utiliser le chemin complet de répertoire parent?

De toute façon ce ça que ../ fait dans dans le find.
Tu n'as pas besoin de tous ces étoiles

Pour plus de clarté je te conseille de mettre le chemin complet de répertoire parent
Dans ce répertoire tu n'as que des fichiers texte? Les fichiers ont une extension ou pas (.txt par exemple)
Je ne pense pas que c'est ça que tu veux.find /chemin/complet -type f -exec  sed -i 's#bateau #maison #' {} \;

bkrqpzef · Answer

Hum voilà. En fait ça fonctionne parfaitement mais le premier fichier SH modifie également les autres fichiers SH. :D
Comment le limiter aux fichiers avec extension .txt par exemple ?

jipicy · Answer

Salut,find /chemin/complet -type f -name "*.txt" -exec  sed -i 's#bateau #maison #' {} \;

bkrqpzef · Answer

OK merci. :)
Et un nouveau problème fun mais à part tout changer je ne vois pas de solution :
D'après de rapides estimations, mon programme met 1 an et demi pour s'executer... :o
Je crois que ça ne va pas le faire...

Une idée pour limiter sed aux 10 dernières lignes avant les dix dernières lignes du fichier ? (Je crois que je demande un peu trop à la machine là :s)

lami20j · Answer

Salut,

Tu as combien de fichiers?
find /chemin/complet -type f -name "*.txt" | wc -lTu as combien de remplacements à faire dans tes fichiers?find . -name '*.txt' -exec grep -c bateau {} \;|awk '{SUM += $1}END{print SUM}'

bkrqpzef · Answer

50 000 commandes sed ciblant chacune dans les 5.2 Go de données. :'(
Des images dans le tas :p

lami20j · Answer

Re,

Affiche le résultat des commandes que je t'ai donné ;-)

mon programme met 1 an et demi pour s'executer
Ici on parle d'une commande.
Ton programme contient autre chose?!

Tes estimations se basent sur quoi?
J'ai traiter des fichiers de 600 Mo et je n'ai pas passer des heures pour le faire, donc 5 Go dans 1 an et demi c'est un peut trop quand même.

bkrqpzef · Answer

(En fait c'est un prog en C qui ecrit un fichier .sh qui s'éxecute, celui-ci est constitué de 50 000 commandes de modifications de type sed, mais si l'une d'elle devient plus rapide ça affectera le reste, qui sera modifié également)

find /chemin/complet -type f -name "*.txt" | wc -l
me rend 34 148

Tu as combien de remplacements à faire dans tes fichiers?
Alors euh un seul par commande dans chaque dossier après le ../

En fait il y a 25 dossier (au niveau du chemin ../). Et dans chaque dossier je ne rencontre cette suite qu'une seule fois. Possible de lui dire de passer au dossier d'après s'il a trouvé la chaine ? :p

lami20j · Answer

Re,

Et la deuxième commande?

bkrqpzef · Answer

Il y pense toujours à la deuxième commande. Elle va arriver surement ^^
Théoriquement ça sera 25. :)
[Edit]Confirmation le résultat est 25 :)

Pour l'estimation ben, j'ai chronométré le temps d'éxecution d'une commande sed et j'ai multiplié le tout par le nombre de commandes. :D

lami20j · Answer

Re,

Impossible.
La deuxième commande doit afficher le nombre de lignes qui contient le mots bateau (ce le mot à remplacer).

Donc si tu as 30 000 fichiers et qu'il y a un remplacement par fichier tu dois avoir le résultat de la deuxième commande au moins égal avec le nombre de fichiers.

lami20j · Answer

Re,

Un exemple chez moi sur 5 fichiers$ pwd
/home/lami20j/toolong
$ ls -1
fichier1.txt
fichier2.txt
fichier3.txt
fichier4.txt
fichier5.txt
$ ls -1 | wc -l
5
$ find . -name '*.txt' | wc -l
5
$ find . -name '*.txt' -exec grep -c bateau {} \;|awk '{SUM += $1}{print SUM}'
23
46
69
92
115
$ find . -name '*.txt' -exec grep -c bateau {} \;|awk '{SUM += $1}END{print SUM}'
115

bkrqpzef · Answer

Explication du dessus en détail :

../ contient 
dossier1
dossier2
dossier3
.
.
.
dossier24
dossier25

dans chacun de ces dossiers, il y a d'autres dossiers etc ... et des fichiers .txt à modifier
cependant le mot "bateau" (c'est un exemple évidemment) ne revient qu'une seule fois par dossier.

Exemple : Dans "dossier1" il n'y a qu'un seul fichier .txt qui contient le mot ''bateau" et en plus ce mot n'est présent qu'une seule fois.

lami20j · Answer

Salut,

Je n'ai pas besoin d'exemples. Tu as un cas concret. Donc tu as besoin de précision.

Si un seul fichier contient le mot bateau et en plus une seule fois alors je ne vois pas pourquoi tu as besoin de remplacer les 10 dernières lignes avant les 10 dernières.
Pour moi ton cas n'est pas clair et en ce cas je ne peux pas t'apporter de l'aide.

En plus des 2 commandes que je t'ai donné et tu ne veux toujours pas m'afficher le résultat, installe le paquet tree et ensuite tape la commande tree -P "*.txt" -o logTu peux mettre le fichier compressé sur cjoint.com

bkrqpzef · Answer

Pour la phrase "10 dernières lignes avant les 10 dernières" :
Il se trouve que le mot bateau se trouve toujours à cet endroit dans le fichier. (Si le fichier fait 30 lignes, le mot sera entre la ligne 10 et la ligne 20, si le fichier fait 3000 lignes, le mot sera entre la ligne 2980 et la ligne 2990 etc...)

Mon problème est évidemment le suivant : Mes commandes sont beaucoup trop lourdes. :)
Elles viennent de tourner pendant 19 heures là, et ça n'a pas beaucoup avancé. :p

Comme solutions j'ai pensé à :

1-Limiter la recherche du motif "bateau" uniquement aux 10 dernières lignes avant les 10 dernières.
2-Arrêter la recherche du motif "bateau" quand il a été trouvé une fois dans chaque dossier situé dans ../ (le ../ que j'utilise dans la commande "find ../ -type f -name "*.txt" -exec sed -i 's#bateau#maison #' {} \;" (donc 25 fois maximum)
3-Le motif "bateau" n'apparait qu'une seule fois par fichier, alors il ne sert à rien de continuer à rechercher le motif dans le même fichier une fois qu'il a été trouvé. (Enfin celui là ne risque pas de raccourcir énormément le temps d'execution vu que le motif est à la fin du fichier)

Voilou en gros mes idées. Mais pour les mettre en pratique c'est une autre paire de manche.
Si vous avez d'autres idées, ce n'est que mieux. :p

(Je vais étudier un peu grep et find, d'après ce que je vois elle peuvent être très intéressantes)

bkrqpzef · Answer

[cite]tu ne veux toujours pas m'afficher le résultat.

Les voici :

find ../ -type f -name "*.txt" | wc -l
34 148

find . -name '*.txt' -exec grep -c bateau {} \;|awk '{SUM += $1}END{print SUM}'
1

find ../ -name '*.txt' -exec grep -c bateau {} \;|awk '{SUM += $1}END{print SUM}'
25

[cite]tree -P "*.txt" -o log
Contient des informations que je ne peux pas mettre sur internet. :(
Si c'est indispensable je pourrais modifier mon programme pour générer quelque chose de factice.

lami20j · Answer

Salut,

Ben, je ne comprends pas.
Tu as seulement 25 remplacements à faire et pour ça tu penses à une année de calcul?!
Je ne crois pas.

Mes commandes sont beaucoup trop lourdes. :) 
Quelles commandes.
D'après ce que j'ai compris il n'y a qu'une commande.

lami20j · Answer

Re,

Sinon, pour s'arrêter après avoir trouver une correspondance regarde ici
http://www.commentcamarche.net/forum/affich 12129690 grep sur fichier volumineux

bkrqpzef · Answer

J'ai 50 000 commandes dans un fichier SH. (temps d'execution équivalente puisque qu'elles parcourent tout :p)
L'une d'entre elle met 15 minutes à se terminer.
50 000 * 15 = 750 000 (minutes)
750 000 / 60 = 12 500 (heures)
12 500 / 24 = 520 (jours)
520 / 365 = 1.42 (année)

Depuis la découverte de sed, celui-ci m'a bien rendu service, mais là je pense que je vais peut être devoir faire un système de recherche de motif par moi même.

jipicy · Answer

J'ai 50 000 commandes dans un fichier SH. 
Waouw ;-\

Et tu ne peux pas faire exécuter certaines commandes en parallèle ?
Scinder ton fichier en plusieurs parties ?
Faire des regroupements de commandes ?

bkrqpzef · Answer

:D

Et tu ne peux pas faire exécuter certaines commandes en parallèle ?
Je dois modifier par exemple "bateau1" par "maison" et "bateau2" par "oiseau", possible de regrouper ça dans une seule commande ?
(Du style rechercher le motif "bateau" et ensuite implémenter un if dans le sed : si 1 après bateau remplacer par maison, si 2 après bateau remplacer par oiseau etc ..) Possible ?

Scinder ton fichier en plusieurs parties ?
Euh je peux tenter de faire quelque chose qui extrait les 10 dernières lignes avant les 10 dernières lignes du fichier et les mettre dans d'autres fichiers. (et ce sont eux que je devrais modifier) Et ensuite les réinjecter dans le fichier d'origine mais euuuuhh ça m'a l'air complexe. :D

Faire des regroupements de commandes ? 
Euh.

jipicy · Answer

Euh... on doit mal se comprendre là ;-\

"50000 commandes dans un fichier" = Ton fichier (script) contient bien 50000 commandes ?

Donc ces commandes tu peux les utiliser séquentiellement (les unes à la suite des autres, chacune attendant la fin de la commande précédente pour de lancer) ou en parallèle (lancer en arrière-plan avec "&", les commandes s'exécutant dans un shell fils quasiment en même temps (en partageant le temps plus exactement)).

bkrqpzef · Answer

Ouaip 50 000 lignes du type :
sed -i 's/bateau1/maison/' *
sed -i 's/bateau2/oiseau/' *
etc ...

En remplacant cela par 
sed -i 's/bateau1/maison/' * & sed -i 's/bateau2/oiseau/' *
Vous pensez que cela peut améliorer les performances ?

En fait je pensais que c'était exactement pareil mais en une seule ligne. :)

lami20j · Answer

Re,

Je dois modifier par exemple "bateau1" par "maison" et "bateau2" par "oiseau", possible de regrouper ça dans une seule commande ? 
Tiens, on doit se casser un peut la tête pour que tu commencer à "cracher" ce que tu veux faire.

Si tu pourras expliquer avec plus de précisions, je pourrais peut être penser à une solution en Perl.
Tant que tu ne peux pas faire ça, je suis désolé.

J'ai 50 000 commandes dans un fichier SH.
Tu as 50 000 motifs à remplacer?!

lami20j · Answer

Re,

Tu peux mettre dans un fichier .txt le motif à remplacer avec le remplaçant correspondant

motif;remplaçant

Ensuite avec une seule commande pour chaque motif de fichier faire le remplacement correspondant

jipicy · Answer

Euh... non ;-(

Soit :sed -i 's/bateau1/maison/;s/bateau2/oiseau/' *Soit tu mets toutes tes commandes dans un fichier texte (script.sed par exemple) :
s/bateau1/maison/
s/bateau2/oiseau/
etc.
s/bateau3/moineau/
etc.Que tu appelles ensuite :sed -i -f script.sed *;-))

lami20j · Answer

Re,

Dans un de mes messages j'ai dit

Ici on parle d'une commande.
Ton programme contient autre chose?! 

Maintenant tu dis que tu as 50 000 commandes.
Ben, on n'est pas devant ton pc pour voir ce que ton script contient.

bkrqpzef · Answer

Je dois modifier par exemple "bateau1" par "maison" et "bateau2" par "oiseau", possible de regrouper ça dans une seule commande ? 
Ce n'est qu'un exemple, le contexte est trop aléatoire pour en faire une règle universelle. J'essai juste de trouver une manière de gagner du temps. (Si jamais ce phénomène a lieu)

Tu as 50 000 motifs à remplacer?! 
Oui, sinon je n'aurais pas 50 000 commandes. :)

Bon, je vous remercie de votre enthousiasme pour m'aider. Mais cette fois je pense que sed ne me sauvera pas. (Il a déjà tant fait pour moi lol il ne faut pas trop en demander)

Je retourne faire du codage pour résoudre ce problème. (Que j'aurai pu anticiper...)
Je vais tenter de résoudre ce problème à la source. :D (Les fichiers txt sont générés par mon programme)
"find /chemin/complet -type f -exec  sed -i 's#bateau #maison #' {} \;" va bien me servir. ;)

Je reviendrai pleurer sur le forum si vraiment je n'arrive à rien. Ca fait plaisir de voir des gens qui se mettent en 4 pour résoudre des problèmes qui ne sont pas les leurs.
Merci encore !!

Sed : Argument list too long

34 réponses

Discussions similaires