Grep sur fichier volumineux
Résolu
userette
-
userette -
userette -
Bonjour,
J'ai un fichier très volumineux à parcours.
Je voudrais que ma commande grep sorte à la première occurrence trouvée.
Sinon mon script mettrait des jours à se terminer puisque qu'il parcourt à chaque grep touuuuut le fichier.
je sais qu'il y a l'option grep -m NUMBER
mais elle est pas reconnue sur ma machine. peut etre ancienne version.
SVP aidez moi. je bloque la-dessous.
J'ai un fichier très volumineux à parcours.
Je voudrais que ma commande grep sorte à la première occurrence trouvée.
Sinon mon script mettrait des jours à se terminer puisque qu'il parcourt à chaque grep touuuuut le fichier.
je sais qu'il y a l'option grep -m NUMBER
mais elle est pas reconnue sur ma machine. peut etre ancienne version.
SVP aidez moi. je bloque la-dessous.
A voir également:
- Grep sur fichier volumineux
- Comment réduire un fichier trop volumineux - Guide
- Fichier bin - Guide
- Fichier epub - Guide
- Fichier rar - Guide
- Fichier .dat - Guide
16 réponses
Salut,
Tu peux afficher :
Tu peux afficher :
grep --version grep --helpSinon avec "sed" :
sed -n '/motif/p;q' fichier;-))
On peut avoir un bout de ton fichier et le motif à chercher please ?
bout du fichier :
21621623335704|17|
21621623336802|17|
21621623351963|17|
21621623357067|17|
21621623373862|17|
21621623376968|17|
21621623390324|17|
21621623391903|17|
21622010039|14|
21622010077|16|
21622010191|36|
21622010275|16|
21622010352|16|
21622010405|18|
21622010547|14|
21622010664|37|
21622010692|17|
21622010709|36|
21622010720|17|
21622010737|17|
21622010822|37|
21622010944|36|
21622011017|14|
le motif à chercher : 21622010039 par exemple.
mon fichier contient 5366202 lignes. donc la recherche complete du fichier prend bcp de temps.
21621623335704|17|
21621623336802|17|
21621623351963|17|
21621623357067|17|
21621623373862|17|
21621623376968|17|
21621623390324|17|
21621623391903|17|
21622010039|14|
21622010077|16|
21622010191|36|
21622010275|16|
21622010352|16|
21622010405|18|
21622010547|14|
21622010664|37|
21622010692|17|
21622010709|36|
21622010720|17|
21622010737|17|
21622010822|37|
21622010944|36|
21622011017|14|
le motif à chercher : 21622010039 par exemple.
mon fichier contient 5366202 lignes. donc la recherche complete du fichier prend bcp de temps.
Je t'avoue que je ne comprends plus ;-(((
Avec ton exemple de fichier, effectivement il ne me renvoie rien avec "p;q" :
Il me renvoie bien la ligne sans le "q" :
Par contre sur un autre fichier la commande "p;q" marche bien :
Désolé ;-(
Avec ton exemple de fichier, effectivement il ne me renvoie rien avec "p;q" :
[tmpfs]$ sed -n '/21622010039/p;q' plop [tmpfs]$
Il me renvoie bien la ligne sans le "q" :
[tmpfs]$ sed -n '/21622010039/p' plop 21622010039|14|
Par contre sur un autre fichier la commande "p;q" marche bien :
[tmpfs]$ cat list.db toto 0123456789 tata 0555555555 titi 0677775555 tutu 0123456789 tete 0123456789 bobo 0555555555 baba 0987654321 bibi 0555555555 bubu 0123456789 [tmpfs]$ sed -n '/01/p;q' list.db toto 0123456789 [tmpfs]$Je ne comprends pas ;-(((((
Désolé ;-(
Vous n’avez pas trouvé la réponse que vous recherchez ?
Posez votre question
Salut,
Avec perl (j'ai fait un doublon pour tester - voir en gras)
Avec perl (j'ai fait un doublon pour tester - voir en gras)
$ cat base 21621623335704|17| 21621623336802|17| 21621623351963|17| 21621623357067|17| 21621623373862|17| 21621623376968|17| 21621623390324|17| 21621623391903|17| 21622010039|14| 21622010039|14| 21622010077|16| 21622010191|36| 21622010275|16| 21622010352|16| 21622010405|18| 21622010547|14| 21622010664|37| 21622010692|17| 21622010709|36| 21622010720|17| 21622010737|17| 21622010822|37| 21622010944|36| 21622011017|14| $ perl -ne 'next unless /^(21622010039)/;print "ligne $. => $1\n"' base ligne 9 => 21622010039 ligne 10 => 21622010039 $ perl -ne 'next unless /^(21622010039)/;print "ligne $. => $1\n" and exit' base ligne 9 => 21622010039
Salut lami20j,
J'étais à 2 doigts de te demander une solution en Perl car apparemment avec "sed" ce n'est pas possible directement, à moins d'user de moulinettes contre productive ;-((
Merci ;-)
Sinon avec sed il faudrait connaitre au moins le contenu de la ligne suivante pour faire un truc du genre :
PS. Dommage quand même que le "grep -m 1" ne marche pas :
J'étais à 2 doigts de te demander une solution en Perl car apparemment avec "sed" ce n'est pas possible directement, à moins d'user de moulinettes contre productive ;-((
Merci ;-)
Sinon avec sed il faudrait connaitre au moins le contenu de la ligne suivante pour faire un truc du genre :
$ sed -n '/21622010077/q;/21622010039/p' plop 21622010039|14|Avec ça ça marche ;-))
PS. Dommage quand même que le "grep -m 1" ne marche pas :
$ grep -m 1 '21622010039' plop 21622010039|14|;-))
Re,
Et comme ça?!
Et comme ça?!
$ cat base 21621623335704|17| 21621623336802|17| 21621623351963|17| 21621623357067|17| 21621623373862|17| 21621623376968|17| 21621623390324|17| 21621623391903|17| 21622010039|14| 21622010039|14| 21622010077|16| 21622010191|36| 21622010275|16| 21622010352|16| 21622010405|18| 21622010547|14| 21622010664|37| 21622010692|17| 21622010709|36| 21622010720|17| 21622010737|17| 21622010822|37| 21622010944|36| 21622011017|14| $ while read ligne;do echo $ligne|grep 21622010039 && break;done <base 21622010039|14|
Salut,
Avec shell + grep
En perl
Avec shell + grep
while read ligne;do echo $ligne|grep -o 21622010039 && break;done <base
En perl
perl -ne 'next unless /^(21622010039)/;print "$1\n" and exit' base
hello
et avec awk
awk '/21622010039/ {print $0;exit} < fichier
et avec awk
awk '/21622010039/ {print $0;exit} < fichier
ok ça marche mnt sauf que si je mets ma commande dans un script :
la commande marche mais ça me sort toujours la 1ere ligne du fichier base
base :
msisdn.txt :
bizarre !!!
cat msisdn.txt | while read MSISDN do echo $MSISDN result=`perl -ne 'next unless /^$MSISDN/;print and exit' base` echo $result done
la commande marche mais ça me sort toujours la 1ere ligne du fichier base
base :
21622010039|14| 21622010077|16| 21622010191|36| 21622010275|16| 21622010352|16| 21622010405|18| 21622010547|14| 21622010664|37| 21622010692|17| 21622010709|36| 21622010720|17|
msisdn.txt :
21622010405 21622010664
bizarre !!!
Re,
Mais je ne comprends pas ce que tu veux.
Comment ça la 1ère ligne?!
Il faut que tu exécutes le script est affiche ici le résultat.
Il faudra aussi que tu affiches ce que tu veux obtenir.
En réalité, tu as posé une question pour un cas particulier, mais il s'avère que le problème doit être traiter de façon globale.
On attends tes explications.
for MSISDN in $(cat msisdn.txt) do echo $MSISDN result=$(perl -ne 'next unless /^$MSISDN/;print and exit' base) echo $result done
Mais je ne comprends pas ce que tu veux.
Comment ça la 1ère ligne?!
Il faut que tu exécutes le script est affiche ici le résultat.
Il faudra aussi que tu affiches ce que tu veux obtenir.
En réalité, tu as posé une question pour un cas particulier, mais il s'avère que le problème doit être traiter de façon globale.
On attends tes explications.
ok. j'ai essayé le code que tu as mis. mais j'ai toujours le même résultat non attendu, à savoir :
==> la commande renvoie toujours la 1ere ligne du fichier base
alors que je veux avoir :
==> extraire les 1eres lignes relatives aux motifs que je recherche.
any idea please ?
merci
21622010405 21622010039|14| 21622010664 21622010039|14|
==> la commande renvoie toujours la 1ere ligne du fichier base
alors que je veux avoir :
21622010405 21622010405|18| 21622010664 21622010664|37|
==> extraire les 1eres lignes relatives aux motifs que je recherche.
any idea please ?
merci
Re,
Tu testes quoi en fait? L'affichage de ton résultat ne suffit pas.
Affiche le résultar de
Tu testes quoi en fait? L'affichage de ton résultat ne suffit pas.
Affiche le résultar de
for MSISDN in $(cat msisdn.txt);do echo $MSISDN;done
ok ça fonctionne mnt. j'ai juste remplacer les ' par les ". et bizarre ça marche mnt.
le pb c'est que la recherche est tjrs aussi lente.
je vais esaayer d'optimiser
le pb c'est que la recherche est tjrs aussi lente.
je vais esaayer d'optimiser
Re,
Il peut avoir un conflit entre une variable shell et perl (je n'ai pas moyens de tester)
Essaie plutôt (je n'ai pas testé)
Il peut avoir un conflit entre une variable shell et perl (je n'ai pas moyens de tester)
Essaie plutôt (je n'ai pas testé)
for MSISDN in $(cat msisdn.txt)
do
echo $MSISDN
while read ligne
do
echo $ligne|grep $MSISDN && break
done < base
done
j'ai essayé avec sed.
ça me renvoie pas d'erreur sauf que ça ne me renvoie rien du tt.
sed -n '/MOTIF/p;q' File
alors que si je fais sed -n '/MOTIF/p' File --> ça me renvoie une ligne.
aurais-tu une idée? est ce qu'il faut forcer l'affichage?