copier 100 lignes d un fichierRésolu/Fermé

Question

Bonjour,
j ai un fichier qui contient un trés grand nombre de lignes, mon objectif c'est de copier 100 lignes à partir de la ligne numéro 105(ligne soulignée), et les mettre dans un tableau pour effectuer des calculs sur les colonnes.
voici un extrai de mon fichier:
<
.
.
.
Peak search ovs window (l,p):      	16 , 16
Oversampling factor:               	32
Number_of_correlation_windows:     	100
Number 	posL 	posP 	offsetL offsetP	correlation
   0  8452  2842    390.00     -2.62   0.16
   1  8452  3133    332.94     36.75   0.15
   2  8452  3425    370.31     26.56   0.12
   3  8452  3716    375.16     38.09   0.13
   4  8751  2939    390.97     15.22   0.14
   5  8751  3230    389.44      8.16   0.18
   6  8751  3522    355.34     40.38   0.09
   7  8751  3813    360.94      8.81   0.19
   8  9051  3036    361.91      9.31   0.24
   9  9051  3327    346.34    -20.34   0.16
  10  9051  3619    347.28     31.03   0.13
  11  9350  2842    362.06      8.88   0.29
  12  9350  3133    360.81      8.31   0.14
  13  9350  3424    332.69    -22.91   0.14
  14  9350  3716    347.25    -20.75   0.15
  15  9650  2939    361.69      9.06   0.47
  16  9650  3230    361.62      8.59   0.34 
.
.
.>
guelqu'un peut m aider???

merci d avance;

CYG

jipicy · Answer

Salut,sed -n '105,+100 p' fichier;-))

CYG · Answer

ça marche pour les affichées, et pour les coller dans un tableau pour faire des calculs mathématiques sur les colonnes, vous avez une idée?????

merci d avance,
CYG

jipicy · Answer

Ben tout dépend du programme devant réceptionner les valeurs (formatage en sortie).

Sinon, une simple redirection dans un fichier texte :sed -n '105,+100 w fichier_sortie' fichier_entrée;-))

jipicy · Answer

Expliques-nous exactement (avec des exemples concrets) ce que tu veux en sortie par rapport à ton exemple initial !!!

Tu veux le résultat dans un fichier avec la somme de chaque colonne en bas ? La somme que de certaines colonnes ? Le tout dans le même fichier ? etc.

bob031 · Answer

Salut,

Si on a bien compris il y a plusieurs fichiers disséminés dans plusieurs répertoires et avec la même structure : celle-ci :

0 8452 2842 390.00 -2.62 0.16
1 8452 3133 332.94 36.75 0.15
2 8452 3425 370.31 26.56 0.12
3 8452 3716 375.16 38.09 0.13
4 8751 2939 390.97 15.22 0.14
5 8751 3230 389.44 8.16 0.18
6 8751 3522 355.34 40.38 0.09
7 8751 3813 360.94 8.81 0.19 

et le but du jeu est pour chaque fichier de récupérer certaines lignes et les coller dans un fichier sortie (qui aura la même structure ????? celle-ci ???? :
0 8452 2842 390.00 -2.62 0.16
1 8452 3133 332.94 36.75 0.15
2 8452 3425 370.31 26.56 0.12

et à partir de ce fichier sortie : faire des calculs sur les données récupérées.


exact ??

jipicy · Answer

Re-

Bon à mon avis l'outil dont tu as besoin c'est "awk" (Perl aussi devrait faire l'affaire, mais je connais pas du tout).

Donc pour commencer, des liens :
https://www.grymoire.com/Unix/Awk.html
http://www.salemioche.net/gawk.php
https://pubs.opengroup.org/onlinepubs/009695399/utilities/awk.html
http://www.student.northpark.edu/pemente/awk/awk1line.txt

Et un aperçu des possibilités en prenant comme exemple le fichier cité plus haut et sa sortie générée par "sed" (au passage il faut transformer le séparateur décimal (le point) par une virgule), ce qui nous donne par rapport à la syntaxe du post #3 :sed -n '105,+100 s/\./,/gp' fichier.txt > fichierEt ensuite sur le fichier obtenu appliqué le filtre awk, pour par exemple obtenir le total de la colonne 4 et sa moyenne :awk '{ sum +=$5; moy = (sum / NR) } END { printf "Total :% g 
Moyenne :% g 
",sum,moy }' fichier
Total : 182,53
Moyenne : 10,7371Bon courage ;-))

bob031 · Answer

ouaips ! 

... et numsum alors ? il semble presque parfait pour ce genre de "petit" travail !

à titre indicatif :
le paquetage de num-utils c'est ici : http://suso.suso.org/programs/num-utils/
le manpage ici : http://suso.suso.org/programs/num-utils/man1/numsum.html

jipicy · Answer

J'avions vu, mais impossible de mettre la main sur le paquet (utils...) sur Mandriva.

En plus comme notre ami "CYG" bosse sur du cygwin, et s'il faut compiler, autant oublié, non ? ;-)

bob031 · Answer

"impossible de mettre la main sur le paquet (utils...) sur Mandriva." 
pourtant je l'avais installé sur la mandriva (j'avais retrouvé le lien, voir post<3> : http://www.commentcamarche.net/forum/affich 4060658 aide script tres simple

peut-être l'ai-je installé en tar.gz ....me souviens plus (c'est bien loin tout ça : 16 novembre 2007).


"En plus comme notre ami "CYG" bosse sur du cygwin,"

comme je ne connais pas, je ne sais pas ce qu'on peut faire avec ...donc !  :-)

:-))

ps : je vois plus le mode italique depuis un certain temps, c'est normal ou est-ce mon navigateur ...voir moi ?

lami20j · Answer

Salut,

pour recuperer les lignes de 105 + 100find /repertoire -name 'fichier*.txt' -exec perl -ne 'print if 105 .. 205' {} \; > resultatmais je pense que je peux faire tout d'un coup, récupération et les calculs

lami20j · Answer

je vais voir ça plus tard
je suis encore au boulot

lami20j · Answer

Salut,

par exemple pour calculer la moyenne pour les colonnes 4 et 5 (j'ai pris la 1ère colonne comme numéro de ligne)
root@debian:~/trash# cat fic
0 8452 2844 180.88 22.81 0.09
1 8452 3137 180.62 2.28 0.14
2 8452 3430 149.66 -1.84 0.30
3 8452 3724 180.62 -28.81 0.15
4 8760 2942 118.56 -18.09 0.12
5 8760 3235 173.00 28.62 0.12
6 8760 3528 149.59 -1.97 0.17
7 8760 3821 149.75 -1.88 0.44
8 9067 3039 157.84 2.12 0.18
9 9067 3333 134.97 -5.31 0.17
10 9067 3626 149.50 -1.75 0.48
11 9375 2844 137.22 -0.03 0.13
12 9375 3137 179.19 9.19 0.14
13 9375 3430 149.38 -1.91 0.47
14 9375 3723 153.91 -19.97 0.10
15 9682 2942 125.97 26.34 0.17
root@debian:~/trash# cat cyg.pl
#!/usr/bin/perl
use strict; use warnings;

open F,"fic"
  or die "E/S : $!
";

my ($c4,$c5,$l);
while(<F>){
  my @tmp=split /\s+/,$_;
  $c4 += $tmp[4];
  $c5 += $tmp[5];
  $l = $.;
}
printf "moyenne colonne 4 = %.2f
",$c4 / $l;
printf "moyenne colonne 5 = %.2f
",$c5 / $l;
__END__
root@debian:~/trash# perl cyg.pl
moyenne colonne 4 = 0.61
moyenne colonne 5 = 0.21

lami20j · Answer

bien sûr que j'ai des idées ;-)
je vais regarder ce soir

CYG · Answer

merci jipicy;
mais j ai petit probléme quand j introduit ton script dans la fenêtre de cygwin


<cat script.awk {sum1 +=$4; moy1 =(sum1/NR) 
  sum2 +=$5; moy2 =(sum2/NR)}{ecart1 = (sqrt(((sum1-moy1)^2)/NR)) 
 ecart2 =(sqrt(((sum2-moy2)^2)/NR))} END {printf "		%s		%s		%s
","total","Moyenne","Ecart type" 
 printf "col4:	% .2f	% .2f		% .2f
",sum1,moy1,ecart1 
 printf "col5:	% 8.2f	% .2f		% .2f
",sum2,moy2,ecart2}>

bash: syntax error near unexpected token '('

merci d avance

CYG

jipicy · Answer

Re-

Il faut créer un fichier nommé "script.awk" (ou comme tu veux) et y mettre ça dedans :{
sum1 +=$4; moy1 = (sum1 / NR)
sum2 +=$5; moy2 = (sum2 / NR)
}
{
ecart1 = (sqrt(((sum1-moy1)^2)/NR))
ecart2 = (sqrt(((sum2-moy2)^2)/NR))
}

END {
printf "		%s		%s		%s
"," Total","Moyenne","Ecart type"
printf "Colonne 4 :	% .2f	% .2f		% .2f
",sum1,moy1,ecart1
printf "Colonne 5 :	% 8.2f	% .2f		% .2f
",sum2,moy2,ecart2
}Puis appelé le script de cette façon :awk -f script.awk fichier_&_traiter;-))

jipicy · Answer

Affiche ton fichier à traiter avec la commande suivante :cat -A fichier_a_traiter;-)

jipicy · Answer

Bon alors que renvoie la commande :sed -n '$=' fichier_a_traiter???

jipicy · Answer

Ben c'est que tu as 17 lignes dans ton fichier ;-(( Tu dois avoir une ligne vide en fin de fichier, c'est pour ça qu'il serait bien de pouvoir copier/coller le résultat de la commande "cat -A fichier" ici même entre les balises : < code > et < /code > sans les espaces entre les chevrons pour voir les caractères non-imprimable de ton fichier...

jipicy · Answer

Ben tu surlignes avec la souris le résultat de la commande "cat -A fichier", tu fais un :

=> clic-droit => copier (ou CTRL C au clavier)
tu viens ensuite ici, puis :
=> clic-droit => coller (ou CTRL V au clavier)

jipicy · Answer

Et "CTRL A" + "CTRL C" ça marche pas non plus ?

CYG · Answer

Oupps ça marche pas

merci d avance   

CYG

CYG · Answer

bonjour,

merci jipicy pour l aide, pour le moment la premiére partie du probléme est résolue, il me reste la deuxiéme, dont l objectif est , aprés calculer la moyenne et l'ecart type, de la 4éme et la 5éme colonne, je dois faire le test sur chaque valeur de la colonne 4 et 5, le test est comme suit:
 * si abs(val4 - moyenne4)<ecart type 4 remplacer valeur de la colonne 6 par 0.01
 * si abs(val5 - moyenne4)<ecart type 5 remplacer valeur de la colonne 6 par 0.01

aprés les modifications, je dois copier les 100 lignes et les coller dans leurs ancien fichier(mise à jour du fichier du départ).

quelqu'un peut m'aider??

merci d avance

CYG

CYG · Answer

salut, 

j ai vérifier votre(jipicy) formule d écart type, ça donne pas le résultat voulu,

la formule d'ecart type et:

Ecart type= sqrt((&#931;(val4-moy4)^2)/(nb de ligne - 1))
&#931;: la somme des (chaque valeur de la colonne 4 - moyenne 4)

merci d avance;

CYG

jipicy · Answer

j ai vérifier votre(jipicy) formule d écart type, ça donne pas le résultat voulu, 
Ben tu corriges et tu adaptes !

Il serait peut être temps que tu y mettes un peu du tien, non ?

lami20j · Answer

Salut, lami20j@debian:~/trash$ cat cyg2.pl #!/usr/bin/perl use strict;use warnings; my($c3,$c4,$m4,$m5,$n,$e1,$e2); open F,"fic" or die "E/S : $! "; while(){ next if /^\s*$/; my @col=(split /\s+/,$_)[3,4]; $c3+=$col[0]; $c4+=$col[1]; ++$n; } $m4=$c3/$n; $m5=$c4/$n; $e1=sqrt((($c3-$m4)^2) / $n); $e2=sqrt((($c4-$m5)^2) / $n); printf " %s %s %s "," Total","Moyenne","Ecart type"; printf "Colonne 4 : % .2f % .2f % .2f ",$c3,$m4,$e1; printf "Colonne 5 : % 8.2f % .2f % .2f ",$c4,$m5,$e2; close F; open F,"fic" or die "E/S : $! "; while(){ my @col=(split /\s+/,$_)[3,4]; s/(.*)\s+\d.*/$1 0.1/ if (abs($col[0] - $m4) < $e1) || (abs($col[1] - $m5) < $e2); print; } close F; __END__ lami20j@debian:~/trash$Le fichierlami20j@debian:~/trash$ cat fic 0 8452 2844 180.88 22.81 0.09 1 8452 3137 180.62 2.28 0.14 2 8452 3430 149.66 -1.84 0.30 3 8452 3724 180.62 -28.81 0.15 4 8760 2942 118.56 -18.09 0.12 5 8760 3235 173.00 28.62 0.12 6 8760 3528 149.59 -1.97 0.17 7 8760 3821 149.75 -1.88 0.44 8 9067 3039 157.84 2.12 0.18 9 9067 3333 134.97 -5.31 0.17 10 9067 3626 149.50 -1.75 0.48 11 9375 2844 137.22 -0.03 0.13 12 9375 3137 179.19 9.19 0.14 13 9375 3430 149.38 -1.91 0.47 14 9375 3723 153.91 -19.97 0.10 15 9682 2942 125.97 26.34 0.17 Le testlami20j@debian:~/trash$ perl cyg2.pl Total Moyenne Ecart type Colonne 4 : 2470.66 154.42 12.04 Colonne 5 : 9.80 0.61 0.83 0 8452 2844 180.88 22.81 0.09 1 8452 3137 180.62 2.28 0.14 2 8452 3430 149.66 -1.84 0.1 3 8452 3724 180.62 -28.81 0.15 4 8760 2942 118.56 -18.09 0.12 5 8760 3235 173.00 28.62 0.12 6 8760 3528 149.59 -1.97 0.1 7 8760 3821 149.75 -1.88 0.1 8 9067 3039 157.84 2.12 0.1 9 9067 3333 134.97 -5.31 0.17 10 9067 3626 149.50 -1.75 0.1 11 9375 2844 137.22 -0.03 0.1 12 9375 3137 179.19 9.19 0.14 13 9375 3430 149.38 -1.91 0.1 14 9375 3723 153.91 -19.97 0.1 15 9682 2942 125.97 26.34 0.17

lami20j · Answer

Salut,

vaut peut être mieux de garder le fichier d'origine que tu pourras supprimer après
donc on va diriger le résultat dans un nouveau fichier qu'on l'appelera fic_ecart par exemple

1ère méthode - en utilisant la rédirection de shell

perl cyg.pl > fic_ecart

2ème méthode - ouverture d'un handle en écriture vers fic_ecart

#!/usr/bin/perl
use strict;use warnings;

my($c3,$c4,$m4,$m5,$n,$e1,$e2);

open ECRIRE,">fic_ecart" or die "E/S : $!\n";
open F,"fic" or die "E/S : $!\n";
while(<F>){
  next if /^\s*$/;
  my @col=(split /\s+/,$_)[3,4];
  $c3+=$col[0];
  $c4+=$col[1];
  ++$n;
}
$m4=$c3/$n;
$m5=$c4/$n;
$e1=sqrt((($c3-$m4)^2) / $n);
$e2=sqrt((($c4-$m5)^2) / $n);

printf ECRIRE "\t\t%s\t\t%s\t\t%s\n"," Total","Moyenne","Ecart type";
printf ECRIRE "Colonne 4 :\t% .2f\t% .2f\t\t% .2f\n",$c3,$m4,$e1;
printf ECRIRE "Colonne 5 :\t% 8.2f\t% .2f\t\t% .2f\n\n",$c4,$m5,$e2;
close F;

open F,"fic" or die "E/S : $!\n";
while(<F>){
  my @col=(split /\s+/,$_)[3,4];
  s/(.*)\s+\d.*/$1 0.1/ if (abs($col[0] - $m4) < $e1)
                         ||
                         (abs($col[1] - $m5) < $e2);
  print ECRIRE;
}

close F;
__END__

Copier 100 lignes d un fichier

26 réponses

Discussions similaires

Newsletters