linux bash shell extraction de chaine Résolu/Fermé

Question

Bonjour, Je tente de developper un outil pour parser les logs postfix, je fais d'abord un cat $D_LOGS/$v_fich | grep "status=bounced" > bounces.tmp qui me permet de ne traiter que les bounces, le but est d'écrire un fichier CSV à importer en bdd avec les champs : nom_serveur, email, domaine, cause_bounce, date_badmail un exemple de ligne du log est Aug 20 08:57:00 serveurname postfix/smtp[1965]: 732DBD4C867: to=, relay=smtp.wanadoo.fr[193.252.22.78]:25, delay=0.1, delays=0.04/0/0.03/0.03, dsn=5.0.0, status=bounced (host smtp.wanadoo.fr[193.252.22.78] said: 550 : Recipient address rejected: User unknown (in reply to RCPT TO command)) Mon premier jet étais avec la commande sed sous la forme : sed '/@/!d;s/^$.*$'$(hostname)'.*<$.*@$.*$$>.*bounced$.*$$/'$(hostname)'|\2|\3|\4|\1/' bounces.tmp >>$(hostname).csv cependant, impossible d'obtenir une date correcte car l'année ne figure pas dans les logs et le format est un peu arbitraire ... ne pouvant facilement bricoler la date, j'ai changé mon fusil d'épaule en utilisant : while IFS=$' ' read mois jour heure serveur process id destinataire relay delay delays dsn status infos do echo -e " mois : $mois \n\ jour : $jour \n\ heure : $heure \n\ serveur : $serveur \n\ process : $process \n\ id : $id \n\ destinataire : $destinataire \n\ relay : $relay \n\ delay : $delay \n\ delays : $delays \n\ dsn : $dsn \n\ status : $status \n\ infos : $infos \n"; done < bounces.tmp cependant, le champ destinataire est alors de la forme : to=, et pas seulement le mail ... J'ai essayer de faire une fonction extract avec 3 paramètres, le premier la chaine, le second la chaine de debut (ici <) le troisième la chaine de fin (ici >) mais ça ne fonctionne pas ... : extract() { local str deb fin temp str="${1:-''}" deb="${2:-'<'}" fin="${3:-'>'}" $temp = echo ${str#*$deb} $temp2 = echo ${temp%*$fin} return $temp2 } Merci de me venir en aide soit en améliorant le sed pour pouvoir ajouter l'année (soit en cours soit l'année de création du fichier de log), soit en réussissant la fonction de découpe de chaine avec délimiteurs ... A moins que vous n'ayez d'autre idées ????? En vous remerciant Stéphane

jipicy · Answer

Salut, Une idée peut être...$ cat fich Aug 20 08:57:00 serveurname postfix/smtp[1965]: 732DBD4C867: to=, relay=smtp.wanadoo.fr[193.252.22.78]:25, delay=0.1, delays=0.04/0/0.03/0.03, dsn=5.0.0, status=bounced (host smtp.wanadoo.fr[193.252.22.78] said: 550 : Recipient address rejected: User unknown (in reply to RCPT TO command)) $ awk '{ print $4","$7$12","$1,$2,$3 }' fich | sed 's/to=//' serveurname,toto.toto@wanadoo.fr,status=bounced,Aug 20 08:57:00:-))

sbouli · Answer

Hello,

Incroyable, quand je pense que je rame depuis perpette la dessus ...

Si je pouvais abuser ... comment avoir plutot : 

serveur_name,email,domaine,cause,date_heure

serveur_name = ça c'est déjà ok
email = ça c'est déjà ok
domaine = extraction du domaine du mail ... (à partir de @)
cause = tout ce qui suit status=bounced
date_heure = au format DD/MM/YYYY HH:MM:SS ou YYYYMMDD HHMMSS

Moi je sature sur toutes ces commandes à 8000 attributs et autre expression régulières qui se chevauchent ....

Au secours ....

Stéphane

sbouli · Answer

Euuu encore moi, suis toujours dessus ... 

J'essais de mettre en place un tableau associatif pour changer le mois par son numéro exemple Aug devient 08

J'ai trouvé cette doc (ici : http://www.c-sait.net/cours/bash.php ) 





Pour créer un tableau en n'utilisant pas les indices par défaut, on utilisera la syntaxe suivante : 

> tableau2=([clé0]=valeur0 [clé1]=valeur1 [clé2]=valeur2)
 
Où les clés peuvent être n'importe quelles chaînes de caractères. A un tableau créé avec les index numériques par défaut, on peut très bien ajouter un élément dont la clé est une chaîne de caractères. 





Donc je fais : 





Mois=(["Jan"]="01" ["Fev"]="02" ["Aug"]="08" ["Sep"]="09" ["Oct"]="10");

ou 

Mois=([Jan]="01" [Fev]="02" [Aug]="08" [Sep]="09" [Oct]="10");



et j'obtiens TOUJOURS : 

echo "numéro du mois ${Mois[Aug]}" 
>numéro de mois 10

echo "numéro du mois ${Mois['Aug']}" 
>numéro de mois 10


...GRRR....

jipicy · Answer

Tiens essayes ça :[tmpfs]$ cat fich Aug 20 08:57:00 serveurname postfix/smtp[1965]: 732DBD4C867: to=, relay=smtp.wanadoo.fr[193.252.22.78]:25, delay=0.1, delays=0.04/0/0.03/0.03, dsn=5.0.0, status=bounced (host smtp.wanadoo.fr[193.252.22.78] said: 550 : Recipient address rejected: User unknown (in reply to RCPT TO command)) Aug 22 09:57:00 monserveur postfix/smtp[1965]: 732DBD4C867: to=, relay=smtp.free.fr[193.252.22.78]:25, delay=0.1, delays=0.04/0/0.03/0.03, dsn=5.0.0, status=bounced (host smtp.free.fr[193.252.22.78] said: 550 : Recipient address rejected: User unknown (in reply to RCPT TO command)) [tmpfs]$ cat foo.sh #! /bin/bash while read line do cause=$(awk -F"(" '{ print "("$2"("$3 }' <<<$line) DATE=$(awk '{ print $1,$2,$3 }' <<<$line) NEW_DATE=$(date --date="${DATE}" '+%d/%m/%Y %H:%M:%S') NEW_line=$(awk '{ print $4","$7$12"," }' <<<$line | sed 's/to=//') sed "s|$.*@$$[^,]*$$.*$|\1\2,\2,${cause},${NEW_DATE}|" <<<$NEW_line done < fich [tmpfs]$ ./foo.sh serveurname,toto.toto@wanadoo.fr,wanadoo.fr,(host smtp.wanadoo.fr[193.252.22.78] said: 550 : Recipient address rejected: User unknown (in reply to RCPT TO command)),20/08/2008 08:57:00 monserveur,titi.titi@free.fr,free.fr,(host smtp.free.fr[193.252.22.78] said: 550 : Recipient address rejected: User unknown (in reply to RCPT TO command)),22/08/2008 09:57:00 [tmpfs]$ ;-))

sbouli · Answer

tu es incroyable ... je bataille depuis des jours ....

MERCI !!

Stéphane

Linux bash shell extraction de chaine

5 réponses

Discussions similaires