modifier un fichier texte avec awk en bash... (Mac) Résolu

Question

Bonjour, pour la réalisation d'un frontend pour MAME SDL au format Mac, en projo flash local, je cherche à modifier les fichiers de sorties de MAME en bash avec sed...

Mon fichier listfull.txt  (mame -listfull > listfull.txt) en sortie de MAME se présente ainsi (le nombre d'espaces, remplacés ici par des _ pour une lecture plus proche de la réalité, entre les noms et les descriptions varient, mais le premier " est toujours le 19e charactere de la ligne...) :

Name:_____________Description:
005_______________"005"
10yard____________"10-Yard Fight (World, set 1)"
10yard85__________"10-Yard Fight '85 (US, Taito license)"
10yardj___________"10-Yard Fight (Japan)"

Mon but est de transformer donc ces lignes en :

cmd00001="005";
butt00001="005";
cmd00002="10yard";
butt00002="10-Yard Fight (World, set 1)";
cmd00003="10yard85";
butt00003="10-Yard Fight '85 (US, Taito license)";
etc...

De manière à pouvoir les injecter sous forme de variables dans Flash...
Et franchement, j'avoue avoir de sérieuses lacunes, balbutiant en bash et surtout découvrant sed, qui me semble être la bonne voie pour atteindre mon but...

D'avance merci, toutes aides, explications, solutions (voir autre methode*) seront les bienvenues...
* pas de php, uniquement qu'en bash, mon projet étant un frontend local et étant de plus limité également par ce qu'accepte de lancer flash localement via un bouton...)

Sincèrement, MAMu_

dubcek · Answer

hello
je utiliserais awk plutôt que sed :
$ awk 'BEGIN{FIELDWIDTHS="18 99"} !/^Name/ {gsub(" ", "", $1); printf "cmd%05d=%s;
butt%05d=%s;
", ++n, $1, n, $2}' listfull.txt
cmd00001=005;
butt00001="005";
cmd00002=10yard;
butt00002="10-Yard Fight (World, set 1)";
cmd00003=10yard85;
butt00003="10-Yard Fight '85 (US, Taito license)";
cmd00004=10yardj;
butt00004="10-Yard Fight (Japan)";
$

totof31 · Answer

Salut,
awk est plus indiqué en effet, ne serait-ce que pour le formatage des nombres et la numérotation. Mais voici tout de même une possibilité de résolution avec sed :

sed -n '/"/{=;p;}' listfull.txt | sed -n '{N;s/\n/ /;p;}' | sed 's/$^[^ ]*$ $[^ ]*$ *$.*$$/cmd\1="\2";\nbutt\1=\3;/'

Ca peut probablement se simplifier...

zipe31 · Answer

Salut,

Une solution en bash :

$ cat plop    # Le fichier de départ
005               "005"
10yard            "10-Yard Fight (World, set 1)"
10yard85          "10-Yard Fight '85 (US, Taito license)"
10yardj           "10-Yard Fight (Japan)"

$ ./foo.sh    # L'exécution du script

$ cat bar    # Le fichier en sortie
cmd00001="005";
butt00001="005";
cmd00002="10yard";
butt00002="10-Yard Fight (World, set 1)";
cmd00003="10yard85";
butt00003="10-Yard Fight '85 (US, Taito license)";
cmd00004="10yardj";
butt00004="10-Yard Fight (Japan)";

$ cat foo.sh    # Le script
#! /bin/bash

exec > bar
i=1

while read nom des
do
n=$(printf "%05d" ${i})
echo -e "cmd${n}=\"${nom}\";
butt${n}=${des};"
((i++))
done < plop

$

MAMu_ · Answer

Franchement... euh, je ne sais que dire... Vous êtes des dieux, vraiment... Moi qui m'attendait à avoir un début de solution d'ici quelques jours, je me retrouve avec une solution "presque" parfaite en moins d'une heure... et le bash s'execute à une vitesse impressionante...

Alors pourquoi le "presque" parfaite...? 

J'ai utilisé la méthode de dubcek, la toute dernière, que j'envoie dans un nouveau fichier texte à l'aide de > newlist.txt :
awk '!/^Name/ {x=substr($0,1 ,18); gsub(" ", "", x); printf "cmd%05d=%s;
butt%05d=%s;
", ++n, x, n, substr($0, 19)}' listfull.txt > newlist.txt

Le résultat est presque parfait, en effet il manque juste les guillemets pour la premiere variable :
cmd00001=005;
butt00001="005";

Cela devrait être :
cmd00001="005";
butt00001="005";

Mais franchement, vu votre rapidité, un enorme merci à tous sans exceptions, je vais pas chippoter et je vais essayer de rajouter ces guillemets par moi même :)

1000 merci :)

dubcek · Answer

santé ! après une petite bière, on trouve comment optimiser.
awk plus court :
awk -F '[ ]+"' '!/^Name/ {printf "cmd%05d=\"%s\";
butt%05d=\"%s;
", ++n, $1, n, $2}' listfull.txtouawk -F '[ ]+"' '!/^Name/ {printf "./config.bash %s;
", $1}' plop

MAMu_ · Answer

un grand merci dubcek, marche nickel... :)

Par contre et là je m'éloigne un peu du sujet... mais à peine...  Comme j'essaie de rendre mon Front end compatible PC et Mac, l'executable flash, ou l'app flash, ne changeant pas, je me suis penché sur gawk, l'equivalent de awk sur PC pour essayer d'obtenir les mêmes fichiers à l'identique... :/  et là courage... il me sort que "'" n'est pas accepté, j'ai beau essayer la commande -F pour la source, ca ne veut rien savoir... Bref, je galère (qui a dit encore une fois ^^?)

Donc si qqn est capable de me donner la concordance entre les deux lignes format bash :
awk '!/^Name/ {x=substr($0,1 ,18); gsub(" ", "", x); printf "cmd%05d=\"%s\";
butt%05d=%s;
", ++n, x, n, substr($0, 19)}' listfull.txt > variables.txt

et 

awk '!/^Name/ {x=substr($0,1 ,18); gsub(" ", "", x); printf "../config.bash %s
", x}' listfull.txt > CREATEALLBASH.bash
(ou la variante plus courte de dubcek qui me sort egalement des erreurs quand je la passe sous gawk...)

en utilisant gawk (ou awk, pas trop compris la difference, les deux étant fourni dans le bin de gawk PC), franchement ca serait plus que bienvenue ^^

C'est clair que je pourrais fournir les fichiers mac légèrement modifié pour le PC... mais je préférerais qu'un utilisateur lambda, en lançant un batch sur PC, et ce quel que soit la nouvelle version de MAME, puisse obtenir de lui-même les fichiers dont mon Front-End a besoin... :/

Merci d'avance si qqn s'est déjà penché sur le sujet "awk>gawk"... :)

dubcek · Answer

awk ou gawk sur  PC en ligne de commande, c'est le bagne à cause des "  ' $ et autres, utiliser un fichier de commande, fonctionne partout: 
awk  -f fichier.txt  listfull.txt > variables.txt 
cat ou type fichier.txt 
!/^Name/ {x=substr($0,1 ,18); gsub(" ", "", x); printf "cmd%05d=\"%s\";
butt%05d=%s;
", ++n, x, n, substr($0, 19)}

MAMu_ · Answer

Puis-je encore abuser de votre temps et poser encore une question pour awk...? 

En gros voilà, tout marche bien comme prévu dans le developpement de mon FE, mais malheureusement le listfull.txt que je traite n'est pas assez complet pour recuperer toutes les données et variables dont j'ai besoin selon les choix de l'utilisateur... 

Donc je me suis tourné vers le MAME -listXML qui lui me sort un fichier bien plus complet avec toutes les variables dont je pourrais avoir besoin, mais qui est le XML le plus barré que je connaisse ^^... 

Je l'ai regardé avec Advanced XML converter pour voir un peu son arborescence... et il est bien barbare... 


Ci joint le fichier XML en sortie de MAME... : 
http://zemamu.free.fr/listfull.xml.zip 

Exactement sur la même construction que la sortie de mon listfull.txt, je voudrais récupérer un fichier qui commencerait par : 

MAMEver="0.148u2 (Mar 19 2013)"; 

et ensuite viendraient mes variables à charger dans flash toujours avec le même système d'incrementation pour chaques entrées... (ici exemple 10yard, la 2e entrée...) 

name000002="10Yard"; 
sourcefile000002="m58.c"; 
ismechanical000002="yes"; 
cloneof000002="10yard"; 
description000002="10-Yard Fight (World, set 1)"; 
year000002="1983"; 
manufacturer000002="Irem"; 

//Les 2 lignes 'ismechanical="yes" et "cloneof" ne sont pas présentes à tous les coups, 
//elles ne sont pas là pour 10yard, mais comme il me les faut si elles sont présentes... 

type000002="raster"; 
rotate000002="0"; 
width000002="256"; 
height000002="224"; 
status000002="good"; 
emulation000002="good"; 
color000002="good"; 
sound000002="good"; 
graphic000002="good"; 

//Ces valeurs ci dessus sont vers la fin de chaque entrée 

Croyez vous que vous pourriez encore une fois me donner ce coup de main...? 
Ou au moins m'indiquer la voie pour traiter les 4/5 premieres lignes, et ensuite j'essaierai d'appliquer par moi-même... Mais c'est vraiment des lignes de commandes de barbare awk quand on découvre... ^^ 

Sincèrement, Aymeric...

dubcek · Answer

MAMu_ · Answer

j'aurais pas u l'exprimer aussi simplement et si court, mais c'est exactement ca :)

dubcek · Answer

essayer ce code $ cat a0.awk /", ""); print $2 c1 if($3 ~ /sourcefile/)print $3 c1 if($4 ~ /ismechanical|cloneof/)print $4 c1 if($5 ~ /ismechanical|cloneof/)print $5 c1} /||/ {split($0, t, "[<>]") print t[2] ns "=\"" t[3] "\"" c1} / variables.txt $ $ head -20 variables.txt name00001="005"; sourcefile00001="segag80r.c"; description00001="005"; year00001="1981"; manufacturer00001="Sega"; type00001="raster"; rotate00001="270"; width00001="256"; height00001="224"; status00001="imperfect"; emulation00001="good"; color00001="good"; sound00001="imperfect"; graphic00001="good"; name00002="10yard"; sourcefile00002="m58.c"; description00002="10-Yard Fight (World, set 1)"; year00002="1983"; manufacturer00002="Irem"; type00002="raster"; $

MAMu_ · Answer

Merci encore dubcek... :) marche parfaitement bien

dubcek · Answer

il y avait un bug, il manquait certains height = en fin de balise, ceci corrige et est plus dense: BEGIN {FS="[ >]+"; v="name=|sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c=";"} /||/ {split($0, t, "[<>]"); print t[2] ns "=\"" t[3] "\"" c}

MAMu_ · Answer

Mouarf j'avais même pas vu, merci beaucoup :)
En fait j'ai du changer et adapter légérement le code (l'ancien, je vais regarder le nouveau) pour que ce soit compatible 'variables' en chargement externe sous Flash... Mais pas de soucis, m'en suit sorti en repassant 2 fois à la moulinette awk et sed (comme quoi j'avance et je commence à comprendre) le fichier de sortie de ton code :)

Avant: 
var00001="aaaa";
var00002="bbbb";
var00003="cccc";
...

Maintenant:
var00001=aaaa&var00002=bbbb&var00003=cccc&...
pas besoin de guillemets (alors que dans Flash ils sont obligatoires, en chargement externe je les retrouvais dans mon champ texte, et le ";" plus passage à la ligne n'est pas reconnu en chargement externe, il faut direct un "&" et on passe de suite à la variable suivante... (Ca peut servir pour certains qui voudraient faire ce genre de manip variables declarées en externe > import en Flash)

Enfin, merci en tout cas, 1000 fois :)

MAMu_ · Answer

Je reviens à l'attaque... comme expliqué dans mon post précédent (désolé j'aurais du tester avant...) le fichier que je doit recuperer en sortie doit se présenter ainsi : var00001=aaaa&var00002=bbbb&var00003=cccc&... et non plus tout à la ligne avec ";" comme séparateur mais "&", et plus besoin de guillemets... Je fait donc une fois ton code awk éfféctué les opérations suivantes sur le fichier variables.txt obtenu : awk -f ext2.awk variables.txt > variables2.txt sed -i "s/\"//g" variables2.txt avec ext2.awk : BEGIN {ORS=""} {print} END {print " "} Je remplace donc tous les retours à la ligne ( ) par du vide... et sed me supprime donc tous les guillemets... (pour le & j'avais directement tapé dans ton ancien code en remplacant les ";" par "&", nickel...) J'obtiens donc le bon résultat, mais en plus d'étapes... :) Mais comme j'aime bien les trucs carrés, j'ai essayé de faire pareil mais uniquement avec ton code, soit en une seule étape... BEGIN {FS="[ >]+"; v="name=|sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c=";"} /||/ {split($0, t, "[<>]"); print t[2] ns "=\"" t[3] "\"" c} Bon sur la dernière ligne, enlever les guillemets \" à la fin, ok...: "=" t[3] "" c} ca m'enlève bien les guillemets pour les champs description, year, manufacturer... OK Pour afficher un & en fin de chaque lignes, je modifie sur la première ligne c=";" par c="&"... ca marche parfaitement... et voilà... Il me reste donc à réussir à enlever les guillemets pour tous les autres champs, et à réussir à supprimer les retours à la ligne... et je ne réussis pas... cela doit pourtant bien être faisable... Ton code avec mes modifs en l'état: BEGIN {FS="[ >]+"; v="name=|sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c="&"} {ORS=""} {print} END {print " "} /||/ {split($0, t, "[<>]"); print t[2] ns "=" t[3] "" c} Si tu vois comment réussir pour les guillemets restant et les retours lignes avec une commande awk compléte et non pas 2 awk et 1 sed comme je fait... volontiers ;) Merci d'avance...

dubcek · Answer

tout le fichier sur une seule ligne ou une ligne par balise <game name= ? 
et il y a des balise <description> et d'autres qui contiennent des &, ca peut être un problème, non ?

MAMu_ · Answer

Bien vu.. je viens de faire un test dans flash en chargeant la variable description00529=Panel & Variety Akamaru Q Jousyou Dont-R et en effet je ne charge que Panel... il faut donc modifier en amont tous les signes &amp, &lt, etc par and, <...
Bon je pense que plusieurs etapes vont donc quand même être indispensables...
Je vais faire plus de test ^^

Merci

dubcek · Answer

essaye caBEGIN {FS="[ >]+"; v="name=|sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c="&"} /||/ {gsub("%", "%%"); gsub("&", "and"); split($0, t, "[<>]"); printf t[2] ns "=" t[3] c} printf au lieu de print n'ajoute pas de gsub supprime les " % est traité comme format (par ex :%d) par printf, pas un double : %%

MAMu_ · Answer

pfff plus ca avance et plus je me retrouve face à des difficultés inattendues même si ca avance très vite grace à toi... : Je n'ai pas encore essayé ton code car le nouvel écueil se situe en amont à mon avis, avant la numérotation...: Je tire correctement toutes mes variables, et les affichent bien dans mon projet flash qui en analysent même certaines pour afficher des images au lieu de la valeur texte (ex logos manufacturer)... mais la liste des variables commençant par name, puis description (voir copie suivante après ta moulinette (pas modifié les retours à la lignes, ni les "< > & ' "), je n'obtiens pas les variables dans l'ordre alphabétique de (description), ce qui n'est pas top, mais dans l'ordre alphabétique des shorts names de fichiers (name...) Donc si je comprends bien... ma nouvelle moulinette que je vais essayer de faire par moi-même grace à toute ton aide et à tes dernieres indications, toujours en multipasse pour l'instant, plus simple pour apprendre... ^^ : il faudrait que je réussisse "avant numérotation"... 1) à faire une seule ligne pour chaque groupe de variables, chaque nouvelle ligne commencant par name=.... en modifiant ton awk, je doit pouvoir réussir à faire ca.. name=005;sourcefile=....description=.... 2) réussir à inverser dans chaque ligne le champ "name=" et le champ"description=... 3) faire un sort sur le fichier obtenu... 4) remettre la numérotation qui s'incremente à chaque nouvelle description= pour toutes les variables possibles de chaque ligne...* 5) remettre en une seule ligne... Je ne sais pas si réfléchir à haute voix sur le forum est accepté, mais je me suis dit que toute cette reflection : projet, problème, solution pourrait être utile pour d'autres... :) *peut être ce qui va être le plus difficile pour moi... :)

dubcek · Answer

pourquoi faire un sort sur le fichier ?
pour insérer un saut de ligne avant chaque name, je ferai, avec mon code:
/<game / {ns=sprintf("%05d", ++n); if(nl++)print ""}le test est pour éviter un 
 avant le premier name=

MAMu_ · Answer

pas tout suivi là... je vais essayer d'appliquer, ou mets tu ton 
/<game / {ns=sprintf("%05d", ++n); if(nl++)print ""}
dans ton code...

Pourquoi le sort...? pour, une fois le champ description en premier de chaque lignes, classer chaque ligne par ordre alphabetique (donc selon description et non plus short name name=)...
ensuite je remet mes numeros 00001 00002...
et je charge donc mes variables en n+1 dans flash dans l'ordre alphabetique de description et non plus name...

Non..?

dubcek · Answer

si je prends les 2 premières balises, tu les veux comment ?
name00001="005";
sourcefile00001="segag80r.c";
description00001="005";
year00001="1981";
manufacturer00001="Sega";
type00001="raster";
rotate00001="270";
width00001="256";
height00001="224";
status00001="imperfect";
emulation00001="good";
color00001="good";
sound00001="imperfect";
graphic00001="good";

name00002="10yard";
sourcefile00002="m58.c";
description00002="10-Yard Fight (World, set 1)";
year00002="1983";
manufacturer00002="Irem";
type00002="raster";
rotate00002="0";
width00002="256";
height00002="224";
status00002="good";
emulation00002="good";
color00002="good";
sound00002="good";
graphic00002="good";

MAMu_ · Answer

En fait je crois que ca devra être fait en plusieurs étapes :
au final, le fichier sera comme avant, cad tout sur une ligne à la suite, séparé par des & et sans les guillemets... mais en ayant auparavant inversé les champs name et description de maniere à ce que chaque groupe de variables commence par description, et en ayant avant la mise en forme finale mis chaque groupe par ordre alphabetique...

Je crois donc que la methode à suivre est la suivante :
1/chaque groupe sur une seule ligne à la suite sans les numéros (pour classer par ordre alphabetique plus tard en etape 3...) :
name=005&sourcefile=segag80r.c&description=005&...
name=10yard&sourcefile=m58.c&descrition=10-Yard Fight (World, set 1)&...

2/inverser pour chaque ligne les variables "name=xxxx" et "description=xxxx" de manière à ce que chaque ligne commence par la description...

3/faire un sort sur le fichier obtenu, tous mes groupes sont donc bien dans l'ordre alphabétique de "description"

4/remettre les numéros, supprimer le retour de ligne à la fin de chaque ligne...

dubcek · Answer

tu supprimes les No pour quand on trie : 
description00001="005"; 
description00002="10-Yard Fight (World, set 1)";il ne compte pas dans le tri ? 
mais on peut trier uniquement après le = 
tout sur UNE SEULE ligne ou une ligne par description/name ?

MAMu_ · Answer

oui mais comme c'est le numero qui place ma variable dans le frontend... il faut que je numerote une fois le tri effectué... enfin.. selon ma logique...

là je me retrouve avec :

name="005"&sourcefile="segag80r.c"&description="005"&year="1981"&manufacturer="Sega"&type="raster"&rotate="270"&width="256"&height="224"&status="imperfect"&emulation="good"&color="good"&sound="imperfect"&graphic="good"
name="10yard"&sourcefile="m58.c"&description="10-Yard Fight (World, set 1)"&year="1983"&manufacturer="Irem"&type="raster"&rotate="0"&width="256"&height="224"&status="good"&emulation="good"&color="good"&sound="good"&graphic="good"
name="10yard85"&sourcefile="m58.c"&cloneof="10yard"&description="10-Yard Fight '85 (US, Taito license)"&year="1985"&manufacturer="Irem (Taito license)"&type="raster"&rotate="0"&width="256"&height="224"&status="good"&emulation="good"&color="good"&sound="good"&graphic="good"
name="10yardj"&sourcefile="m58.c"&cloneof="10yard"&description="10-Yard Fight (Japan)"&year="1983"&manufacturer="Irem"&type="raster"&rotate="0"&width="256"&height="224"&status="good"&emulation="good"&color="good"&sound="good"&graphic="good"
name="11beat"&sourcefile="aleck64.c"&description="Eleven Beat"&year="1998"&manufacturer="Hudson"&type="raster"&rotate="0"&width="640"&height="240"&status="preliminary"&emulation="preliminary"&color="good"&sound="preliminary"&graphic="good"
name="18w"&sourcefile="mw18w.c"&ismechanical="yes"&description="18 Wheeler (set 1)"&year="1979"&manufacturer="Midway"&status="preliminary"&emulation="preliminary"&color="good"&sound="preliminary"&graphic="good"
name="18w2"&sourcefile="mw18w.c"&ismechanical="yes"&cloneof="18w"&description="18 Wheeler (set 2)"&year="1979"&manufacturer="Midway"&status="preliminary"&emulation="preliminary"&color="good"&sound="preliminary"&graphic="good"
name="18wheelr"&sourcefile="naomi.c"&description="18 Wheeler Deluxe (Rev A) (JPN)"&year="2000"&manufacturer="Sega"&type="raster"&rotate="0"&width="640"&height="480"&status="preliminary"&emulation="preliminary"&color="good"&sound="imperfect"&graphic="imperfect"
name="18wheels"&sourcefile="naomi.c"&cloneof="18wheelr"&description="18 Wheeler (Rev A) (JPN)"&year="2000"&manufacturer="Sega"&type="raster"&rotate="0"&width="640"&height="480"&status="preliminary"&emulation="preliminary"&color="good"&sound="imperfect"&graphic="imperfect"
name="1941"&sourcefile="cps1.c"&description="1941: Counter Attack (World 900227)"&year="1990"&manufacturer="Capcom"&type="raster"&rotate="270"&width="384"&height="224"&status="good"&emulation="good"&color="good"&sound="good"&graphic="good"
name="1941j"&sourcefile="cps1.c"&cloneof="1941"&description="1941: Counter Attack (Japan)"&year="1990"&manufacturer="Capcom"&type="raster"&rotate="270"&width="384"&height="224"&status="good"&emulation="good"&color="good"&sound="good"&graphic="good"
name="1941r1"&sourcefile="cps1.c"&cloneof="1941"&description="1941: Counter Attack (World)"&year="1990"&manufacturer="Capcom"&type="raster"&rotate="270"&width="384"&height="224"&status="good"&emulation="good"&color="good"&sound="good"&graphic="good"
name="1941u"&sourcefile="cps1.c"&cloneof="1941"&description="1941: Counter Attack (USA 900227)"&year="1990"&manufacturer="Capcom"&type="raster"&rotate="270"&width="384"&height="224"&status="good"&emulation="good"&color="good"&sound="good"&graphic="good"

soit chaque groupe de variables sur une ligne...
comment faire pour inverser dans chaque ligne name="valeur" avec description="valeur"...?

J'ai bien trouvé cette commande :
awk -F\; '{print $1";"$2";"$4";"$3";"$5}' le_fichier_a_traiter > nom_du_fichier_de_sortie 
mais comme le nombre de colonnes n'est pas fixe... ca ne peut pas marcher (ismechanical n'est pas tout le temps present par exemple...)

dubcek · Answer

essaye ça. $ awk -f f5.awk listfull.xml | sort -t '&' -k 1 | awk '{ns=sprintf("%05d", ++n); gsub("=", ns "="); print}' $ cat f5.awk BEGIN {FS="[ >]+"; v="name=|sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c="&"} // {gsub("%", "%%"); gsub("&", "and"); split($0, t, "[<>]"); printf t[2] ns "=" t[3] c name c} /|/ {gsub("%", "%%"); gsub("&", "and"); split($0, t, "[<>]"); printf t[2] ns "=" t[3] c} si c'est ce que tu veux, je simplifierai f5.awk

MAMu_ · Answer

... :/

Alors:
le fichier awk avec BEGIN {... c}, ok... (je l'ai appelé description.awk)
la commande awk -f description.awk listfull.xml > description.txt, ok

j'obtiens ligne par ligne sans numero, et bien avec Description en premier...

mais en dos, le sort -t '&' -k 1, que je le mette à la suite, ou seul, me met des messages d'erreur :

Fichier d'entrée spécifié deux fois.
''' n'est pas reconnu en tant que commande interne
ou externe, un programme exécutable ou un fichier de commandes.

Je le remplace simplement par sort description.txt > description2.txt
J'obtiens bien toutes les lignes triées par ordre alphabétique comme il faut... :)

Enfin, la deuxième commande awk (que je suis obligé de passer par un fichier externe -f num.awk)
ajoute bien l'incrementation pour chaque variables...

parfait... :) il suffit juste ensuite de faire sauter tous les retours à la ligne, et mon fichier est nickel...

pourrais tu m'expliquer dans description.awk avec quelle commande tu mets le champ description en debut de ligne...? que j'adapte pour d'autres ordres de tris... 

Merci :)

PS: ca te derange pas que je te cite dans les credits de mon frontend...? 
Parce que vraiment tu m'es d'une aide impressionante... :)

dubcek · Answer

ceci fonctionne sur DOS et Linux, mais sort DOS ne retourne pas la même chose que sort LinuxC:> awk -f f5.awk listfull.xml > z1 C:> sort z1 > z2 C:> awk -f f6.awk z2 > z3 ou C:> awk -f f5.awk listfull.xml | sort | awk -f f6.awk > z4 C:> type f5.awk BEGIN {FS="[ >]+"; v="sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c="&"} /||/ {gsub("\"", ""); gsub("%", "%%"); gsub("&", "and")} /||/ {na=""; if($0 ~ /descript/)na=name c; split($0, t, "[<>]"); printf t[2] "=" t[3] c na} C:> type f6.awk {gsub("%", "%%"); ns=sprintf("%05d", ++n); gsub("=", ns "="); printf $0}

MAMu_ · Answer

merci je vais tester ca direct :)

MAMu_ · Answer

pourrais tu m'expliquer dans f5.awk avec quelle ligne mets tu le champ "description" en premier...?

Que je puisse essayer de sortir plusieurs fichiers...

dubcek · Answer

je stocke le nom name=nom dans une variable name/||/ {na=""; if($0 ~ /descript/)na=name c; split($0, t, "[<>]"); printf t[2] "=" t[3] c na}

MAMu_ · Answer

dans le fichier obtenu, tous les champs sourcefile ont disparus en sortie... et peut être, voir surement, d'autres champs :/

avant mon variables3.txt obtenu faisait 8 Mo...
maintenant le fichier en sortie fait 2,8 Mo...

dubcek · Answer

juste essaye ca, corrigé f5.awk BEGIN {FS="[ >]+"; v="sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c="&"} /||/ {gsub("\"", ""); gsub("%", "%%"); gsub("&", "and")} /||/ {na=""; if($0 ~ /descript/)na=name c; split($0, t, "[<>]"); printf t[2] "=" t[3] c na}

MAMu_ · Answer

Mieux.. mais il doit encore manquer des champs... 
6Mo au lieu de 8...

pas facile de trouver lesquels au milieu de ce fichier :) ^^

je vais comparer avec l'ancien et je te dis...

MAMu_ · Answer

sourcefile, ismechanical, et cloneof sont les 3 grands absents ^^
Mes variables restent sur undefined...

dubcek · Answer

est-ce le bon f5.awk ? $ awk -f f5.awk listfull.xml | sort -f > a0 $ grep -c 'sourcefile' a0 28473 $ grep -c 'cloneof' a0 19696 $ grep -c 'ismechanical' a0 9066 $ $ awk -f f5.awk listfull.xml | sort -f | awk -f f6.awk > a00 $ grep -o 'sourcefile[0-9]*=' a00 | wc -l 28473 $ grep -o 'cloneof[0-9]*=' a00 | wc -l 19696 $ grep -o 'ismechanical[0-9]*=' a00 | wc -l 9066 $ $ cat f5.awk BEGIN {FS="[ >]+"; v="sourcefile=|ismechanical=|cloneof=|type=|rotate=|width=|height=|status=|emulation=|color=|sound=|graphic=" ; c="&"} /||/ {gsub("\"", ""); gsub("%", "%%"); gsub("&", "and")} /||/ {na=""; if($0 ~ /descript/)na=name c; split($0, t, "[<>]"); printf t[2] "=" t[3] c na}

MAMu_ · Answer

Merci, en effet il me manquait quelques lignes... ca marche parfaitement... :)
du moins je l'espere.. Mais à première vue tout est bon...

Merci :)

MAMu_ · Answer

tout marche impec, merci dubcek :)

pour le shortname (name=) (avec f5.awk) et le nom complet (description=) (avec sort)
, toutes mes variables sont bien recupérées dans mon flash et je les manipule sans problèmes..

Par contre j'ai toujours pas compris comment inverser des colonnes... :/

Car si maintenant et avant de passer au num.awk, j'ai besoin que le premier champ de chaques lignes de mon variables.txt soit l'année (year=), puis la description, name...

ou encore Manufacturer, puis la description si je veux classer par compagnies puis nom... etc...

J'ai beau essayé de modifier ton f5.awk, les deux fameuses lignes que tu m'as expliquée au moment de "swapper" description, pas moyen de creer d'autres ordres de tri sans tout casser... 

Désolé... :/

dubcek · Answer

à part description= qui s'affiche avant name=, le reste est dans l'ordre trouvé dans le fichier xml. Pour afficher les variables dans un ordre précis, il faudrait tout mettre dans un taleau au fur et à mesure, et afficher à la fin après la balise de fin

MAMu_ · Answer

bah en fait il me faudrait en plus des deux deja (ordre des short name (cad ordre xml), ordre alpha de la description(xml sort)), deux en plus :

un avec les lignes : 
year=XXXX&description=AAAAAA&name=....


et l'autre avec les lignes :
Manufacturer=YYYY, year=XXXX, description=AAAAAA...

sur lesquels je ferais des sorts...

dubcek · Answer

essayer ce code f5.awk l'odre des variables est celui de la variable v au début. à la place des print, on stocke dans un tableau, qu'on imprime à la fin de balise il suffit de changer cet ordre et de réexécuter BEGIN {FS="[ >]+"; v="year|description|name|manufacturer|sourcefile|ismechanical|cloneof|type|rotate|width|height|status|emulation|color|sound|graphic" ; c="&"} /||/ {gsub("\"", ""); gsub("%", "%%"); gsub("&", "and")} /]"); t[a[2]]=a[2] "=" a[3]} // {n=split(v, a, "[|=]"); for (m=1; m<=n; m++)if(t[a[m]])printf t[a[m]] c; print ""}

MAMu_ · Answer

ok je viens d'essayer, merci ca marche, je recupere donc un fichier en sortie equivalent à l'ancien, mais avec year, description, name en premier... "il suffit de changer cet ordre et de reexecuter..." ok :) mais je le change ou cet ordre...? je suppose avec la ligne : /||/ {split($0, a, "[<>]"); t[a[2]]=a[2] "=" a[3]} ...? mais je capte pas à quoi correspondent a2 et a3 sachant que dans l'ordre du code desc year manu, c'est a1 et a2 qui semblent pour moi être inversés lors de la sortie...

MAMu_ · Answer

mais sachant que mon fichier en sortie commence maintenant toujours par :
year, description, name, manufacturer et sourcefile qui sont tous mes champs de "sort" possible qui m'interessent (sachant que de base il est deja "sort" par name...)

j'ai essayé
BEGIN {OFS='&'} { print $2,$1,$3,$4;$5 }' < variables.txt > description.txt
mais même en passant par un fichier externe -f order.awk dans lequel j'ai :
BEGIN {OFS='&'} { print $2,$1,$3,$4,$5 }

et j'obtiens comment dire euh... ^^ enfin voila quoi :)

dubcek · Answer

MAMu_ · Answer

arf, trop bon ^^ merci

MAMu_ · Answer

Bon avec la méthode du tableau, il y a un bug que je viens de découvrir... :/

je me retrouve avec des "cloneof=mariner", ou autre, ou encore "ismechanical=yes" un peu partout là ou il ne devraient pas y être...

Manifestement, à premiere vue, c'est partout ou les variables ne sont pas definies, il doit garder en memoire lors du awk avec le tableau la valeur precedente si celle ci n'est pas présente sur la ligne, mais pas à tout les coups, vu que je garde des "ismechanical=undefined", c'est donc que sur certaines lignes, il garde bien le fait que la variable n'est pas definie... :/ zarbe...

A part forcer l'ajout à chaque ligne des variables ismechanical=no, cloneof=--, etc... si l'entrèe n'est pas presente et ce, juste avant de rentrer les variables en memoire avant de construire le tableau, ou ajouter des exceptions..., je ne vois pas comment faire...

d'ailleurs, meme si je "crois comprendre" d'ou vient le bug et que j'imagine comment réussir à le contourner, l'appliquer, c'est une autre histoire... :/

je crois que les variables possibles qui peuvent être non présentes sur chaque ligne et donc non définies, et donc qui peuvent engendrer le bug, sont : ismechanical, cloneof, type, rotate, width et height...

Dubcek, sincèrement désolé de te prendre encore la tête sur ce même problème... :/

PS: j'ai vérifié, avant la methode du tableau, le bug n'etait pas present et les variables non présentes sur chaque lignes m'affichaient bien "undefined" dans flash lors de l'import...

MAMu_ · Answer

peut etre en forcant la valeur des variables qui peuvent être non définies à "--" avant même d'analyser la ligne et de construire le tableau..? comme ca si la variable n'est pas definie sur une ligne, elle garde la valeur "--" et non pas la valeure de la ligne precedente, et si elle est definie, la valeur "--" serait automatiquement substituée par la bonne variable si celle ci est presente sur la ligne...

non...?

dubcek · Answer

ton analyse est correcte, j'ai donc rajouté un delete t pour que le tableau soit effacé à chaque debut de balise <game, ajouter cette ligne :
BEGIN...
/<game / {delete t}
/<game |<display |<driver / {for(f=2; f<=NF; f++)if($f ~ v){split($f, a, "="); t[a[1]]=$f}}
...

MAMu_ · Answer

Et là j'ai envie dé té dire "BENCO" :)

A l'air de marcher nickel ^^ je vais tout bien verifier, mais à premiere vue tout est parfait :) 

Toujours le même nombre de lignes, les undefined sont bien undefined... 

Encore une fois un grand merci à toi :)

MAMu_ · Answer

Désolé dubcek, je reviens une nouvelle fois vers toi... Mon code s'est bien agrandi et étoffé... cependant, lorsque je change l'ordre des valeurs dans f5.awk, par exemple v="name|description..." au lieu de v="description|name...", les fichiers obtenus n'ont plus la même taille à quelques octets près... Je suppose donc qu'il persiste une erreur quelques part... et c'est lors du num2.awk que j'ai légèrement modifié... donc errare humanum est, mais l'errare doit venir de moi ^^ Pour le verifier, j'ai créé deux fichier awk, f6 et f7.awk et je les applique l'un après l'autre toujours sur mame.xml en modifiant le nom en sortie...: Mon fichier batch (msdos) : echo Create listfull.xml mame -listxml > listfull.xml echo Extract variables.txt awk -f f7.awk listfull.xml > 0variables.txt awk -f f8.awk listfull.xml > 1variables.txt echo extract nbre de ligne echo mamenf= > mamenf.txt grep -c name= 0variables.txt >> mamenf.txt sed -i.BAK ":z;N;s/ //;bz" mamenf.txt sed -i "s/ //g" mamenf.txt sort 0variables.txt > a0 awk -f num2.awk a0 > 0variables.txt sed "" mamenf.txt >> 0variables.txt echo extract nbre de ligne echo mamenf= > mamenf.txt grep -c name= 1variables.txt >> mamenf.txt sed -i.BAK ":z;N;s/ //;bz" mamenf.txt sed -i "s/ //g" mamenf.txt sort 1variables.txt > a0 awk -f num2.awk a0 > 1variables.txt sed "" mamenf.txt >> 1variables.txt f7.awk : BEGIN {FS="[ >]+"; v="description|name|manufacturer|year|sourcefile|ismechanical|cloneof|type|rotate|width|height|status|emulation|color|sound|graphic" ; c="&"} /||/ {gsub("\"", ""); gsub("%", "%%"); gsub("&", "and")} /]"); t[a[2]]=a[2] "=" a[3]} // {n=split(v, a, "[|=]"); for (m=1; m<=n; m++)if(t[a[m]])printf t[a[m]] c; print ""} f8.awk : BEGIN {FS="[ >]+"; v="name|description|manufacturer|year|sourcefile|ismechanical|cloneof|type|rotate|width|height|status|emulation|color|sound|graphic" ; c="&"} /||/ {gsub("\"", ""); gsub("%", "%%"); gsub("&", "and")} /]"); t[a[2]]=a[2] "=" a[3]} // {n=split(v, a, "[|=]"); for (m=1; m<=n; m++)if(t[a[m]])printf t[a[m]] c; print ""} et enfin mon num2.awk : {gsub("%", "%%"); ns=sprintf(++n); gsub("=", ns "="); printf $0} (j'ai modifié ns=sprintf("%05d", ++n); par ns=sprintf(++n); car je n'ai plus besoin d'avoir des 00001,00002, etc... les fichiers en sortie se chargent donc plus rapidement car plus legers...) Donc aprés avoir lancé ceci j'obtiens : 0variables.txt 7893ko 1variables.txt 7884ko NB : si je mets une pause juste apres f7 et f8.awk, les fichiers ont bien la même taille... Il me semble donc evident que c'est lors du num2.awk qu'il y a une erreur... si je reprends le num.awk d'origine, les fichiers ont bien la même taille en sortie.... L'ajout de la ligne mamenf en fin de fichier étant identiques dans les deux cas... :/ Si tu as la moindre idée, ou qqn d'autre...

MAMu_ · Answer

Bon après m'être pris la tête, je pense en fait que le bug est.. qu'il n'y a pas de bug... ^^ C'est logique... la taille peut differer après la numerotation... justement car il n'y a plus les 0000... donc si une ligne avec beaucoup de variables etait en 10eme rangée avant le sort, mais qu'apres le sort elle se retrouve en 28000 position, sa ligne sera donc plus grande... donc le fichier sera forcemment plus lourd... CQFD... si j'avais gardé les "0000", chaque numerotation prendrait exactement le même nombre d'octets quelle que soit sa position.... :)

Modifier un fichier texte avec awk en bash... (Mac)

51 réponses

Discussions similaires

Newsletters