Convertir colonne en ligne et formatage de la ligne.
Résolu
Bonjour,
J'ai des lignes du type
... que j'aimerais le convertir en
... avec un programe bash.
Merci pour votre aide. ;-)
J'ai des lignes du type
SLA1;VM1
SLA2; VM2
SLA1;VM3
SLA2; VM4
SLA1:VM5
... que j'aimerais le convertir en
SLA1; "VM1","VM3","VM5"
SLA2;"VM2","VM4"
... avec un programe bash.
Merci pour votre aide. ;-)
1 réponse
-
Bonjour,
Ce que tu cherches à faire est ce qu'on appelle typiquement en base de donnée ungroup by
. Dans ton cas les éléments groupés sont concaténés mais tu peux imaginer n'importe quelle opération d'agrégation en général (somme, moyenne, etc...). Pour faire ungroup by
en shell tu peux passer par une commande commeawk
.- Cette discussion montre comment sommer les éléments agrégés, il suffit donc de l'adapter légèrement.
- Cette discussion montre comment les concaténer. La différence majeure est qu'on teste si la clé existe dans le tableau intermédiaire, car par défaut awk considère que les valeurs stockées sont des valeurs numériques (or ici, tu veux une chaîne de caractères).
Enfin, pour éviter d'avoir des espaces qui traîne, on remplace$1
(la clé) et$2
(la valeur à ajouter à la concaténation) à l'aide de gsub, comme expliqué dans cette discussion.
On obtient donc ceci :
$ awk 'BEGIN { FS = ";"; } { gsub(/^[ \t]+/, "", $1); gsub(/^[ \t]+/, "", $2); if (a[$1]) { a[$1] = a[$1] ";" $2; } else { a[$1] = $2; } } END {for (i in a) { print i ":" a[i]; } }' toto.csv
SLA1:VM1;VM3;VM5
SLA2:VM2;VM4
Voici une manière plus lisible d'obtenir le même résultat, en passant par un script awk.
toto.csv
SLA1;VM1
SLA2; VM2
SLA1;VM3
SLA2; VM4
SLA1;VM5
toto.awk
BEGIN { FS = ";"; } { gsub(/^[ \t]+/, "", $1); gsub(/^[ \t]+/, "", $2); if (a[$1]) { a[$1] = a[$1] ";" $2; } else { a[$1] = $2; } } END { for (i in a) { print i ":" a[i]; } }
awk -f toto.awk toto.csv
Quelques explications :- le bloc
BEGIN
initialise la variableFS
qui enawk
, permet de préciser quel caractère sépare les colonnes (;
danstoto.csv
) - le bloc suivant se déclenche à chaque ligne lue.
$0
correspond à la ligne complète$i
correspond à la i-ème colonne. Avecgsub
on supprime tous les espaces (voir cours sur les expressions rationnelles) - Ensuite, on regarde si la clé
$1
existe ou non dans le tableaua
qui va être utilisé comme un dictionnaire clé / valeur. Cela donne l'opportunité de copier la chaîne associé à la seconde colonne (dans leelse
) ou de la concaténer dansa[$1]
. - Le bloc
END
est déclenché une fois le fichier complètement parcouru. On itère sura
pour générer le résultat écrit retourné parawk
.
Bonne chance-
Merci beaucoup, ça fonctionne. j'ai juste modifié le séparateur pour que ça corresponde à mon besoin.
awk 'BEGIN { FS = ";"; } { gsub(/^[ \t]+/, "", $1); gsub(/^[ \t]+/, "", $2); if (a[$1]) { a[$1] = a[$1] "," $2; } else { a[$1] = $2; } } END {for (i in a) { print i ";" a[i]; } }' SLA_VM_capifrfe8001.intranatixis.com_106073.txt
Y a-t-il un moyen pour la sortie des VMs soit entre double quote?
soit SLA1; "VM1","VM3","VM5"- Alors de manière générale on évite d'intervenir sur le fichier de données car il peut être lui même issu d'un programme pour lequel tu n'auras pas envie d'apporter à chaque fois des modifications manuelles. Dans ton cas si tu as compris mes explications tu as dû voir que le texte était généré dans le bloc
END
que tu peux aisément adapter comme suit :
BEGIN { FS = ";" } { gsub(/^[ \t]+/, "", $1); gsub(/^[ \t]+/, "", $2); if (a[$1]) { a[$1] = a[$1] ";" "\"" $2 "\"" } else { a[$1] = "\"" $2 "\"" } } END { for (i in a) { print i ":" a[i] } }