Problème de formatage de date avec awk strftime Fermé

Question

Bonjour, 

Je travail avec la version 20 de Mint.

Voici ma ligne de commande :
awk -F"," '{ print strftime("%Y-%m-%d %H:%M:00 ",$1),$2,$3 }' TestDate.txt
où  $1 correspond à :  '01-Jun-18 12:00:00 AM EDT'.

Le résultat de la commande donne : 1969-12-31 19:00:00  pour tous les enregistrements de mon fichier. Si j'utilise systime() à la place de $1 ça marche.

Pourtant avec la commande date le système reconnaît cette date : 01-Jun-18 12:00:00 AM EDT, et je peux passer au format 24h. Ce qui est mon objectif car windows 10 avec Excel ne reconnait pas ce format de date 01-Jun-18 12:00:00 AM EDT.

Avez-vous une idée pour résoudre ce problème.

Merci

mamiemando · Answer

Bonjour,

Je pense que tu confonds :

 strftime (qui convertit un timestamp en une chaîne de caractère)
 strptime (qui existe en python mais qui ne semble pas exister en awk), qui fait l'opération contraire (ce qui signifie que ce que tu cherches à faire est bien plus simple à réaliser en python qu'en awk).

Dans le code que tu as reporté $1 n'est pas un timestamp conforme au format utilisé par systime() et attendu par strftime, ce qui explique pourquoi ce dernier ne retrouve pas ses billes.

Il faut donc procéder en deux temps, comme expliqué dans ce lien : d'abord extraire les éléments de la date afin de construire un timestamp bien formé avec mktime, puis utiliser ce timestamp avec strftime.

Bonne chance

dplourde512 · Answer

Merci pour votre réponse.

Il faut que je vous dise qu'en fait j'utilise gawk qui je pense gère strftime. Comme je suis qu'un dédutant, ça va me prendre un peu de temps  pour  faire mes test.

Merci encore.

mamiemando · Answer

Bonjour,

Est-ce qu'une solution écrite python pourrait te convenir ? Parce qu'en awk ça se fait mais il faut passer par une expression rationnelle, extraire les bons bouts, faire un mktime puis un strftime ce qui est un peu rébarbatif...

Bonne chance

dplourde512 · Answer

J'aimerais bien voir le code Python que je connais peu.
Comme je suis au Québec, il se peut qu'il y ai des délais entre les questions et réponses.
Le véritable format de mes date c'est '01-Jun-19 12:00:00 AM EDT' ou EST.

Merci.

mamiemando · Answer

Bonjour

Script minimal

 toto.py

#!/usr/bin/env python3

import datetime

s_in = "01-Jun-18 11:22:33 PM EDT"
format_in = "%d-%b-%y %I:%M:%S %p EDT"
format_out = "%Y-%m-%d %H:%M:%S"
s_out = datetime.datetime.strptime(s_in, format_in).strftime(format_out)
print(s_out)

Note que dans format_in, l'heure est chargée avec %I et %p (format AM/PM). Il est important d'utiliser %I et non %H considérerait que l'heure va de 0 à 23. Pour format_out c'est le contraire, on veut une heure qui va de 0 à 23 et donc on utilise bien %H.

Exécution :

python3 toto.py

Résultat :

2018-06-01 23:22:33

Script avec un fichier

toto.py

#!/usr/bin/env python3

import datetime, sys

def translate_date(s_in):
    format_in = "%d-%b-%y %I:%M:%S %p EDT"
    format_out = "%Y-%m-%d %H:%M:%S"
    return datetime.datetime.strptime(s_in, format_in).strftime(format_out)

with open(sys.argv[1]) as f:
    for line in f.readlines():
        try:
            print(translate_date(line.strip()))
        except Exception as e:
            print(e, file=sys.stderr)

toto.txt

01-Jun-18 11:22:33 PM EDT02-Feb-19 11:33:55 AM EDT29-Deb-20 9:17:47 PM EDT

Exécution

python3 toto.py toto.txt

Résultat

2018-06-01 23:22:332019-02-02 11:33:552020-12-29 21:17:47

Bonne chance

dplourde512 · Answer

J'ai ça comme résultat avec gawk :

gawk -F, '  {    split($1,a,/[-: ]/);    ts = sprintf("%4d %02d %02d %2d %2d %2d", a[3], a[2], a[1], a[7] ~ /^[Pp]/ ? a[4]+12 : a[4], a[5], a[6]);     MaDate = strftime("%Y-%m-%d %H:%M:%S", mktime(ts))  }   {print MaDate ,$2,$3}' TestDate.txt

Mais il y a un problème avec  ~ /^[Pp]/ ? a[4]+12 parce que le résultat me donne 12 heure pour minuit et 00 pour midi. Je vais avoir besoin d'une exception.

comme ceci :
2018-06-01 11:30:00 20.8 54.82018-06-01 11:45:00 20.9 55.52018-06-02 00:00:00 21 562018-06-02 00:15:00 21 55.82018-06-02 00:30:00 20.9 55.52018-06-02 00:45:00 20.9 55.52018-06-01 13:00:00 20.8 55.42018-06-01 13:15:00 20.8 55.3
Donc j'ai ma date avec l'heure, la température et l'humidité.

Je suis très comptant de voir votre script. Je vais l'étudier très attentivement.

Un gros merci pour votre disponibilité. Si vous avez le temps de regarder ma commande gawk cela me ferais grand plaisir.

dplourde512 · Answer

Pourquoi deux fois datetime.datetime. dans le code Python?

dplourde512 · Answer

Savez-vous s'il y a une limite de taille de fichier (ex: 96000 lignes) avec gawk ?

dplourde512 · Answer

Dabord merci,

Quel éditeur utilisez-vous avec Python ?

De plus, je suis impressionné par votre disponibilté, c'est presqu'un cours privé.

Pour ma part, j'ai terminé mon scrit gawk le voici.

awk -F, '  {gsub(/-Jan-/, "-01-"); gsub(/-Feb-/, "-02-"); gsub(/-Mar-/, "-03-"); gsub(/-Apr-/, "-04-"); gsub(/-May-/, "-05-"); gsub(/-Jun-/, "-06-"); gsub(/-Jul-/, "-07-"); gsub(/-Aug-/, "-08-"); gsub(/-Sep-/, "-09-"); gsub(/-Oct-/, "-10-"); gsub(/-Nov-/, "-11-"); gsub(/-Dec-/, "-12-")}  {    split($1,a,/[-: ]/);    ts = sprintf("%4d %02d %02d %2d %2d %2d", a[3]~ /[0-9][0-9]/ ? a[3]+2000: a[3], a[2], a[1], a[7] ~ /^[Pp]/ ? a[4]+12 : a[4], a[5], a[6]);     MaDate = strftime("%Y-%m-%d %H:%M:%S", mktime(ts))  }   {print MaDate ,$2,$3}' HighWall2020.csv | gawk ' { gsub(/\s12:/, " 25:"); gsub(/\s00/, " 12") ;gsub(/\s25:/, " 00:") } { print $1,$2"	"$3"	"$4}' | tee Nom.txt

dplourde512 · Answer

Jusqu'à présent je suis arrivé à traiter un fichier de 32000 lignes.

J'ai essayé différents éditeurs, et le plus complet pour moi est bpython, qui tourne dans un terminal (vérification de syntaxe, autocomplétion).

Problème de formatage de date avec awk strftime

10 réponses

Discussions similaires