Aide traitement données fichier texte (détection mot, séparation données...)

Question

Bonjour, 

Je vous écris car j'aurais besoin d'aide sur ma mission. J'ouvre un fichier txt et je dois afficher certaines données. J'en ai 4 particulière
J'arrive  l'ouvrir et l'afficher en entier.

Mon objectif : 
1) pouvoir afficher les données après le mot "Mesures" j'utiliser un for, ca marche au premier test mais lors des autres "Mesures" dans mon fichier txt, ils sont affichés sur l'invite python

2) Mes données sont classées en :

"
Frequence Max
Frequence Min
Sweeptime

Mesures :

Data Fréquence
Date dB
Data Fréquence
Data dB
.
.
."

L'objectif serait d'avoir à l'aide du 1) de les dispatcher avec un mot me permettant d'afficher la data juste après ("fréquence Max :" 25000) ou juste en dessous
("Mesures"
12.045
25000
)

Par la suite je dois les incorporer dans une IHM en PyQt mais cette étape je sais comment la réaliser.
J'ai besoin de conseils sur le traitement des données de ficher, pouvoir dispatcher les données, les traiter comme je désire etc...

Voici mon code : 

self.name, _filtre = QtWidgets.QFileDialog.getOpenFileName(self.centralwidget)        chaine = "Mesures"        with open(self.name, "r") \                as t:            for lines in t:                if chaine in lines:                    # m = chaine + 1                    content = t.read()                    # data = t.readlines()[chaine. + 1]                    print(content)

Une image du type de ficher txt :

Je vous remercie pour votre temps et votre aide, je reste à disposition pour d'autres infos si je n'ai pas bien expliquer mon problème

Alexis

Phil_1857 · Answer

Bonjour,

L'indentation étant importante en Python, merci de copier/coller ici ton code complet avec les balises de code
mode d'emploi:
https://codes-sources.commentcamarche.net/faq/11288-les-balises-de-code

Visuellement, ça doit ressembler à ceci (avec la coloration syntaxique) :

def test():
    print('test')

test()


C'est marrant, ça ressemble à une question posée sur un autre forum ......   :-)

vortex · Answer

Bonsoir,

Je ne comprends pas, AlexM31, où se situe ton problème.

Tu dis n'avoir aucun problème à incorporer ton bazar à ton ihm, mais tu dis dans ton 1) que tu as un problème d'affichage, en utilisant un simple print, c'est paradoxal ce que tu dis.

On ne sait pas vraiment comment est structuré ton fichier, a-t-il un format standard connu ? Ou c'est un truc non standard ? Si  format à l'emporte pièces, il faudra peut-être utiliser une ou plusieurs expressions régulières pour récupérer ce dont tu as besoin pour bosser.

Bref, difficile de déterminer ce qui te pose souci.

Utilisateur anonyme · Answer

Bonjour 

Tu connais les expressions régulières (regex ?) ça pourrait répondre à ton besoin.

Utilisateur anonyme · Answer

Oui et non, ça pourrait directement extraire les données que tu cherches.
Peux tu poster un bout de fichier représentatif sur un service comme cjoint par exemple.

vortex · Answer

Bof, j'aime bien les regex, mais ça n'aide pas à se creuser un peu les méninges pour faire ça dans une boucle et comment gérer la lecture des lignes du fichier en fonction de où on en est.

Mais soit.

import re

mesures = []
keys = ('frequences', 'amplitudes')
with open('KHynoznLzfC_test-test-test.txt') as f:
    content = f.read()

for m in re.finditer('Mesures
+((?:-?\d+\.\d+
)+)', content):
    mesures.append({k:[] for k in keys})
    for i, v in enumerate(m[1].splitlines()):
        mesures[-1][keys[i % 2]].append(float(v.strip()))

# Vérifications quelconques
print(mesures[0]['frequences'][0:5])
print(mesures[0]['amplitudes'][0:5])

Utilisateur anonyme · Answer

Je pensais plutôt traiter le fichier d'un coup avec une substitution la regex serait
[^M]*M?esures

(-?\d+\.\d+)
(-?\d+\.\d+)
(-?\d+\.\d+)[^M]*
avec l'option multiline désactivée et la substitution pourrait être
Mesures;Type 1 = \1; Type 2 = \2; Type 3 = \3


L'idée est de faire matcher tout le texte avec les 3 valeurs qu'on veut extraire dans un groupe.
Et à la place écrire le texte qu'on veut avec le contenu des groupes.
Voici l'exemple  https://regex101.com/r/DCyLq7/3

Je ne code pas en python, sauf de temps à autre pour le forum sur un éditeur en ligne.
J'essayerai de mettre ça en musique si AlexM31 pense que ça correspond à ce qu'il recherche

Utilisateur anonyme · Answer

J'ai essayé ça import re #texte contient tout le texte du fichier patern = r"[^M]*M?esures (-?\d+\.\d+) (-?\d+\.\d+) (-?\d+\.\d+)[^M]*" substitution = "Mesures;Type 1 = \g<1>; Type 2 = \g<2>; Type 3 = \g<3> " print(re.sub(patern,substitution,texte, flags = re.M)) sur un éditeur en ligne (pour lui les groupes doivent s'appeler \g<1> \g<2> etc...) et ça marche La variable texte contient tout le texte du fichier exemple sur cjoint Je l'ai rempli de cette façon texte = """2021-08-03 11:29:55.176783 0.0 20000.0 20000.0 3.0 3.0 20000000000000.0 +20 0.0 Mesures .... """

AlexM31 · Answer

Salut Whismeril et vortex.

Merci pour l'explication sur les regex, c'est très utile. J'ai testé ton code, qui fonctionne très bien. Le soucis, serait que mes 2 données principale : les 461 frequences et 461 amplitude soit dans une liste.
Ca me permettrait de remplir facilement un QTableWidget à base d'un for de range 461. 
Les 3 groupes sont traités en même temps dans une seule variable, ce qui peut être contraignant sur comment derrière les dispatcher
(Si je me trompe, à me corriger)

Le code de Vortex : 

import re

mesures = []
keys = ('frequences', 'amplitudes')
with open('test_test_test.txt') as f:
    content = f.read()

for m in re.finditer('Mesures
+((?:-?\d+\.\d+
)+)', content):
    mesures.append({k:[] for k in keys})
    for i, v in enumerate(m[1].splitlines()):
        mesures[-1][keys[i % 2]].append(float(v.strip()))

# Vérifications quelconques
freq = mesures[0]['frequences'][0:461]#indice premiere liste mesure
print(freq)
print(mesures[1]['amplitudes'][0:922])

me classe par liste. 
J'aimerais savoir si mesures = [] je pourrais créer 2 listes ? qui aurait chacune leur data.

J'avais en tête de passer également par un for pour cette partie 
freq = mesures[0]['frequences'][0:461]#indice premiere liste mesure
print(freq)
print(mesures[1]['amplitudes'][0:922])

Me permettrait de renseigner dans mesures[XXX] et dans frequence [XXX], amplitude [XXX] aucune precision de longueur
Je sais combien j'ai de tests ici, 3, donc je peux varier la range 
 frequence [0:461], frequence [0:922], frequence [0:1383]
amplitude[0:461], amplitude [0:922] , amplitude [0:1383]

Si j'ai 40 tests, pour "automatiser" mettre par exemple 

for fichier_total in XXX:
      frequence[fichiertotal]

Serait ce une bonne idée ? et est ce possible surtout ?

AlexM31 · Answer

Bonjour, après une analyse du code, j'ai compris le fonctionnement. 
Le premier for for m in re.finditer('Mesures
+((?:-?\d+\.\d+
)+)', content):
    mesures.append({k:[] for k in keys})
    for i, v in enumerate(m[1].splitlines()):  #i = nombres de lignes apres"Mesures", v = valeur de la ligne i
        mesures[-1][keys[i % 2]].append(float(v.strip()))

Me permet de détecter après "Mesures" les données et leurs lignes

Pour le code des fréquences for dic in mesures:
    for v in dic['frequences']:
        print(v)
Cela me sort en sorti les valeurs "d'amplitude" également



J'ai l'idée de rajouter un code liant 461 mesures à la suite par 2 fois et recommencer. 
Pourriez-vous m'expliquer comment créer une liste qui s'incrémente de 461 valeurs et qui s'efface qvp 
J'ai pensé à la remplir par un append(valeur) et la stopper à 461

tri =[]
        #print tri[freq]
for dic in mesures:
     for amp in dic['amplitudes']:
         print(amp)
         for m in range(461):
              #affiche toutes les amplitudes
         #print(type(amp))
             tri[m].append(float(amp))

AlexM31 · Answer

Bonjour vortex,

il n'est pas question de compréhension. Ici dic['amplitudes'] me retourne les valeurs des amplitudes ET des fréquences.

J'ai fait 2 for avec dic['amplitudes'] et ['frequences'] puis j'en ai enlevé un pour visualiser 1 seule donnée. Et j'ai eu les 2 types de mesures.

Aide traitement données fichier texte (détection mot, séparation données...)

10 réponses

Discussions similaires

Newsletters