Groupement de données à partir d'un CSV sur python

Bonjour,

Réponse courte : fais comme dit yg_be dans #5 ce qui ressemble au final à ceci :

dispatch.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import csv
from io import StringIO

def dispatch_csv(input_data: iter, key_columns: tuple, delimiter: str = ";"):
    map_group_file = dict()
    reader = csv.reader(input_data, delimiter=delimiter)
    for row in reader:
        print(row)
        group = tuple(row[i] for i in key_columns)
        f_out = map_group_file.get(group)
        if f_out is None:
            filename = "_".join(group) + ".csv"
            map_group_file[group] = f_out = open(filename, "w")
        if f_out:
            print(delimiter.join(row), file=f_out)
    for f_out in map_group_file.values():
        f_out.close()

key_columns = (2,) # La colonne 3 sert de clé

# Avec un fichier d'entrée CSV
#with open("test.csv") as f_in:
#    dispatch_csv(f_in, key_columns, ";")

# Avec une chaîne de caractères
input_csv = """74a6a0a2a;info1;Groupe1
e2646926e;info2;Groupe2
7d72c9d9e;info3;Groupe1
568t12d55;info4;Groupe1
t47110dr5;info5;Groupe2"""

dispatch_csv(StringIO(input_csv), key_columns, delimiter=";")

Exemple :

(mando@silk) (~) $ python3 dispatch.py

(mando@silk) (~) $ cat Groupe1.csv 
74a6a0a2a;info1;Groupe1
7d72c9d9e;info3;Groupe1
568t12d55;info4;Groupe1

(mando@silk) (~) $ cat Groupe2.csv 
e2646926e;info2;Groupe2
t47110dr5;info5;Groupe2

Réponse détaillée

Tout d'abord pas besoin de ML et de K-means. J'invite d'ailleurs à toujours réfléchir avant d'envisager du ML car ce sont des algorithmes souvent très énergivores, pas toujours adaptés, et souvent appliqués sur des cas d'usages qui n'en ont pas le besoin (c'est ton cas).

Pour traiter ton problème, il y a plusieurs manières de faire :

Concernant la lecture du fichier, tu peux :

• lire le fichier ligne par ligne, faire un split sur le séparateur du csv (voir #3)
• utiliser le module csv (voir #4)
• utiliser pandas.read_csv (mais ça c'est dans les grands jours, pandas c'est l'artillerie lourde)

Concernant la formation des groupes (sous réserve qu'on veuille en faire, voir plus bas) :

• utiliser un dictionnaire si la donnée dans la colonne est hashable (c'est le cas des entiers et des chaînes de caractères). Si tu considères plusieurs colonnes pour former tes agrégat, tu peux rassembler les valeurs impliquées dans un tuple (mais pas dans une liste un ou un set car ils ne sont pas hashable)
• utiliser pandas.groupby (mais ça c'est dans les grands jours, pandas c'est l'artillerie lourde, mince je l'ai déjà dit)

Concernant l'écriture des csv deux stratégies :

• Sans agrégat : on lit chaque ligne et on les dispatche vers le bon fichier en fonction de la colonne (ou les colonnes) permettant de déterminer le groupe.
  • écrire les différents fichiers en les ouvrant / fermant chaque fois que le besoin s'en fait sentir. Ce n'est pas terrible comme le souligne à juste titre yg_be dans #5.
  • écrire les différents fichiers en les ouvrant de manière opportuniste, sans les fermer (ce qui impose d'utiliser open sans "with", car le contextmanager correspondant ferme le descripteur de fichier quand on quitte le with) pendant toute le traitement du fichier, et les fermer tous une fois le fichier d'entrée complètement lu
• Avec agrégat :
  • Une fois les agrégats constitués après avoir lu le fichier d'entrée intégralement, créer un fichier par agrégat en y écrivant les valeurs concernées

La méthode d'yg_be reste la meilleure pour de gros volume de données, car elle évite de maintenir une structure d'agrégat en mémoire pendant la lecture du fichier. En terme d'entrée sortie elle minimise les ouvertures / fermetures de fichier. Elle force en contrepartie à maintenir un dictionnaire qui à chaque identifiant d'agrégat associe un descripteur de fichier.

Bonne chance

bonjour,

Quels moyens as-tu envisagé?

Salut, un dictionnaire convient à faire cela.

.

En partant de ton texte.

.

text = '''
74a6a0a2a;info1;Groupe1
e2646926e;info2;Groupe2
7d72c9d9e;info3;Groupe1
568t12d55;info4;Groupe1
t47110dr5;info5;Groupe2
'''

groups = {}
for line in text.strip().splitlines():
   rows = line.split(';')
   try:
      groups[rows[2]].append(tuple(rows[0:2]))
   except KeyError:
      groups[rows[2]] = [(tuple(rows[0:2]))]

from pprint import pprint
pprint(groups)

.

Il te faut l'adapter à la lecture de ton csv, ce qui n'est pas bien difficile.

Puis ensuite, il te faudra écrire tes nouveaux csv avec pour nom de fichier, les clés du dict, et pour contenu les valeurs. Cela ne devrait pas être très difficile à réaliser.