Phpmyadmin Import CSV avec controle d'entrée

Résolu
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   -  
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   -
Bonjour,

Voila je souhaiterais faire un script pour importer ma feuille csv

les premiers test d'import fonctionne bien

mon souci actuel et que :

le fichier csv comprend à l'instant t ceux-ci :
"2009-07-15";"15:22:90";"titi"

cependant à l'instant t2 il est comme ceux-ci :
"2009-07-15";"15:22:09";"titi"
"2009-07-15";"15:32:11";"tata"

cependant à l'instant t3 il est comme ceux-ci :
"2009-07-15";"15:22:09";"dors";"titi"
"2009-07-15";"15:32:11";"mange";"tata"
"2009-07-16";"17:32:11";"dors";"titi"

et je souhaiterais que mon fichier l'hors de l'import ne m'écrive pas deux fois la même ligne ?
qu'il y est en somme une vérification des entrés précédente avant l'ajout

Est ce possible ??
A voir également:

25 réponses

epoulos Messages postés 85 Date d'inscription   Statut Membre Dernière intervention   499
 
Bonjour,

Lance l'écriture dans le fichier à la fin du script. Ce qui te permettra de tester si ce n'est pas une entrée qui existe déjà. Entre temps, concatène les écritures dans une variable.

Cordialement,
epoulos
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
Je viens de lancer ma commande

LOAD DATA INFILE "/var/www/html/titi.csv" REPLACE INTO TABLE balance FIELDS TERMINATED BY ";";

mon souci est que avec cette commande unique il me rajoute toute la page directement cela signifie que j'ai des doublons

il y aune méthode simple pour éviter les doublons ou pas ?
0
epoulos Messages postés 85 Date d'inscription   Statut Membre Dernière intervention   499
 
Fais une requête au niveau de la base de données pour supprimer le doublon et non au niveau du php
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
Ce que tu me dit sa revien a vidé tout les champs et remettre les compteur à zéro pour réinséré le tout mais ceu que je souhaiterais c'est qu il n'ajoute que les champs non présent dans la table sachant que l'odre est toujours le meme

si il commence la table à 33 entré et que le fichier csv en à 100 il ajoutera les lignes de 34 à 100

tu vois ou je veu en venir ?
0

Vous n’avez pas trouvé la réponse que vous recherchez ?

Posez votre question
epoulos Messages postés 85 Date d'inscription   Statut Membre Dernière intervention   499
 
Je ne sais pas trop comment coder ça mais au niveau de la requête qui rempli la base, fait des tests avant écriture.
Je ne suis pas un spécialiste des bases de données dsl.
0
Zep3k!GnO Messages postés 2025 Date d'inscription   Statut Membre Dernière intervention   200
 
Je comprends pas tout, détail un peu plus, l'import tu le fais comment ?
Tu développes avec un laguage en particulier pour le faire ?
et qu'est ce que tu appelles "double" :
"2009-07-15";"15:22:09";"dors";"titi"
"2009-07-15";"15:32:11";"mange";"tata"
"2009-07-16";"17:32:11";"dors";"titi"

Je ne vois pas de doublons, a moins que tu n'importes quele couple "dors" et "titi" et que la date et l'heure c'est l'import qui le génère...

bref dis en + !
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
AAAAAA le big boss ça veu dire que le problème va vite avancer

donc voila je t explique j'ai une application qui génère un fichier csv qui est mis à jour toute les 5 minutes


ma table balance


Field°°°°Type°°°°°°°°°Collation°°°°°°°°Attributes°°Null°°Default°°°°Extra°°°°°°°°°°

ref°°°°°°int(11)°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°No°°°°°°°°°°°°°auto_increment
date°°°°date°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°No°°°°°°°°°°°°°°°°°°°°°°°°°°°°
temps°°time°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°No°°°°°°°°°°°°°°°°°°°°°°°°°°°°
action°°varchar(4)°°°°utf8_general_ci°°°°°°°°°°°°°°No°°°°°°°°°°°°°°°°°°°°°°°°°°°°
id°°°°°°varchar(200)°°utf8_general_ci°°°°°°°°°°°°°°No°°°°°°°°°°°°°°°°°°°°°°°°°°°°



"oups y avait un tit problème dans le fichier csv"


le fichier csv crée à 15h25 ceux-ci :
"";"2009-07-15";"15:22:90";"titi"

à 15h30 ceux-ci :
"";"2009-07-15";"15:22:09";"titi"
"";"2009-07-15";"15:28:11";"tata"

à 15h35 ceux-ci
"";"2009-07-15";"15:22:09";"dors";"titi"
"";"2009-07-15";"15:28:11";"mange";"tata"
"";"2009-07-16";"17:32:11";"dors";"titi"

le fichier csv se nomme tutu.csv oki ?


donc moi j'ai une commande que je lance dans sql comme tu ma expliqué
(pour revenir au problème antérieur de l'appli si tu te souvien)

l'orsque que je la lance à 15h30

LOAD DATA INFILE "/var/www/html/tutu.csv" REPLACE INTO TABLE balance FIELDS TERMINATED BY ";";

je n'ai pas de problème

je la relance à 15h40

LOAD DATA INFILE "/var/www/html/titi.csv" REPLACE INTO TABLE balance FIELDS TERMINATED BY ";";

pour mettre à jour ma base de donnée

voici le problème à cause de la référence auto incrémenté la je me retrouve avec des doublons sur la ligne date temps action id
0
Zep3k!GnO Messages postés 2025 Date d'inscription   Statut Membre Dernière intervention   200
 
Merci, merci, tant que ça, ça va me faire rougir et si j't'aide pas je vais passer pour un bidon :P

Si je comprend le truc il faudrait que dans ta BDD tu créé un index UNIQUE sur les 2 champs qui t'interessent : "temps" et "actions". Au moins le replace agirait correctment c'est a dire a faire un update et non un insert lorsqu'il identifie un enregistrement via ce "couple" unique...
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
mon souci et que je ne peu crée de champ unique sur le temps car si la date change et que l'action est faite au meme temps sa risque de posé problème non ?

et l'action il y en a que 2 possible

désolé une erreur dans l'explication du csv je recommence :
le fichier csv crée à 15h25 ceux-ci :
"";"2009-07-15";"15:22:90";"dors";"titi"

à 15h30 ceux-ci :
"";"2009-07-15";"15:22:09";"dors";"titi"
"";"2009-07-15";"15:28:11";mange";"tata"

à 15h35 ceux-ci
"";"2009-07-15";"15:22:09";"dors";"titi"
"";"2009-07-15";"15:28:11";"mange";"tata"
"";"2009-07-16";"17:32:11";"dors";"titi"

le fichier csv se nomme tutu.csv oki ?
0
Zep3k!GnO Messages postés 2025 Date d'inscription   Statut Membre Dernière intervention   200
 
mm dis moi c'est quoi pour toi dans ta BDD les champs qui forme un "enregistrement unique" car la je vois pas bien si c'ets ça la notion de doublons si tu prends en compte la date...
J'ai un peu de mal a cerner ton problème :S
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
Dans ma table :

ref°°°°°°int(11)°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°No°°°°°°°­°°°°°°auto_increment
date°°°°date°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°No°°°°°°°°­°°°°°°°°°°°°°°°°°°°°
temps°°time°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°No°°°°°°°°°­°°°°°°°°°°°°°°°°°°°
action°°varchar(4)°°°°utf8_general_ci°°°°°°°°°°°°°°No°°°°°°°­°°°°°°°°°°°°°°°°°°°°°
id°°°°°°varchar(200)°°utf8_general_ci°°°°°°°°°°°°°°No°°°°°°°­°°°°°°°°°°°°°°°°°°°°°


la colone ref est auto incrémenté et clé primaire
c'est pourquoi dans mon csv le premier champs est vide et qu'il a juste des guillemet

"";"2009-07-15";"15:22:09";"dors";"titi"

ensuite ba y a la date temps action id

donc si j'envoi mmon csv qui as
"";"2009-07-15";"15:22:09";"dors";"titi"
en lecture sql sa fera
1 2009-07-15 15:22:09 dors titi

mais si je renvoi mon csv avec
"";"2009-07-15";"15:22:09";"dors";"titi"
"";"2009-07-15";"15:28:11";mange";"tata"
en lecture sql sa feras
1 2009-07-15 15:22:09 dors titi
2 2009-07-15 15:22:09 dors titi
3 2009-07-15 15:28:11 mange tata

donc doublon entre la ligne 1 et 2

tu voi ou je veu en venir c'est pas simple à expliquer
0
Zep3k!GnO Messages postés 2025 Date d'inscription   Statut Membre Dernière intervention   200
 
Okay ! Je vois un peu mieux le souci ;)

Et un index unique sur "date temps action id" ?
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
je sais pas si sa peu marcher sachant que la date reste la meme chaque jour et pour tous et le temps revien en continue chaque jour et pour les action et les id et bien c'est a peu près pareil

tu crois que sa peu fonctionner ?
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
Je viens d'essayé en maitenan des index a tout le monde et sa marche pas snifffff
0
Zep3k!GnO Messages postés 2025 Date d'inscription   Statut Membre Dernière intervention   200
 
Quand tu dis tout le monde, t'as pas mis sur "ref" au moins ?
c'est sur tout sauf "ref"
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
BA SI TOUT LE MONDE KOI

oki je vai refaire ma table lol
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
re

désolé

sa ne fonctionne pas arfffff
0
Zep3k!GnO Messages postés 2025 Date d'inscription   Statut Membre Dernière intervention   200
 
Bingo !

Alors, essayes avec

LOAD DATA INFILE "/var/www/html/titi.csv" REPLACE INTO TABLE balance FIELDS TERMINATED BY ";" LINES TERMINATED BY '\r\n'

source : http://dev.mysql.com/doc/refman/5.0/fr/load-data.html
0
Zep3k!GnO Messages postés 2025 Date d'inscription   Statut Membre Dernière intervention   200
 
Dis moi si ça marche ;)
0
Christr Messages postés 319 Date d'inscription   Statut Membre Dernière intervention   46
 
et non désolé

sa ne rentre que la dernière ligne mais je viens de remarquer un autre problème

la première fois pour mettre a jour ma table j'ai fait un import csv avec le chemin à parcourir

mais avec le LOAD DATA INFILE cela pose problème mes champs date et temps reste à 0000-00-00 00:00:00 et le champs id comprend des guillemet en plus

:$


Bizard
0