A voir également:
- Base de donnée ou fichier de donnée ?
- Fichier rar - Guide
- Fichier host - Guide
- Fichier iso - Guide
- Formules excel de base - Guide
- Logiciel de recuperation de donnée - Guide
5 réponses
benol3
Messages postés
569
Date d'inscription
lundi 29 juillet 2013
Statut
Membre
Dernière intervention
7 mai 2015
87
7 mai 2014 à 12:45
7 mai 2014 à 12:45
Salut,
Je penser que stocker tes données dans une base de données et d'extraire les données qui te sont nécessaires en vue de réaliser un traitement statistique à l'aide de requêtes SQl et beaucoup plus simple et surtout rapide que d'avoir un fichier lourd avec toutes tes données dedans.
Je penser que stocker tes données dans une base de données et d'extraire les données qui te sont nécessaires en vue de réaliser un traitement statistique à l'aide de requêtes SQl et beaucoup plus simple et surtout rapide que d'avoir un fichier lourd avec toutes tes données dedans.
Je dois avouer que je pensais un peu comme toi mais comme je prévois d'utiliser scrapy et que celui-ci permet l'export en json, csv ou xml, je me disais que plutot que de traiter toutes mes données pour les enregistrer en BDD (+ création de la bDD, de sa structure, des différentes tables....)
Je pensais gagner un peu de temps mais c'est sur que si c'est pour en perdre au final a chaque utilisation
Je pensais gagner un peu de temps mais c'est sur que si c'est pour en perdre au final a chaque utilisation
Je me permets de revenir vers vous car après réflexion, j'arrive pas à me décider sur le choix d'une BDD (SQL ou noSQL). Je vais essayer de vous expliquer plus en détails.
Concernant les données à traiter, je récupère un json ou un csv (scrappy permet d'exporter les 2 formats). Il va s'agir de données sportives. Pour donner un exemple, un club de foot avec des joueurs, un entraineur, un stade, des matchs, des données météo suivant le match, le résultat....
Le but de tout ça est de faire des études de stats pour un match à venir. Comparaison des équipes suivant la météo, le stade (domicile ou extérieur), l'entraineur qui a changé, les performances sur les derniers matchs , la date dans la saison... Je peux avoir aussi envie de voir tout ce qu'a fait un entraineur (tous ces matchs tout club confondus), idem pour un joueur, pour un type de temps donnée...
Globalement, je vais avoir bcp de données, toutes structurées de la même manière (quasiment :??: ), que j'ai besoin d'écrire une seule fois mais de lire plusieurs fois (extraction vers mon excel).
Je tiens à préciser que je suis dans la vie développeur php/mysql/css. J'ai donc des connaissances en SQL mais aucune en NoSQL.
Qu'est ce qui d'après-vous serait le plus logique ? Apprendre le NoSQL car je risque d'avoir rapidement bcp de données ? Passer du temps à structurer mes tables parfaitement et parser mes json ou csv avant insertion. Insérer le json directement dans une table NoSQL orientée documents ? orientée graphe ?....
Merci à tous pour vos pistes de réflexion
ps : si vous pensez que ce serait mieux que j'ouvre un autre topic, n'hésitez pas.
Concernant les données à traiter, je récupère un json ou un csv (scrappy permet d'exporter les 2 formats). Il va s'agir de données sportives. Pour donner un exemple, un club de foot avec des joueurs, un entraineur, un stade, des matchs, des données météo suivant le match, le résultat....
Le but de tout ça est de faire des études de stats pour un match à venir. Comparaison des équipes suivant la météo, le stade (domicile ou extérieur), l'entraineur qui a changé, les performances sur les derniers matchs , la date dans la saison... Je peux avoir aussi envie de voir tout ce qu'a fait un entraineur (tous ces matchs tout club confondus), idem pour un joueur, pour un type de temps donnée...
Globalement, je vais avoir bcp de données, toutes structurées de la même manière (quasiment :??: ), que j'ai besoin d'écrire une seule fois mais de lire plusieurs fois (extraction vers mon excel).
Je tiens à préciser que je suis dans la vie développeur php/mysql/css. J'ai donc des connaissances en SQL mais aucune en NoSQL.
Qu'est ce qui d'après-vous serait le plus logique ? Apprendre le NoSQL car je risque d'avoir rapidement bcp de données ? Passer du temps à structurer mes tables parfaitement et parser mes json ou csv avant insertion. Insérer le json directement dans une table NoSQL orientée documents ? orientée graphe ?....
Merci à tous pour vos pistes de réflexion
ps : si vous pensez que ce serait mieux que j'ouvre un autre topic, n'hésitez pas.
benol3
Messages postés
569
Date d'inscription
lundi 29 juillet 2013
Statut
Membre
Dernière intervention
7 mai 2015
87
14 mai 2014 à 12:28
14 mai 2014 à 12:28
Alors là, je ne peux pas te renseigner, cela dépasse mes connaissances :)
Je connais pas du tout le NoSQL.
Il est vrai que tu va posséder un nombre très très important de données et qu'une BDD relationnelle va vite être mise à rude épreuve en accumulant beauocup de données. Donc le NoSQL parait plus approprié...
Peut être que d'autres personnes de la communauté CCM pourront plus t'éclairer que moi...
Sinon je te conseille de poser cette question sur Developpez.net qui possède un forum dédié au NoSQL :
https://www.developpez.net/forums/f1743/bases-donnees/nosql/
En tout cas je trouve ton projet très intéréssant.
Tiens nous au courant de l'avancement de ton projet.
Et bon courage pour la suite :)
Je connais pas du tout le NoSQL.
Il est vrai que tu va posséder un nombre très très important de données et qu'une BDD relationnelle va vite être mise à rude épreuve en accumulant beauocup de données. Donc le NoSQL parait plus approprié...
Peut être que d'autres personnes de la communauté CCM pourront plus t'éclairer que moi...
Sinon je te conseille de poser cette question sur Developpez.net qui possède un forum dédié au NoSQL :
https://www.developpez.net/forums/f1743/bases-donnees/nosql/
En tout cas je trouve ton projet très intéréssant.
Tiens nous au courant de l'avancement de ton projet.
Et bon courage pour la suite :)
Vous n’avez pas trouvé la réponse que vous recherchez ?
Posez votre question