Quel langage et BDD utiliser ?

Fermé

xylo - 2 avril 2013 à 23:04
xylo - 3 avril 2013 à 21:00

Salut !

en faite j'aimerai faire un executable qui va devoir parser (sans arrêt) des pages web (xml ou html) distante pour récupérer des informations et les enregistrer en base ( pour en ressortir des statistiques etc ..) , le point important c'est que je souhaiterai que l'appli s'exécute le plus rapidement possible .
Il faut que je choisisse donc le langage le mieux adapter pour ce type de projet , après quelques recherche j'ai vu que perl était fait pour le traitement de chaine mais je ne sais pas si ça correspond vraiment à mes besoins ( la gestion de connexion à distance est optimisé?etc..), pour la base de donnée pareil , je ne pense pas que mysql que j'utilise d'habitude soit adapté à ma demande donc je me demande si une bdd noSql pourrait faire l'affaire .

qu'en pensez-vous ?

merci

A voir également:

Quel langage et BDD utiliser ?
Utiliser chromecast - Guide
Langage ascii - Guide
Comment utiliser l'ia - Accueil - Guide Intelligence artificielle
Comment utiliser utorrent - Télécharger - Téléchargement & Transfert
Utiliser iphone comme webcam - Guide

1 réponse

Réponse 1 / 1

khrogos Messages postés 49 Date d'inscription dimanche 24 mars 2013 Statut Membre Dernière intervention 10 juillet 2013 21
3 avril 2013 à 09:01

pour perl, je valide (mais c'est pas objectif, j'aime bien le langage), si c'est pour une base de donnée locale, effectivement, pas besoin d'un server de base de donnée, sqlite ou nosql seront bien.

autre point important : as-tu vraiment besoin d'une base de donnée relationnelle ? tu pourrais peut-être te contenter de lecture/ecriture sur un fichier texte (format csv)

xylo
3 avril 2013 à 17:39

salut !
merci pour ta réponse , en faite nan je n'ai pas besoin obligatoirement d'une base de donnée relationnelle/nosql ! je n'ai pas pensé aux fichiers texte , mais est-ce que c'est fiable quand le fichier pèse plusieurs mo , voir centaine de mo ? car le remplissage de données sera quasi sans limite .

khrogos Messages postés 49 Date d'inscription dimanche 24 mars 2013 Statut Membre Dernière intervention 10 juillet 2013 21
3 avril 2013 à 19:17

perso, quand il n'y as pas besoin de relationnel, je ne passe jamais par une base de donnée, toujours des fichiers.

après oui, forcement, les lecture/ecriture seront plus lentes à mesure que le fichier augmente. mais pas non plus de maniere alarmante ...

par exemple,https://www.sebsauvage.net/links/ est un outils de partage de liens (façon delicious) qui tourne avec fichiers texte, et tu peux voir que malgrès les 14242 entrées, c'est rapide !

à toi de voir, je suis pas un pro de l'optimisation, donc je ne fais que te soumettre mot avis (et une nouvelle piste de reflexion), faudrait attendre que quelqu'un de plus calé passe donner son avis !

xylo
3 avril 2013 à 20:08

je vais tenter avec les fichiers ! par contre j'estime qu'il y aura environ 10000 enregistrement tout les 4h avec mon executable , je verrai bien si ça tient , au pire j'importerai tout dans une bdd , ça me fait moins de boulot de commencer par l'enregistrement en csv .

khrogos Messages postés 49 Date d'inscription dimanche 24 mars 2013 Statut Membre Dernière intervention 10 juillet 2013 21
3 avril 2013 à 20:12

c'est cool, tiens moi au courant ;-)

xylo
3 avril 2013 à 21:00

merci pour tes réponses

Discussions similaires

Votre PC ne peut pas utiliser un autre écran.

ne pas utiliser la souris mais le clavier

Photographie

Impossible d'utiliser numéro de téléphone validation

Impossible d'utiliser ce numéro de téléphone pour la validat