Débutant/Conseil : Langage de programmation

Fermé
gershon09 Messages postés 6 Date d'inscription vendredi 11 octobre 2013 Statut Membre Dernière intervention 12 octobre 2013 - Modifié par gershon09 le 11/10/2013 à 13:27
gershon09 Messages postés 6 Date d'inscription vendredi 11 octobre 2013 Statut Membre Dernière intervention 12 octobre 2013 - 12 oct. 2013 à 15:09
Bonjour,

Voilà quelques questions de grand grand débutant :

J'ai besoin de récupérer automatiquement des données sur internet (des tableaux de chiffres , etc...) et ce de façon rapide.

1.) Quels langages pour faire ça ?

2.) Je fais le traitement des données avec un logiciel scientifique (matlab). J'ai réussi facilement a trouvé la commande pour télécharger le code source (dans une chaine de caractère de longueur environ 200000).
Ca me prends 1 sec de téléchargement, puis 30ms d'analyse de la chaine de caractère pour trouver les chiffre important. Donc le problème pour moi est bien de gagner en rapidité sur le téléchargement (sachant que je dois effectuer ça sur une trentaine de page toute les 2 secondes, 1 seconde de téléchargement par page, ca ne va pas du tout...).
Les questions sont donc : 1sec de téléchargement pour une page c'est très long ou bien normal ?
Si j'effectue cette tache avec un langage de programmation approprié je vais améliorer le résultat ?
Peut-on gagner en temps en pointant directement le téléchargement sur le chiffre (la table) important, ou ca ne changera pas grand chose ?


Note : un test de connexion avec : http://www.zebulon.fr/outils/speedtest/speedtest.php me donne :
une bande passante de : 3.01 Mbps
Cela signifie que je peux télécharger à 384.94 Ko/s depuis leur serveur


Merci d'avance !

5 réponses

gershon09 Messages postés 6 Date d'inscription vendredi 11 octobre 2013 Statut Membre Dernière intervention 12 octobre 2013 5
11 oct. 2013 à 14:07
C'est une question trop "débutant" pour vous?
:-)
3
KX Messages postés 16733 Date d'inscription samedi 31 mai 2008 Statut Modérateur Dernière intervention 31 janvier 2024 3 015
11 oct. 2013 à 23:43
Tu peux gagner du temps en telechargeant toutes tes pages en parallèle.
Tu ne dis pas si le traitement des 30 pages est indépendant l'une de l'autre. La mise en place sera sûrement différente selon le cas. Mais l'idée reste la même.

Remarque : tu es dans la catégorie java ici. Bien sûr c'est faisable en java. Mais pourquoi demander quel langage est à utiliser si tu l'as déjà choisi ?
1
gershon09 Messages postés 6 Date d'inscription vendredi 11 octobre 2013 Statut Membre Dernière intervention 12 octobre 2013 5
12 oct. 2013 à 12:28
Merci de ta réponse !
Je n'ai pas vu de forum général sur les langages de programmation pour le web... Donc j'ai posé directement ici...
Merci pour l'idée de faire tout ça en parallèle. Faut que je vois comment faire ça avec matlab...
J'en profite pour reposer une question importante:
les données que je cherche sont dans des table sur une page web. Pour aller les chercher, peut-on "pointer" directement sur la table et télécharger seulement l'info pertinente ou faut-il télécharger la page en entier puis l'analyser ?
1
KX Messages postés 16733 Date d'inscription samedi 31 mai 2008 Statut Modérateur Dernière intervention 31 janvier 2024 3 015
12 oct. 2013 à 14:23
S'il s'agit d'une page web quelconque (accessible depuis un navigateur internet) tu devras lire la page à partir du début. Mais une fois que tu as lu les données qui t'intéresse rien ne t'oblige à lire la fin. Ce qui gagne du temps.
En revanche certains sites proposent d'accéder aux données directement ( avec des flux rss par exemple) ce qui est encore plus rapide à télécharger et analyser. Ça dépend ce que tu veux faire exactement.
1

Vous n’avez pas trouvé la réponse que vous recherchez ?

Posez votre question
gershon09 Messages postés 6 Date d'inscription vendredi 11 octobre 2013 Statut Membre Dernière intervention 12 octobre 2013 5
12 oct. 2013 à 15:09
Ok, merci bien.
Faut donc que je me mette au java :-)
1