bot de visite de site, récup de donnée écrite Fermé

Question

Bonjour,



Voîlà, je connait pas grand chose en programmation, j'aurais voulu savoir donc s'il existait un petit projet Bots qui pourrais me depanner.(je fait juste des sites internet) 

 J' ai un petit projet où je dois recupérer +- 20000 mots sur un site en particulier qui commence tous par un 
"-"(il n'y a pas de droit d'auteur)

Ce seront que des simple donnée texte à récupérée qui sont affichée à l'écran lors de la visite du site.

Ces mot avec un tiret sont répartis sur 4000 pages dans une balise div avec une class particulière et ces mots sont à chaque fois dans un onglet "description"  avec un titre dans la balise h1 que je dois récuperer aussi. (donc finalement c est +- 5 mots par page et la balise h1 que je dois récupérer) Donc plutôt simple à première vue sauf que en visitant les 4000 pages  çà va me prendre un temps fou ou me rendre foufou et j'aimerai gagner ce temps afin de faire aboutir le projet rapidement qu'il soit partagé gratuitement par la communauté de ce même site. 

J'aimerai savoir si vous connaîtriez une solution assez simple ou un code assez simple à mettre en place parce que je me vois pas apprendre un language supplémentaire pour l'instant

Merci d'avance pour votre aide

Laurent

scriptiz · Answer

Tu connais déjà quel langage?

lollo · Answer

Merci de me répondre,


Je connaît juste l' html, css, j'utilise la bibliothèque jquery et je modifie les bases sur le jquery mais j'ai qu'une bonne lecture (je comprend juste les influences de mes modifications et sur quoi çà va agir) pour l'instant mais pas encore d' écriture.

Je saurais surement aussi mettre en place les tables d'une base de donnée pas trop complexe

et je crois que c 'est tout.

lollo · Answer

Si jamais je dois m'orienter vers un langage, javascript peut convenir ? Sinon tu me conseillerais quoi ?

Merci pour ta réponse

Spleen · Answer

En php, ça pourrait être fait assez aisément !
Pourrais tu nous fournir la page en question ?
Ca serait beaucoup plus simple de t'aider !

heyquem · Answer

Bonsoir,


Tu peux te mettre à l'apprentissage de Python et atteindre en très peu de temps ton objectif. 
C'est ce que j'ai fait. Je me suis mis à Python parce que j'avais le même objectif initial que celui que tu as décrit. J'ai été liquéfié de voir à quelle vitesse je suis arrivé à faire des trucs avec ce langage.

Si tu veux je peux t'aider à faire ça.

D'après tes explications, s'il n'y a pas d'anguille sous roche, tu peux avoir ton résultat avant minuit, si tout se passe bien. En plus j'adore ce genre d'application.


Il faut simplement que tu installes Python , que tu indiques le site en question, dans mon email si tu veux une certaine discrétion (ça arrive)  heyquem@gmail.com,

et on peut faire ça à deux en un rien de temps. Si ça te dit. Ce serait une bonne démonstration des possibilités de Python, par la même occasion.


Je m'avance peut être trop. On verra. Le défi m'intéresse aussi.

Bot de visite de site, récup de donnée écrite

5 réponses

Discussions similaires