Crées un scraper qui recherche des sites internet

ceci t'aidera peut-être: https://www.commentcamarche.net/infos/25899-demander-de-l-aide-pour-vos-exercices-sur-ccm/

Dak

- le scraping s'apparente à l'automatisation tu as plusieurs petite framework qui font ça :

- Sélénium/Webdriver ( Java, c#, python ) [ Firefox, Edge, Explorer, Opera, Chrome ]
- Beautiful Soup ( python )
- puppeteer, CasperJS ( nodeJs ) [ chrome ]

Attention à puppeteer il utilise le mode headless, aucun webbrowser ne s'ouvrira ( donc tu ne verra pas les actions visuelles ) je te conseille celui là personnellement mais dès lors que tu maitrisera le sujet. Pour débuter essaie Sélénium, une fois prit en main toutes les Framework se ressembles et tu pourra passer en mode headless avec puppeteer.


Cdlt,

Merci pour t'es conseils précieux !
Mais esque un framewrok permet de faire des recherches internet, et si oui comment ?
J'ai cherché toute la journée comment faire via tout les frameworks que tu mas conseiller mais j'ai pas trouvé...
Pourrais tu m'expliquer ?
Merci beaucoup

Cdlt

Desoler je sais je suis un peux un Bambi :)

Yap, si tu est un bambi dans le domaine, je vais te prévenir d'avance sur ces Framework il y a peux de tuto de A-Z comme le site du zéro, la documentation est majoritairement en Anglais, beaucoup de code non structuré, il y a Page Object Pattern qui est une bonne pratique de mise en place mais peu mettre un certains temps à s'en approprié correctement et fonctionnellement.

Ton but est de réaliser une navigation sur un domaine et d'en extraire les liens si j'ai bien comprit et tout cela automatiquement ( après que les liens sont en lien avec la maçonnerie ou autre ça c'est ton algo qui va gérer ).

Sélénium va te permette de réaliser le comportement humain sur un site automatiquement afin d'en extraire les données souhaitées.

regarde le minimal exemple sur le site de Sélénium :

https://www.selenium.dev/documentation/en/

- Initialisation du WebDriver
- Navigation vers ...
- Récupération des éléments ( en locurrence des liens donc tous les selecteurs de type "a" )

driver.findElements( By.xpath("//a") )

- Fermeture du WebDriver.
- Traitement des données. ton algo → ( parsing, push en DB ... )

Regarde la doc sur la Framework :

- WebDriver
- WebElement
- Action
- Waiter
- By

Il donne un exemple en Javascipt donc un npm doit être disponible, qui pourrait être plus facile à utiliser que le Java ou autre.