Webscrapping : certains éléments non accessibles
RésoluUtilisateur anonyme -
Je me penche sur le côté web scrapping de Python et j'ai déjà réussi quelques programmes. Je me retrouve face à des situations où certaines données visibles sur la page directement (grâce à inspecter l'élément) ne sont pas accessibles via le code source (introuvable). J'aurais voulu savoir s'il existe une manière de pouvoir avoir accès à la totalité des éléments d'une page à la manière de "inspecter l'élément".
Merci de bien vouloir me proposer une solution, cordialement.
33 réponses
- 1
- 2
Des données affichées après rendu JavaScript ne figurent pas dans le code source et posent problème pour le scraping Python lorsque l’application charge dynamiquement son contenu. Des solutions consistent à utiliser un navigateur sans tête ou un moteur d’exécution JavaScript pour rendre la page, ou à analyser les appels réseau afin d’identifier des endpoints fournissant les données. Plusieurs approches recommandées incluent Selenium, Playwright ou requests-html pour simuler l’interaction et obtenir le DOM rendu, puis extraire les éléments souhaités comme des tableaux qui ne figurent pas dans le HTML statique. En cas de données fournies via des API internes, il est aussi possible d’interroger directement ces endpoints après inspection des requêtes réseau pour récupérer les contenus sans exécuter tout le rendu.
-
-
-
-
-
Vous n’avez pas trouvé la réponse que vous recherchez ?
Posez votre question -
-
-
-
-
-
-
Toujours en recherche d'aide (je compte sûrement participer au record de up' sur un post). Up'
-
-
J'ai vu que ce qu'il y a dans "Inspecter l'élément", c'est l'état de la page actuel. En gros, on peut même modifier en direct le code source (localement) ou voir les effets d'une action sur le code source. Je voudrais juste accéder à une structure qui n'apparaît pas dans le code source. Par exemple, il m'est arrivé de ne pas pouvoir voir le contenu d'un tableau dans le code source mais dans inspecter l'élément.
Up'. -
-
-
-
-
-
-
- 1
- 2
