scan de liens avec filtre ? Fermé

Question

Bonjour a tous et un grand merci de jeter un œil sur ce post,
voici ma question, je souhaite récupérer des liens sur un site nommé allrecordLabels.com
OBJECTIF récupérer exclusivement les liens direct vers les sites des labels.
Exemple: je vais sur la page http://www.allrecordlabels.com/db/genres/Ambient.html
je veut récupérer les liens tout les liens direct des labels donc pour #3.02 Records, http://www.geocities.com/threepointzerotwo/ pour # (K-RAA-K)3, https://www.kraak.net/ ETC.
Vous comprendrez que faire tout ça en copier coller même avec un plug de copier coller multiple demanderai un travail titanesque.

J'espère que c'est clair, un projet perso dépend de votre réponse ...

Eric G · Answer

Salut,

Oui, c'est clair ; le problème est qu'il y a une certaine profondeur. En général, je pense que la solution dans ce cas est ici :
http://www.httrack.com/
C'est un programme qui aspire le contenu du site, ensuite, il sera plus simple de filtrer les résultat.
Si vous utilisez Firefox :
http://www.outwit.com/
Vous resterez sous le navigateur et filtrer dans le même mouvement, c'est encore plus simple a priori.

Ackson · Answer

Merci Eric pour ta réponse rapide ça me réconforte au moins dans l'idée que j'utilise les bons programmes, je pense que dans mon cas le logiciel OutWit est celui qui répondra le plus a mes besoins.
Voila ce que j'ai réussi à faire avec ce dernier jusqu'à maintenant,

Démarche

J'ouvre OutWit, lance dans la barre d'URL la page:
http://www.allrecordlabels.com/db/genres/Ambient.html 
Sélectionne LISTE
me donne l'adresse intermédiaire du labels et son nom
Exemple pour la première occurrence
http://www.allrecordlabels.com/db/5/3085.html #3.02Records																				

Ce que je voudrai c'est
http://www.geocities.com/threepointzerotwo/ #3.02Records

Que faut t-il faire avec ce logiciel pour obtenir ce résultat, creuser, utiliser l'extracteur ?

Eric G · Answer

Re,

Oui, tu es renvoyé vers le site, mais tu voudrais l'adresse...
Mais c'est bien pour aller dessus ? Tu n'arrives qu'à obtenir celui-la ou plusieurs ? Tu les attraperais dans l'historique ou autre chose.
Bon, tu peux aussi te tourner vers Déjaclick : https://smartbear.com/product/alertsite/features/dejaclick/?utm_medium=referral&utm_source=dejaclick.alertsite.com&utm_campaign=rdr
ou iMacros : https://addons.mozilla.org/fr/firefox/addon/imacros-for-firefox/
Ils enregistrent des actions effectués à la main et donc c'est plus souple.

Eric G · Answer

Avec HTTrack, on peu fouiller hors du site d'origine.

Sinon, avec OutWit, on peu catcher la liste, cliquer sur le bouton Catch, et sauver dans le presse-papier, puis dans un fichier ASCII. Avec une extension qui convertit les liens textes en liens actifs, les ouvrir tous dans des onglets, puis tout sauver en marque-pages. C'est assez laborieux, mais bon.

Ackson · Answer

Merci pour ta réponse je vais essayer ;)

Scan de liens avec filtre ?

5 réponses

Discussions similaires