Robot (php ?)
rodgeur
-
rodgeur -
rodgeur -
Bonjour,
dans le cadre d'un projet d'économie, un ami a besoin d'énormément de données sur des transferts de football, sur des sites comme https://www.soccerbase.com/ ou https://www.footballdatabase.eu/fr/
Comme c'est trop fastidieux pour qu'il rentre tout à la main dans son fichier excel, je lui ai proposer de chercher comment faire un robot qui va lui-même récupérer les données sur ces sites.
Sachant que je vais lui héberger une interface sur mon espace free, pour qu'il puisse rentrer les url à visiter et récupérer les statistiques dont il a besoin.
Le problème, c'est que je ne sais pas comment récupérer le code source d'une page à distance... En cherchant sur google, j'ai entendu parler de cURL, mais il faut apparemment installer quelquechose, ce que je ne peux pas faire sur un espace free...
Comment est-il possible de réaliser cela ? Et sur quelles technologies ? Le PHP suffit-il pour réaliser cela ?
Merci d'avance pour votre aide.
dans le cadre d'un projet d'économie, un ami a besoin d'énormément de données sur des transferts de football, sur des sites comme https://www.soccerbase.com/ ou https://www.footballdatabase.eu/fr/
Comme c'est trop fastidieux pour qu'il rentre tout à la main dans son fichier excel, je lui ai proposer de chercher comment faire un robot qui va lui-même récupérer les données sur ces sites.
Sachant que je vais lui héberger une interface sur mon espace free, pour qu'il puisse rentrer les url à visiter et récupérer les statistiques dont il a besoin.
Le problème, c'est que je ne sais pas comment récupérer le code source d'une page à distance... En cherchant sur google, j'ai entendu parler de cURL, mais il faut apparemment installer quelquechose, ce que je ne peux pas faire sur un espace free...
Comment est-il possible de réaliser cela ? Et sur quelles technologies ? Le PHP suffit-il pour réaliser cela ?
Merci d'avance pour votre aide.
2 réponses
-
de chercher comment faire un robot qui va lui-même récupérer les données sur ces sites.
... donc pomper ou profiter du travail des autres en leur bouffant la bande passante .... vaudrait mieux leur demander, non ?
et chez free si tu mets une bdd :
http://www.unesourisetmoi.info/blog/index.php?0026-site-inaccessible-chez-free
b g -
Parce que quand tu vas sur un site internet gratuit (ce forum par exemple...), tu ne profites pas du travail des autres peut être ?
D'autre part, que ce soit un robot ou un être humain qui se connecte sur chaque page du site, il me semble que ca prend autant de bande passante non ?
Enfin, il ne s'agit pas de statistiques d'historiques web... juste de statistiques sur les transferts de football... et même si ca ne passe pas, j'hébergerai la base de données ailleurs, ca n 'est pas un problème.
Merci de ta compréhension.
