[Python] Internal Server Error Résolu/Fermé

Question

Bonjour,

Je m'appelle Christophe, et j'ai 13 ans. Il y a quelques jours, j'ai commencé à apprendre le Python, maintenant, je m'y connais pas mal, j'adore ce langage. Ayant un projet depuis assez longtemps d'un moteur de recherche (qui était en PHP à l'époque), j'ai décidé de le développer en Python. J'avance de mieux en mieux, sauf que là, je bloque avec certains sites.

Sur certains sites (www.google.fr, www.bloonet.fr) lorsque je chercher à compter le nombre de liens et à afficher les liens, ça me renvoie un message avec un titre : "Internal Server Error" mais, lorsque j'affiche simplement la source, ça marche :).

Merci par avance, bonne journée.
Chris-vip.

kilian · Answer

Salut,

Il me semble que Google n'apprécie pas trop que l'on parse ses pages avec un programme, il prend ça pour un bot (bah ç'en est un d'aillleurs).
Alors je crois qu'il faut changer ton user-agent pour te faire passer pour un navigateur comme firefox ou bien utiliser l'api google.
Un exemple:
https://sebsauvage.net/python/snyppets/index.html#google_search

Chris-vip · Answer

Je sais, mais j'ai déjà utilisé un user-agent "comme tout le monde" (le mien) et un autre, mais ça marche pas....
Merci quand même.

Chris-vip · Answer

Réglé, dans "request" j'ai mis :
site['url'], '', user_agent
au lieu de
site['url'], None, user_agent

Merci à toi =)

kilian · Answer

Parfait :-)

[Python] Internal Server Error

4 réponses

Discussions similaires