[Python] Internal Server Error

Résolu
Chris-vip -  
kilian Messages postés 8854 Statut Modérateur -
Bonjour,

Je m'appelle Christophe, et j'ai 13 ans. Il y a quelques jours, j'ai commencé à apprendre le Python, maintenant, je m'y connais pas mal, j'adore ce langage. Ayant un projet depuis assez longtemps d'un moteur de recherche (qui était en PHP à l'époque), j'ai décidé de le développer en Python. J'avance de mieux en mieux, sauf que là, je bloque avec certains sites.

Sur certains sites (www.google.fr, www.bloonet.fr) lorsque je chercher à compter le nombre de liens et à afficher les liens, ça me renvoie un message avec un titre : "Internal Server Error" mais, lorsque j'affiche simplement la source, ça marche :).

Merci par avance, bonne journée.
Chris-vip.
A voir également:

4 réponses

kilian Messages postés 8854 Statut Modérateur 1 526
 
Salut,

Il me semble que Google n'apprécie pas trop que l'on parse ses pages avec un programme, il prend ça pour un bot (bah ç'en est un d'aillleurs).
Alors je crois qu'il faut changer ton user-agent pour te faire passer pour un navigateur comme firefox ou bien utiliser l'api google.
Un exemple:
https://sebsauvage.net/python/snyppets/index.html#google_search
0
Chris-vip
 
Je sais, mais j'ai déjà utilisé un user-agent "comme tout le monde" (le mien) et un autre, mais ça marche pas....
Merci quand même.
0
Chris-vip
 
Réglé, dans "request" j'ai mis :
site['url'], '', user_agent
au lieu de
site['url'], None, user_agent

Merci à toi =)
0
kilian Messages postés 8854 Statut Modérateur 1 526
 
Parfait :-)
0