des robots visitent mon site quoi faire ? Résolu/Fermé

Question

salut,
ce matin, j'ai découvert que des robots ont visité mon site.
voici les détails:
12 robots différents	Hits	Bande passante	Dernière visite
BaiDuSpider	77	1.12 Mo	28 Mar 2010 - 14:52
Yahoo Slurp	45	895.00 Ko	27 Mar 2010 - 04:29
Unknown robot (identified by empty user agent string)	17	225.22 Ko	23 Mar 2010 - 21:15
Unknown robot (identified by 'crawl')	1	471 Octets	21 Mar 2010 - 09:46
Netcraft	2	868 Octets	11 Mar 2010 - 17:01
Googlebot	62	553.24 Ko	09 Mar 2010 - 14:41
MSNBot	7	161.69 Ko	19 Fév 2010 - 12:09
twiceler	4	70.87 Ko	25 Jan 2010 - 10:46
Java (Often spam bot)	3	29.37 Ko	22 Jan 2010 - 03:51
Unknown robot (identified by 'bot*')	1	21.25 Ko	21 Jan 2010 - 08:01
MJ12bot	1	16.29 Ko	16 Jan 2010 - 15:39
------------------------------------------------------------------

à part ça j'ai un systeme de réservation en ligne, donc, je pense que je dois mettre l'option de code de sécurité comme facebook, que pensez vous de robot qui visitent les sites, vous avez comme quoi des conseils pour les éviter ? et est ce que un code de vérification soit avec des chiffres ou des nombres déminue le risque ?

Zwerty · Answer

les robots sont des programmes utilisés par les moteurs de recherche (Google, Yahoo...) afin d'indexer les pages de votre site sur web
il parait que tu utilises un site Joomla ou un quelque chose de standard, vous pouvez alors contrôler ce que peuvent les robots explorer sur ton site web, et aussi spécifier les robots non autorisés à accéder.

bg62 · Answer

ce matin, j'ai découvert que des robots ont visité mon site. 
oh ben dis-donc quelle surprise !!!
;)
apparemment les 'robots' cités c'est plutôt bonne nouvelle ....
maintenant si tu veux que ton site ne soit plus dans les moteurs de recherche, il y a des solutions ...
et celui-là "Googlebot 62 553.24 Ko 09 Mar 2010 - 14:41 " faut le bloquer ;))))  !!!

bigblem · Answer

re, 
hier, j'ai lu une formation contre les piratages des sites web, en résumant que le site web doit avoir une sécurité contre le pirtage et les virus et les spams, et meme les anti aspirateurs, pour celà je vais ajouter une autre option de code de vérification, et :
- Interdire l'accès au .htaccess depuis le navigateur
- Interdire de lister le contenu d'un dossier 
et d'autres techniques qui permetent d'avoir un bon site sécurisé !

LelLex · Answer

Si c'est juste une visite, il n'y a pas vraiment de risques. Ca peut être des robots de référencement !

Par contre s'il ouvre des comptes vides, des messages : ca peut surcharger le serveur. Donc mettre le captcha c'est une bonne initiative.

bigblem · Answer

oui, je suis entrain de le mettre

bg62 · Answer

- Interdire l'accès au .htaccess depuis le navigateur 
tu fais comment pour faire ça ?

bigblem · Answer

je tapes des commandes sur le block note nomé htaccess.txt pour bloquer certaine robot et scripte à entrer sur mon site, puis je le mes sur mon serveur de mon site

Zwerty · Answer

tu veut dire (sur le bloc-notes nommé ".htaccess" et non "htaccess.txt" ) 
mais .htaccess interdit l'accé à tous le monde non seulement aux robots 
pour les robots il te suffira un fichier sous la racine appelé "robots.txt" qui contient 

User-agent: *   
Disallow: /dossier_1/   
... 
Disallow: /dossier_n/

bigblem · Answer

et ben je ne sais pas, j'ai déjà des idées, mais je l'ai pas encore, tester, donc, je ne peux pas te dire quelque chose pas encore testé.

bigblem · Answer

c vrais que j'ai hébergé un site web, je me suis dit c'est bizzare d'héberger un site sans penser à savoir comment le protéger,  et ici, les idées sortent,et je pose des questions comme : 
- sur Facebook pourquoi quand je veux ajouter un ami, je vois un code de sécurité, à quoi sert ? 
et un ami m'a dit " lol tu ne sais pas que facebook était piraté ? 
donc là, Les temps sont durs et le spam est devenu la vraie chienlit du net. Ayant dernièrement souffert des attaquent nombreuses sur des formulaires, via des robots sans vergogne, j'ai vite décidé de développer une protection. Un captcha. Ce n'est pas nouveau car en place sur de nombreux sites (notamment les inscriptions aux forums) mais c'est juste une façon de voir la chose... 
après mes recherches j'ai des autres astuces pour protéger mon site contre les robots de merde. et les pirates et je suis prêt pour ça.

Des robots visitent mon site quoi faire ?

10 réponses

Discussions similaires