Comment empecher l'aspiration de son site?

S'il s'agit d'un serveur Apache, tu peux le faire directement au niveau de la configuration (éventuellement dans un fichier .htaccess) en ajoutant les lignes suivantes :

        RewriteEngine on
        RewriteCond %{HTTP_USER_AGENT} "BackWeb" [OR]
        RewriteCond %{HTTP_USER_AGENT} "eCatch" [OR]
        RewriteCond %{HTTP_USER_AGENT} "HTTrack" [NC,OR]
        RewriteCond %{HTTP_USER_AGENT} "teleport" [NC,OR]
        RewriteCond %{HTTP_USER_AGENT} "webcopier"
        RewriteRule !^avertissement.*$ /avertissement.php3 [L]

Dans l'exemple ci-dessus, toute personne essayant d'aspirer le contenu de CommentCaMarche.net avec un des 5 aspirateurs cités est redirigé vers http://www.commentcamarche.net/avertissement.php3


Si tu n'as pas accès aux fichiers de configuration de Apache, tu peux éventuellement mettre un morceau de code PHP de ce type en début de tes fichiers :

<?
function areyouabot()
{
   
global $HTTP_SERVER_VARS;

   $RobotsList = array (
   "antibot",
   "appie",
   "architext",
   "bjaaland",
   "digout4u",
   "echo",
   "fast-webcrawler",
   "ferret",
   "googlebot",
   "gulliver",
   "harvest",
   "htdig",
   "ia_archiver",
   "jeeves",
   "jennybot",
   "linkwalker",
   "lycos",
   "mercator",
   "moget",
   "muscatferret",
   "myweb",
   "netcraft",
   "nomad",
   "petersnews",
   "scooter",
   "slurp",
   "unlost_web_crawler",
   "voila",
   "voyager",
   "webbase",
   "weblayers",
   "wget",
   "wisenutbot",
   "acme.spider",
   "ahoythehomepagefinder",
   "alkaline",
   "arachnophilia",
   "aretha",
   "ariadne",
   "arks",
   "aspider",
   "atn.txt",
   "atomz",
   "auresys",
   "backrub",
   "bigbrother",
   "blackwidow",
   "blindekuh",
   "bloodhound",
   "brightnet",
   "bspider",
   "cactvschemistryspider",
   "cassandra",
   "cgireader",
   "checkbot",
   "churl",
   "cmc",
   "collective",
   "combine",
   "conceptbot",
   "coolbot",
   "core",
   "cosmos",
   "cruiser",
   "cusco",
   "cyberspyder",
   "deweb",
   "dienstspider",
   "digger",
   "diibot",
   "directhit",
   "dnabot",
   "download_express",
   "dragonbot",
   "dwcp",
   "e-collector",
   "ebiness",
   "eit",
   "elfinbot",
   "emacs",
   "emcspider",
   "esther",
   "evliyacelebi",
   "nzexplorer",
   "fdse",
   "felix",
   "fetchrover",
   "fido",
   "finnish",
   "fireball",
   "fouineur",
   "francoroute",
   "freecrawl",
   "funnelweb",
   "gama",
   "gazz",
   "gcreep",
   "getbot",
   "geturl",
   "golem",
   "grapnel",
   "griffon",
   "gromit",
   "hambot",
   "havindex",
   "hometown",
   "htmlgobble",
   "hyperdecontextualizer",
   "iajabot",
   "ibm",
   "iconoclast",
   "ilse",
   "imagelock",
   "incywincy",
   "informant",
   "infoseek",
   "infoseeksidewinder",
   "infospider",
   "inspectorwww",
   "intelliagent",
   "irobot",
   "iron33",
   "israelisearch",
   "javabee",
   "jbot",
   "jcrawler",
   "jobo",
   "jobot",
   "joebot",
   "jubii",
   "jumpstation",
   "katipo",
   "kdd",
   "kilroy",
   "ko_yappo_robot",
   "labelgrabber.txt",
   "larbin",
   "legs",
   "linkidator",
   "linkscan",
   "lockon",
   "logo_gif",
   "macworm",
   "magpie",
   "marvin",
   "mattie",
   "mediafox",
   "merzscope",
   "meshexplorer",
   "mindcrawler",
   "momspider",
   "monster",
   "motor",
   "mwdsearch",
   "netcarta",
   "netmechanic",
   "netscoop",
   "newscan-online",
   "nhse",
   "northstar",
   "occam",
   "octopus",
   "openfind",
   "orb_search",
   "packrat",
   "pageboy",
   "parasite",
   "patric",
   "pegasus",
   "perignator",
   "perlcrawler",
   "phantom",
   "piltdownman",
   "pimptrain",
   "pioneer",
   "pitkow",
   "pjspider",
   "pka",
   "plumtreewebaccessor",
   "poppi",
   "portalb",
   "puu",
   "python",
   "raven",
   "rbse",
   "resumerobot",
   "rhcs",
   "roadrunner",
   "robbie",
   "robi",
   "robofox",
   "robozilla",
   "roverbot",
   "rules",
   "safetynetrobot",
   "search_au",
   "searchprocess",
   "senrigan",
   "sgscout",
   "shaggy",
   "shaihulud",
   "sift",
   "simbot",
   "site-valet",
   "sitegrabber",
   "sitetech",
   "slcrawler",
   "smartspider",
   "snooper",
   "solbot",
   "spanner",
   "speedy",
   "spider_monkey",
   "spiderbot",
   "spiderline",
   "spiderman",
   "spiderview",
   "spry",
   "ssearcher",
   "suke",
   "suntek",
   "sven",
   "tach_bw",
   "tarantula",
   "tarspider",
   "techbot",
   "templeton",
   "teoma_agent1",
   "titin",
   "titan",
   "tkwww",
   "tlspider",
   "ucsd",
   "udmsearch",
   "urlck",
   "valkyrie",
   "victoria",
   "visionsearch",
   "vwbot",
   "w3index",
   "w3m2",
   "wallpaper",
   "wanderer",
   "wapspider",
   "webbandit",
   "webcatcher",
   "webcopy",
   "webfetcher",
   "webfoot",
   "weblinker",
   "webmirror",
   "webmoose",
   "webquest",
   "webreader",
   "webreaper",
   "websnarf",
   "webspider",
   "webvac",
   "webwalk",
   "webwalker",
   "webwatch",
   "whatuseek",
   "whowhere",
   "wired-digital",
   "wmir",
   "wolp",
   "wombat",
   "worm",
   "wwwc",
   "wz101",
   "xget",
   "awbot",
   "bobby",
   "boris",
   "bumblebee",
   "cscrawler",
   "daviesbot",
   "ezresult",
   "gigabot",
   "gnodspider",
   "internetseer",
   "justview",
   "linkbot",
   "linkchecker",
   "nederland.zoek",
   "perman",
   "pompos",
   "pooodle",
   "redalert",
   "shoutcast",
   "slysearch",
   "ultraseek",
   "webcompass",
   "yandex",
   "robot",
   "bot",
   "psbot",
   "crawl"
   );

   $botID = strtolower($HTTP_SERVER_VARS['HTTP_USER_AGENT']);
   $iamabot = 0;
   for ($i = 0; $i < count($RobotsList); $i++)
   {
       
      if ( strstr($botID, $RobotsList[$i]) )
      {
         $iamabot = 1;
         return $iamabot;
      }
       
   }
   return $iamabot;
   
} 


if (areyouabot()) { 
die("Erreur, vous ne pouvez pas aspirer ce site"); 
}


?>

                                   
Jeff  \--Webmaster@CCM--/