Web crawler d'un site vierge

matthoffman Messages postés 405 Date d'inscription   Statut Membre Dernière intervention   -  
 Maniax -
Bonjour,

Je voudrais savoir si a partir d'un index vierge sur son site, on pouvait toujours le crawler ?

En gros dans mon arborescences j'ai ceci

|- index.htm (fichier vide)
|- toto.zip
|- dossier
|- dossier/tata.zip

Si j'ai bien compris, un web crawler verifie les hyperlinks presents sur les pages pour construire l'arborescence. Des lors, si je donne "www.monsite.index.htm" a un web crawler, vu qu'il n'y a aucun hyperlink (le fichier etant vide), il n'arrivera pas a me sortir mon arborescence, right ?

Merci d'avance aux futures reponses.


A voir également:

1 réponse

Maniax
 
A moins que ton site soit explorable au niveau des répertoires (Comme http://rc.vc/ par exemple), il ne pourra pas lister les répertoires et les fichiers de ton site qui ne sont pas linkés.
0