Web crawler d'un site vierge

Bonjour,

Je voudrais savoir si a partir d'un index vierge sur son site, on pouvait toujours le crawler ?

En gros dans mon arborescences j'ai ceci

|- index.htm (fichier vide)
|- toto.zip
|- dossier
|- dossier/tata.zip

Si j'ai bien compris, un web crawler verifie les hyperlinks presents sur les pages pour construire l'arborescence. Des lors, si je donne "www.monsite.index.htm" a un web crawler, vu qu'il n'y a aucun hyperlink (le fichier etant vide), il n'arrivera pas a me sortir mon arborescence, right ?

Merci d'avance aux futures reponses.