No estar indexado

Hola

Para no ser indexado (extraño) hay que poner algunas indicaciones en el índice de tu sitio para el robots.txt (de Google)

Aquí hay ejemplos de archivo robots.txt:

* Exclusión de todas las páginas:

User-Agent: *
Disallow: /

* Exclusión de ninguna página (equivalente a la ausencia de archivo robots.txt, todas las páginas son visitadas):

User-Agent: *
Disallow:

* Autorización de un solo robot:

User-Agent: nombreDelRobot
Disallow:
User-Agent: *
Disallow: /

* Exclusión de un robot:

User-Agent: NombreDelRobot
Disallow: /
User-Agent: *
Disallow:

* Exclusión de una página:

User-Agent: *
Disallow: /directorio/camino/pagina.html

* Exclusión de todas las páginas de un directorio y sus subcarpetas:

User-Agent: *
Disallow: /directorio/

Sí, exacto, gracias por la respuesta.
Encontré mientras tanto también en la página sobre el référencement naturel, me permito por lo tanto completar la respuesta.

Aquí están los diferentes valores para el atributo 'content':
- all: permite que todos los robots indexen, archiven, etc. sus páginas
- noindex: permite prohibir la indexación a todos los robots
- nofollow: permite no seguir sus páginas / enlaces
- noarchive: permite no archivar sus páginas
- none: equivalente a 'noindex,nofollow'

Ej: <META NAME="ROBOTS" content="none,noarchive">

Si sus páginas ya están indexadas en la red por google u otro robot, deberá colocar un archivo llamado 'robot.txt' en la raíz de su sitio. En este archivo deberá poner la siguiente línea:

# robots.txt 
User-agent: * 
Disallow: / 

User-agent: permite especificar qué tipo de robot. '*' significa todos los robots. Si solo desea prohibir la indexación en google, reemplace '*' por 'googleBot'
Disallow: permite especificar qué directorio de su sitio no debe ser indexado.
Por lo tanto, puede poner tantas líneas como sea necesario para cada directorio que desee prohibir como sigue, por ejemplo:

# robots.txt 
User-agent: * 
Disallow: /toto/ 
Disallow: /mesPhotos/ 

El '/' del primer ejemplo significa el directorio actual (donde se coloca el archivo de texto robot.txt)

¡Voilou! :)

EDIT: Lo siento, Jérémi, no había visto tu post. ^^

Sin embargo, cito:

para los robots.txt (de google) 

De hecho es el estándar para cualquier robot, así que funciona para otros que no sean google.

Idem, no veo nada raro en no querer ser indexado.

Es como si desarrollas un sitio para un cliente, tienes una versión en producción que debe ser indexada, y una versión de desarrollo donde puedes hacer modificaciones y mostrar el avance al cliente. La versión de desarrollo no tiene ninguna razón para ser indexada y no debe serlo.

Me dirán que si ningún enlace externo apunta a la versión de desarrollo, ¡no hay razón para que Google llegue allí! ¡Es cierto! Pero solo hace falta que un idiota (¡y los clientes suelen serlo!) ponga el enlace de la versión de desarrollo en un foro para hablarlo con un amigo, ¡y listo, los robots se cuelan siguiendo el enlace!

La teoría de ese brillante algoritmo que es PageRank quiere que los robots simplemente sigan los enlaces y naveguen de página en página. En la práctica, esos pequeños robots son mucho más indiscretos de lo que deberían. ¡Una vez que tienen un vistazo a tu sitio, escanean, indexan y almacenan en caché todo lo que encuentran!

Hablo con conocimiento de causa al decirles que documentos colocados en un directorio de su sitio web pueden ser indexados y almacenados en caché incluso si ningún enlace apunta a ellos.

¡La prudencia es necesaria, Big Brother los está observando!

a veces ponemos el sitio en línea pero con un dominio provisional, por eso no queremos que nuestro sitio sea indexado (referenciado por Google) para no caer en el caso de contenido duplicado.