El fichero robots.txt es un elemento clave para toda página web que desea estar bien vista por los motores de búsqueda como Google . Sirve como una mapa para los crawlers , indicándoles qué páginas de tu sitio pueden ser indexadas y cuáles no . Una correcta configuración de este documento puede a prevenir problemas de rastreo , optimizar la