El archivo robots.txt sirve para dar instrucciones a los bots de los motores de búsqueda sobre cómo deben rastrear e indexar nuestros sitios web.
Entre sus principales funciones se encuentra indicar qué partes de nuestro sitio deben ser rastreadas y cuáles deben ignorarse. En otras palabras, mejora la visibilidad del contenido clave limitando el rastreo de contenido innecesario, por lo que los bots se concentran en las páginas más relevantes optimizando, a su vez, el SEO de nuestro sitio.
Con WP Robots Txt no necesitamos preocuparnos por los aspectos técnicos de la configuración del archivo robots.txt. Todo el proceso se vuelve simple e intuitivo desde el panel de administración de WordPress, permitiéndonos personalizar fácilmente qué partes de nuestro sitio los motores de búsqueda deben rastrear o ignorar, sin complicaciones.
Este plugin lo obtenemos desde el repositorio de complementos de WordPress.
Luego de descargarlo y activarlo debemos dirigirnos a Ajustes > Lectura.
Ahí es donde, al final de la página, vamos a poder editar el contenido del archivo robots.txt.
Una vez realizados los cambios, hacemos click en el botón “Guardar cambios” y listo, así de sencillo podemos editar el archivo robots.txt con el plugin WP Robots Txt.