Cuando crea un blog o sitio web en WordPress, se crea automáticamente un archivo robots.txt para cada una de sus páginas de destino y publicaciones. Este es un aspecto importante del SEO de su sitio web, ya que los motores de búsqueda lo utilizarán al rastrear el contenido de su sitio.
Si desea llevar el SEO de su sitio web al siguiente nivel, optimizar el archivo robots.txt en su sitio de WordPress es importante pero, desafortunadamente, no es tan simple como agregar palabras clave a su contenido. Es por eso que hemos elaborado esta guía de robots.txt de WordPress para que pueda comenzar a perfeccionarla y mejorar su clasificación de búsqueda.
¿Qué es un archivo Robots.txt?
Al colocar sitios web en las páginas de resultados de los motores de búsqueda (SERP), los motores de búsqueda como Google “rastrean” las páginas del sitio web y analizan su contenido. El archivo robots.txt de cualquier sitio web le dice a los «bots» del rastreador qué páginas rastrear y cuáles no, esencialmente una forma de Automatización robótica de procesos (RPA).
Puede ver el archivo robots.txt de cualquier sitio web escribiendo /robots.txt después del nombre de dominio. Se verá algo como esto:
Analicemos cada uno de los elementos de la imagen de arriba.
Agente de usuario
El agente de usuario en un archivo robots.txt es el motor de búsqueda que debe leer el archivo robots.txt. En el ejemplo anterior, el agente de usuario está marcado con un asterisco, lo que significa que se aplica a todos los motores de búsqueda.
La mayoría de los sitios web están felices de que todos los motores de búsqueda rastreen su sitio, pero a veces es posible que desee bloquear todos los motores de búsqueda, excepto Google, para que no rastreen su sitio o proporcionar instrucciones específicas sobre cómo los motores de búsqueda como Google News o Google Images rastrean su sitio web.
Si este es el caso, debe averiguar el ID de usuario-agente de los motores de búsqueda que desea instruir. Esto es bastante simple de encontrar en línea, pero estos son algunos de los principales:
- Google: robot de Google
- Google News: Googlebot-News
- Imágenes de Google: Googlebot-Image
- Google Video: Googlebot-Video
- Bing: Bingbot
- Yahoo: Slurp Bot
Permitir y rechazar
En los archivos robots.txt, permitir y no permitir le dice a los bots qué páginas y contenido pueden y no pueden rastrear. Si, como se mencionó anteriormente, desea bloquear todos los motores de búsqueda, excepto Google, para que no rastreen su sitio web, puede usar el siguiente archivo robots.txt:
La barra (/) después de «No permitir» y «Permitir» le dice al bot que puede o no rastrear todas las páginas. También puede colocar páginas específicas entre barras para permitir o no permitir que el bot las rastree.
Mapa del sitio
El «mapa del sitio» en un archivo robots.txt es un archivo XML que contiene una lista y detalles de todas las páginas de su sitio web. Se parece a esto:
El mapa del sitio contiene todas las páginas web que desea que el bot descubra. El mapa del sitio es especialmente útil si tiene páginas web que desea que aparezcan en los resultados de búsqueda, pero no son páginas de destino típicas, como publicaciones de blog.
Los mapas del sitio son especialmente importantes para los usuarios de WordPress que esperan revitalizar su sitio web con publicaciones de blog y páginas de categorías. Es posible que muchos de estos no aparezcan en las SERP si no tienen su propio mapa del sitio robots.txt.
Estos son los aspectos centrales de un archivo robots.txt. Sin embargo, debe tenerse en cuenta que su archivo robots.txt no es una forma segura de evitar que los robots de los motores de búsqueda rastreen ciertas páginas. Por ejemplo, si otro sitio usa textos de anclaje para vincular a una página que ha «rechazado» en su archivo robots.txt, los robots de los motores de búsqueda aún podrán rastrear esa página.
¿Necesita un archivo Robots.txt en WordPress?
Si tiene un sitio web o un blog con WordPress, ya tendrá un archivo robots.txt generado automáticamente. Aquí hay algunas razones por las que es importante considerar su archivo robots.txt si desea asegurarse de tener un sitio de WordPress compatible con SEO.
Puede optimizar su presupuesto de rastreo
Un presupuesto de rastreo, o cuota de rastreo, es la cantidad de páginas que los robots de los motores de búsqueda rastrearán en su sitio web en un día determinado. Si no tiene un archivo robots.txt optimizado, podría estar desperdiciando su presupuesto de rastreo y evitando que los bots rastreen las páginas de su sitio que desea que aparezcan primero en las SERP.
Si vende productos o servicios a través de su sitio de WordPress, lo ideal es que desee las páginas con la mejor conversión de ventas para ser priorizado por los robots rastreadores.
Puede priorizar sus páginas de destino importantes
Al optimizar su archivo robots.txt, puede asegurarse de que las páginas de destino que desea que aparezcan primero en las SERP sean fáciles y rápidas de encontrar para los robots rastreadores. Dividir el índice de su sitio en un índice de ‘páginas’ y ‘publicaciones’ es especialmente útil para esto, ya que puede asegurarse de que las publicaciones de blog aparezcan en las SERP en lugar de solo en sus páginas de destino estándar.
Por ejemplo, si su sitio web tiene muchas páginas y su información de los clientes muestra que las publicaciones de su blog están generando muchas compras, puede usar mapas de sitio en su archivo robots.txt para asegurarse de que las publicaciones de su blog aparezcan en las SERP.
Puede mejorar la calidad general de SEO de su sitio web
Los especialistas en marketing son muy conscientes de las grandes ROI de optimización de motores de búsqueda. Canalizar búsquedas orgánicas hacia su sitio web centrándose en su SEO es más barato y, a menudo, más efectivo que los anuncios pagados y los enlaces de afiliados, aunque ambos siguen siendo útiles. Consulte estas estadísticas para ROI del canal de marketing.
Optimizar su archivo robots.txt no es la única forma de mejorar el ranking de búsqueda de su sitio web o blog. Aún necesitará tener contenido compatible con SEO en las propias páginas, que puede necesitar un SEO SaaS proveedor para ayudar. Sin embargo, editar su archivo robots.txt es algo que puede hacer usted mismo fácilmente.
Cómo editar un archivo Robots.txt en WordPress
Si desea editar su archivo robots.txt en WordPress, hay varias formas de hacerlo. La mejor y más fácil opción es agregar un complemento a su sistema de administración de contenido: su panel de WordPress.
Agregue un complemento de SEO a su WordPress
Esta es la forma más sencilla de editar su archivo robots.txt de WordPress. Hay muchos buenos complementos de SEO que te permitirán editar el archivo robots.txt. Algunos de los más populares son Yoast, Rank Math y All In One SEO.
Agregue un complemento Robots.txt a su WordPress
También hay complementos de WordPress diseñados específicamente mediante la edición de su archivo robots.txt. Los complementos populares de robots.txt son Virtual Robots.txt, WordPress Robots.txt Optimization y Robots.txt Editor.
Cómo probar su archivo WordPress Robots.txt
Si ha editado su archivo robots.txt, es importante que lo pruebe para asegurarse de que no ha cometido ningún error. Los errores en su archivo robots.txt podrían resultar en que su sitio web sea excluido por completo de las SERP.
Google Webmaster tiene una herramienta de prueba de robots.txt que puede utilizar de forma gratuita para probar su archivo. Para usarlo, simplemente agregue la URL de su página de inicio. Aparecerá el archivo robots.txt y verá «advertencia de sintaxis» y «error lógico» en cualquier línea del archivo que no esté funcionando.
Luego puede ingresar a una página específica de su sitio web y seleccionar un agente de usuario para ejecutar una prueba que mostrará si esa página es «aceptada» o «bloqueada». Puede editar su archivo robots.txt en la herramienta de prueba y ejecutar la prueba de nuevo si es necesario, pero tenga en cuenta que esto no cambiará su archivo real, deberá copiar y pegar la información editada en su editor de robots.txt y guárdalo allí.
Cómo optimizar su archivo WordPress Robots.txt para SEO
La forma más sencilla de optimizar su archivo robots.txt es seleccionar qué páginas desea rechazar. En WordPress, las páginas típicas que puede rechazar son / wp-admin /, / wp-content / plugins /, /readme.html, /rastrear/.
Por ejemplo, un marketing SaaS El proveedor tiene muchas páginas y publicaciones diferentes en su sitio de WordPress. Al no permitir páginas como / wp-admin / y / wp-content / plugins /, pueden asegurarse de que los robots rastreadores prioricen las páginas que valoran.
Cree sitemaps y agréguelos a su archivo Robots.txt
WordPress crea un mapa del sitio genérico propio cuando crea un blog o sitio web con él. Por lo general, se puede encontrar en example.wordpress.com/sitemap.xml. Si desea personalizar su mapa del sitio y crear mapas del sitio adicionales, debe usar un archivo robots.txt o un complemento de WordPress para SEO.
Puede acceder a su complemento en su panel de WordPress y debe tener una sección para habilitar y editar su mapa del sitio. Los buenos complementos le permitirán crear y personalizar mapas de sitio adicionales, como un mapa de sitio de «páginas» y un mapa de sitio de «publicaciones» con facilidad.
Cuando haya configurado los mapas del sitio, simplemente agréguelos a su archivo robots.txt de esta manera:
Adopte un enfoque minimalista
Si bien puede ser emocionante editar y optimizar su archivo robots.txt de WordPress, es importante tener un enfoque minimalista, menos es más. Esto se debe a que si no permite páginas en su sitio, esto evitará que los robots rastreadores busquen otras páginas en esas páginas. Esto podría significar que las páginas clave no se descubren y la integridad estructural de su sitio se debilita desde la perspectiva de los robots de los motores de búsqueda.
Tampoco es necesario «permitir» el acceso a todas las páginas de su sitio web en el archivo robots.txt. Los robots rastreadores ya descubrirán esas páginas; concéntrese en cambio en sus mapas de sitio y las páginas que necesita rechazar para que sus páginas clave se encuentren primero.
En esta guía, le proporcionamos todo lo que necesita saber sobre los archivos robots.txt de WordPress. Desde explicar qué son los archivos robots.txt hasta profundizar en por qué y cómo debería optimizar su archivo robots.txt para SEO, este artículo le ayudará si desea encontrar formas sencillas y eficaces de mejorar el ranking de búsqueda de su sitio web de WordPress.
