Crawl budget: qué es y cómo aumentarlo

araña online

Si tienes un sitio web, uno de tus principales objetivos será posicionarte en la parte superior de las páginas de resultados de los motores de búsqueda (SERPs). Esto solo es posible si a Google le «gusta» tu página. En este artículo hablaremos del crawl budget o presupuesto de rastreo, explicaremos qué es y qué tiene que ver con el aumento de tu visibilidad en términos de clasificación.

crawl budget

El objetivo, cuando se trabaja con SEO, es tener una buena posición en los resultados de los motores de búsqueda, preferiblemente en la primera página y hacia la parte superior.

Hay muchas cosas que puedes hacer y optimizar para alcanzar este objetivo: puedes investigar palabras clave, crear buen contenido, usar enlaces externos e internos... y aprovechar al máximo tu presupuesto de rastreo (y posiblemente aumentarlo).

El concepto detrás del presupuesto de rastreo es muy técnico, por lo que trataremos de explicarlo de manera sencilla y te diremos cómo puedes optimizarlo.

Índice:

¿Qué es el presupuesto de rastreo o Crawl Budget?

presupuesto de rastreo

Antes de empezar, tenemos que explicar brevemente tres términos clave. Estos se emplean a menudo como sinónimos, pero en realidad tienen diferentes significados.

¿Qué significa escanear, indexar y posicionar una página?

  • En primer lugar, el Robot de Google escanea la página. Esta puede ser una página nueva con nuevo contenido o una página ya existente con contenido actualizado.

  • Durante el escaneo, se indexa la página, lo que significa que se tiene en cuenta en la base de datos del motor de búsqueda y puede aparecer en las SERPs.

  • Luego, Google decide dónde posicionar (o clasificar) la página en respuesta a las consultas de búsqueda de los usuarios.

Habiendo explicado esto, podemos comenzar...

El presupuesto de rastreo es el tiempo que Google decide invertir en indexar y escanear las páginas de un sitio web.

Profundicemos un poco más en esa definición:

La araña de Google, también llamado Robot de Google, es responsable de escanear todas las páginas de la web. Realiza un rastreo profundo una vez al mes y un rastreo fresco casi todos los días.

El Robot de Google visita tantas URLs como sea posible, ya que Google está hambriento de contenido. Los escaneos se realizan para actualizar el nuevo contenido de la web y proporcionar a los usuarios una respuesta relevante a sus consultas de búsqueda.

New Call-to-action

El tiempo que el Robot de Google pasa indexando y escaneando las páginas es limitado. Por el contrario, no todas las URLs se escanean regularmente. Por eso es tan importante optimizar tu presupuesto para el rastreo. Cuanto mejores sean tus páginas y más fáciles de leer sean, más tiempo invertirá el Robot de Google en leerlas.

Por lo tanto, cuantas más páginas sean escaneadas e indexadas por el Robot de Google, más posibilidades tendrás de aparecer entre los primeros puestos en las SERPs.

Estas son las preguntas que probablemente te harás después de leer este apartado:

  • ¿Le gusta a Google mi sitio web?

  • ¿Cuánto tiempo pasa el Robot de Google en mis páginas?

  • ¿Puedo aumentar mi presupuesto de rastreo?

Las respuestas a estas preguntas las encontrarás en el siguiente apartado.

Cómo averiguar a cuánto asciende el presupuesto de rastreo

reloj de arena

Google Search Console, una herramienta útil y gratuita, te ayudará a realizar el seguimiento de la actividad del Robot de Google en tu página. Esta herramienta te permite saber cuántas solicitudes por segundo dedica el motor de búsqueda a tu sitio web y cuánto tiempo transcurre entre los escaneos individuales.

Es fácil conocer la actividad del Robot de Google en los últimos 90 días. Así puedes ver las estadísticas del escaneo:

  • Ve a la Google Search Console

  • Haz clic en «Herramientas e informes anteriores»

  • Haz clic en «Estadísticas de escaneo»

Se mostrarán tres gráficos, uno al lado del otro, y con tres valores (alto, medio y bajo). El primer gráfico muestra las páginas que ha escaneado el Robot de Google por día, el segundo muestra los kilobytes descargados diariamente, y el tercero muestra el tiempo empleado en descargar una página.

En el primer gráfico, se puede decir que cuanto más alto sea el valor, mejor. Sin embargo, para el segundo y el tercer gráfico, es justo lo contrario.

Así mismo, una descarga más rápida significa que, con el presupuesto de rastreo disponible, se pueden escanear más páginas.

Cómo convencer a Google para que vuelva a tus páginas más a menudo

Si has notado que tu presupuesto de rastreo no es muy alto, que no cunda el pánico. Hay algunos trucos sencillos que puedes utilizar para convencer al Robot de Google de que escanee tu página más: 

  1. Crear regularmente contenido de alta calidad

  2. Actualizar regularmente tu contenido (nuevo y viejo)

  3. Variar el contenido, lo que significa que no solo el texto debe dominar tu página, sino que también debes incorporar imágenes, videos, PDFs, etc.

  4. Asegúrate de que la organización de tu mapa de sitio sea clara y legible para Google, especialmente si estás dirigiendo un sitio grande. No olvides tampoco sincronizar tu mapa del sitio en la Google Search Console.

  5. Utiliza enlaces internos en todas tus páginas. De lo contrario, el Robot de Google podría terminar en un «callejón sin salida» si hay páginas que no tienen ningún enlace interno en ellas.

  6. Así que piensa también en los backlinks o enlaces entrantes. Cuantos más tengas, más probable sea que Google considere escanear tus páginas. También son fundamentales para aumentar la popularidad de tu página.

La popularidad de tu sitio web es fundamental. Según Google, «las URLs más populares de internet suelen ser escaneadas más a menudo para mantenerlas actualizadas en nuestro índice».

Entonces, ¿cómo puedes optimizar tu presupuesto de rastreo?

crawl budget

Si has seguido los consejos anteriores y has conseguido captar la atención de Google, es hora de centrarse en el SEO. "Optimizar" en este sentido significa maximizar el "poco" tiempo que el Robot de Google dedica a tu página.

Si tu sitio web cuenta con páginas que no tienen ningún valor añadido para los usuarios o que presentan contenido duplicado, estás arriesgando a que el Robot de Google pierda un tiempo valioso. Esto es, por supuesto, algo que quieres y tienes que evitar.

Ten siempre en cuenta esto:

Un sitio web popular con contenido reciente o actualizado aumentará el presupuesto de rastreo.

Por el contrario, el contenido duplicado, de baja calidad y que ya no está actualizado, además de las páginas 404, disminuirán el presupuesto de rastreo.

Aunque parezca obvio, crear contenido de baja calidad es contraproducente. De hecho, existe el riesgo de que el Robot de Google pierda tiempo escaneando páginas con contenido de baja calidad en lugar de poder escanear páginas de alta calidad que son populares y están también actualizadas.

Google ya es bastante bueno haciendo su trabajo. Sin embargo, puedes ayudarle teniendo un contenido de alta calidad y manteniéndolo actualizado.

Así que hay dos cosas del presupuesto de rastreo que puedes optimizar: en primer lugar, puedes aumentar el presupuesto de rastreo y disminuir el tiempo entre escaneos.

8 consejos para optimizar y aumentar tu presupuesto de rastreo

1º Un servidor rápido

La velocidad es esencial porque el tiempo que el Robot de Google dedica a las páginas no es ilimitado.

Optimizar el tiempo de descarga de una página significa permitir que el Robot de Google dedique más tiempo a las demás. Aquí hay algunos consejos que puedes tener en cuenta:

  • Invertir en un servidor de calidad

  • Optimizar el código fuente para hacerlo más "legible" para el Robot de Google

  • Comprimir las imágenes sin tener que renunciar a la calidad. Tinypng es un ejemplo de sitio web gratuito que reduce el tamaño de los archivos de imágenes.

2º (Re)organiza la estructura del sitio

blogimage-web_crawler-3

Seguramente conozcas esta imagen, que muestra cómo se debe estructurar idealmente un sitio web. Una estructura clara y lineal de las páginas de tu sitio web te permite aprovechar tu presupuesto de rastreo. Por lo tanto, el Robot de Google podrá fácilmente escanear e indexar más páginas.

Presta atención a los siguientes puntos:

  • Sigue la famosa regla de los tres clics, que establece que un usuario debe poder acceder de una página de tu sitio web a otra cualquiera, con un máximo de tres clics. 

  • Evita las páginas sin salida. Estas son las páginas que no tienen ningún enlace interno o externo.

  • Utiliza para tu sitio URLs canónicas en el mapa del sitio. Aunque no ayude a aumentar tu presupuesto de rastreo, permite a Google comprender qué versión de la página debería tenerse en cuenta para el escaneo e indexación.

3º Usa enlaces internos

Los enlaces internos, que sirven básicamente para profundizar en un determinado tema, deben apuntar a las páginas que quieres que el Robot de Google tenga en cuenta.

Si señalas tus páginas preferidas, tienes más posibilidades de que el rastreador termine escaneándolas. Google se centra más en páginas que contienen muchos enlaces (tanto internos como externos).

4º Arregla los enlaces rotos

Los enlaces rotos no solo te penalizan en términos de clasificación, sino que también desperdician el valioso presupuesto de rastreo que tienes.

5º Utiliza enlaces de no seguimiento

Los enlaces de no seguimiento hacen que ahorres en tu presupuesto de rastreo ya que le dicen al Robot de Google que no pierda tiempo en escanearlos. Estas páginas podrían ser las que definas como menos importantes en tu sitio o las que ya están enlazadas dentro de un cierto tema o categoría y no deberían ser escaneadas varias veces.

6º Optimiza el txt

Robots.Txt, un simple archivo de texto, es útil para bloquear páginas poco interesantes. También proporciona una guía para el contenido de cada página y le dice a Google cómo escanearla.

El robot.txt es fundamental si quieres evitar que el rastreador pierda el tiempo con esas páginas que no necesitan ser escaneadas. Estas podrían ser páginas privadas o páginas de administradores. También es útil indicar qué páginas deben ser escaneadas.

7º Actualiza tu contenido

No se puede decir más claro: la actualización de tu contenido conlleva a un aumento del tiempo que Google te dedica.

8º Elimina el contenido innecesario o duplicado

Deshacerse de todas las páginas que ya no son relevantes o que no tienen mucho tráfico evitará que desperdicies tu presupuesto de rastreo. Si no quieres perder completamente el contenido de estas páginas, puedes moverlo a (o combinarlo con) páginas nuevas o similares.

En este aspecto, no te olvides de los enlaces entrantes. Si otras páginas hacen referencia a una página que estás a punto de borrar, tienes dos opciones: puedes hacer una redirección 301, que le dice al motor de búsqueda que a esta página se accede ahora desde otra URL, o puedes cambiar directamente la URL del enlace entrante.

Cómo reducir el tiempo entre escaneos

Al actualizar regularmente tu contenido, notarás un aumento en las exploraciones del Robot de Google. Cada vez que el Robot de Google visita una página y encuentra contenido actualizado, tu presupuesto de rastreo crece.

Conclusión

El secreto del éxito es saber gestionar y aumentar el presupuesto de rastreo. Si tu contenido es bueno y tus páginas son fáciles de leer, es casi seguro que un rastreo más frecuente conduzca a un aumento de la visibilidad (es decir, una mayor clasificación en las SERPs).

Lo que tienes que tener siempre en cuenta es que cuando se habla del presupuesto de rastreo, siempre tienes que pensar en optimizar las páginas.

SEO para tiendas online

 

24/03/2020
Seleccionar país: