El mundo del posicionamiento web es un campo muy amplio y que implica fijarse en numerosos detalles: estructuras, enlaces, tamaños, palabras claves, etc. Por eso, el análisis de una plataforma se presenta como un proceso fundamental para optimizar el SEO (Search Engine Optimization) de un portal web. A este análisis se le conoce con el término anglosajón “Crawling”.
¿Qué es el crawling?
Antes de aprender cómo hacer un crawl, se antoja necesario saber de qué se trata. Crawling significa rastreo e indexación. En otras palabras, consiste en obtener la mayor cantidad de información posible sobre un portal web. Este análisis permite conocer a la perfección la estructura de una web y solucionar cualquier problema que pueda existir en ella, desde la red de enlaces internos y externos hasta la duplicación de etiquetas.
Este análisis es fundamental, ya que los motores de búsqueda, encargados de posicionar los portales web en las SERPs (Páginas de Resultados del Buscador) ante las búsquedas de los internautas, cuentan con rastreadores para la indexación. Durante este proceso, este robot escanea el contenido de los portales y sus enlaces, creando así un mapa completo de cada portal. También se encargan de tener en cuenta otros aspectos como los correos electrónicos o las cuentas en redes sociales.
Tras el análisis, los resultados se envían al catálogo del motor de búsqueda (Google, Bing, etc.). Esto sirve para confirmar la presencia del portal web en los buscadores de internet, aunque no implica que mejore su posicionamiento web natural.
Evidentemente, este proceso es básico para garantizar la pertinencia del contenido del portal y eliminar los enlaces inútiles en las bases de datos.
El crawling, como sucede con todo tipo de análisis, requiere ciertos conocimientos previos. En otras palabras, el encargado de hacer un crawling deberá saber utilizar Excel (ya que los resultados suelen ofrecerse en una hoja de cálculo), así como conocer las bases del SEO y del lenguaje de programación para los portales de gran tamaño. Con todo esto, se puede aprender cómo hacer un crawl, analizar los resultados y aplicar las acciones necesarias para optimizar el portal web.
Herramientas disponibles para el crawling
En la actualidad, existe una multitud de herramientas SEO, ya sean gratuitas o de pago, que permiten rastrear y analizar un portal web. Entre ellas, destacan las gratuitas LinkExaminer y Xenu, mientras que, por parte de las de pago, podemos optar por Screaming Frog Spider (gratis hasta 500 enlaces), Deep Crawl o Botify.
Las diferencias más destacables entre las herramientas gratuitas y de pago suelen ser las siguientes:
- Las herramientas de pago ofrecen mayor cantidad de información que las gratuitas (aunque es cierto que los portales más pequeños no suelen necesitar tanta información).
- Ciertas herramientas de pago muestran gráficos y seguimientos de forma automática.
- La externalización del crawling solo está disponible en algunas herramientas de pago (usando así sus direcciones IP).
Factores que influyen en el crawling
Para saber cómo hacer un crawl y sacarle el máximo partido, es necesario centrarse en los factores que influyen en este análisis.
La red de enlaces del portal web
El netlinking, lo que se conoce como la estrategia basada en los enlaces, es uno de los factores que juegan un papel importante en el posicionamiento web natural. En él, se diferencian dos aspectos fundamentales:
- Los backlinks (también conocidos como enlaces entrantes) son los enlaces que dirigen al internauta a tu página web desde un portal externo. De esta forma, los motores de búsqueda clasifican los backlinks en función de su calidad, fiabilidad, pertinencia, método de redireccionamiento, ancla del enlace, etc.
- La red de enlaces internos no solo es importante para el SEO, sino que, además, sirve para mantener al internauta activo en un mismo portal.
El contenido del portal web
¡Cuántas veces habremos oído eso de “el contenido es el rey” cuando se trata de posicionamiento web! Pues bien, no iba a ser menos para el crawling. En este aspecto, destacan varios elementos que influyen en gran medida en este proceso:
- El nombre del dominio es como la carta de presentación de una web. Y si, además, está optimizado, pues mejor posicionado se encontrará en las SERPs.
- El sitemap es un archivo XML que se encarga de enumerar los enlaces que deben ser indexados. Se utiliza con todos los CMS (Sistema de Gestión de Contenidos) para facilitar la tarea a los motores de búsqueda.
- El contenido duplicado es uno de los elementos que se penalizan en el posicionamiento web para los motores de búsqueda.
- Las etiquetas HTML que permiten insertar palabras claves que, aunque los internautas no las ven, ayudan al posicionamiento natural en los motores de búsqueda.
¿Cómo hacer un crawl?
Llegamos al punto clave de este artículo: Cómo hacer un crawl. Sin embargo, cabe destacar que cada herramienta tiene sus propias características. Por ello, y porque la interfaz de las herramientas de crawling suele ser muy intuitiva, vamos a basarnos en la configuración del crawling, algo básico para aprender cómo hacer un crawl correctamente.
Para ello, ten en cuenta estos tres aspectos:
- Realiza el crawling desde un ordenador que sea lo suficientemente potente como para trabajar durante varias horas sin parar. Si el portal web tiene pocas páginas, un ordenador portátil podría ser suficiente. En caso de usar una herramienta externa (como Deep Crawl o Botify), el ordenador no debería ser un problema para completar el crawling.
- Ajusta la velocidad del crawling según tus necesidades. Evidentemente, analizar 10 páginas por segundo en lugar de solo 2 resulta mucho más rápido, pero te arriesgas a que tu portal se caiga, bloquees tu dirección IP o tu ordenador se quede pillado. Lo recomendable es realizar un crawling de 2 o 3 páginas por segundo.
- Configura el User-Agent. Para tener la misma visión que Google, es necesario que el portal web te identifique como el robot de dicho motor de búsqueda. Por ello, se recomienda elegir “Googlebot” como User-Agent en la configuración del crawling.
¿Por qué es importante hacer un crawling?
Una vez aprendido cómo hacer un crawl, descubrimos que el crawling de un portal web es especialmente útil, tanto para la indexación en los motores de búsqueda como para la estrategia SEO de la empresa.
- Indexación del portal web: El crawling es un elemento determinante para el posicionamiento en los resultados naturales de Google y del resto de motores de búsqueda.
- Estrategia SEO: El crawling se presenta, hoy en día, como una parte fundamental de los análisis SEO. De hecho, permite descubrir las mejores que deben realizarse para optimizar el posicionamiento web del portal.
¿Cuál es el objetivo de los motores de búsqueda cuando hacen un crawling?
Como con cualquier producto o servicio del mercado, el objetivo es destacar entre la multitud ofreciendo páginas web únicas, de calidad y correctamente optimizadas. Este objetivo, como es lógico, es común para todos los motores de búsqueda: Google, Bing, Yahoo!, etc.
Para convencer a los internautas de que sigan utilizando un motor de búsqueda, el servicio debe destacar principalmente por ofrecer los resultados más relevantes y pertinentes para el usuario. En otras palabras, el motor de búsqueda premia a los portales que publican un contenido más adaptado a las necesidades de los internautas.
De esta forma, si un portal ofrece un contenido de calidad, es más probable que se encuentre bien posicionado en las SERPs. Para asegurarse de ello, las arañas o robots de Google y del resto de motores de búsqueda se encargan de rastrear las diferentes páginas web con la mayor regularidad posible para asegurarse de que los portales están actualizados y publican nuevos contenidos fáciles de indexar y con regularidad. Por eso, es importante saber cómo hacer un crawl.
¿Cómo optimizar una web para el crawling de los motores de búsqueda?
En este momento, lo importante ya no es saber cómo hacer un crawl, sino cómo convencer a los robots de los motores de búsqueda de que nuestro portal web es el mejor para las búsquedas de los internautas.
Para ello, ten en cuenta los siguientes consejos:
- Aprende cómo funcionan los robots. Para posicionarse en los primeros resultados de las SERPs, los robots de los motores de búsqueda visitan cada portal web con cierta regularidad. Por eso, es importante ofrecer un contenido único que se centre en las palabras claves relacionadas con el sector de actividad de la empresa y que sea fácilmente indexable. Cuando decimos indexable, nos referimos a facilitarle la tarea a los robots para que descubran rápidamente la estructura del portal y su temática. Por ello, sé meticuloso en todos los elementos SEO de tu portal: títulos, etiquetas, enlaces, etc. No olvides configurar tu archivo robots.txt.
- Inserta palabras claves pertinentes. Las palabras claves son la base del posicionamiento web natural. Por ello, antes de diseñar una página web, debes definir en torno a qué palabra clave se relaciona con el resto de tu portal.
- Crear una buena red de enlaces internos y externos. Ya mencionados entre los factores que influyen en el crawling de un portal web, es inevitable volver a hablar de los enlaces. La red de enlaces internos permite a los robots explorar todo el portal, mientras que la de enlaces externos (combinada con los internos) ayuda a entender mejor la temática del portal y a mejorar la indexación en los motores de búsqueda.
Por suerte, todos estos consejos se pueden verificar con facilidad una vez que sabemos cómo hacer un crawl correctamente.
