Crawl Optimization: Cómo optimizar la indexación o rastreo de tu sitio

Una parte importante del SEO entender es el crawl o rastreo que hacen los motores de búsqueda (Google, Bing y Yandex). Para ello se analiza qué es lo que rastrean los robots de los motores de búsqueda en nuestro sitio y se conoce en qué páginas pasan más tiempo estos robots.

Las prácticas para mejorar el rastreo de los buscadores se conoce como Crawl Optimization.

Para tener un adecuado crawl optimizacion, que podríamos llamar “optimizción de rastreo” en español, hay que dar seguimiento, monitorear y dirigir a los robots, para que rastreen todas las páginas y suban el page rank de  todo el sitio.

Estos son los pasos principales para lograr una Crawl Optimization:

1. Considerar a los motores de búsqueda como usuarios, por lo que deben tener una experiencia agradable en la navegación de tu sitio.
2. Arquitectura plana. Al realizar el mapa del sitio se debe considerar el número de clics que se necesitan dar para llegar a la página de conversión. No deben ser más de 8 clics, pero tampoco se deben quitar todos los menús y submenús arbitrariamente. Debe haber una secuencia lógica en el desarrollo de los menús, realizando una reducción de páginas de forma inteligente.
3. Crear un mapa de sitio en XML para que sea detectado por los motores de búsqueda.
4. Dar mantenimiento a tu mapa de sitio XML, realizando una actualización inmediata cada vez elimines un documento o agregues una página nueva a tu sitio. Actualizar tu mapa del sitio mejorará la experiencia de los buscadores y hará que rastreen la nuevas páginas de inmediato. En sistemas administradores de contenido como WordPress eso es realizado automáticamente por plugins como Yoast SEO.
5. En los sitios grandes se recomienda usar el «hot sitemap» que muestra sólo las URL que han cambiado recientemente. Los motores de búsqueda tienden a rastrear con frecuencia los mapas de sitio que son modificados continuamente. Una forma más práctica para el manejo de mapas de sitio es utilizar un plug-in , como Google XML Sitemaps, que además de actualizar tu mapa del sitio cada vez que haces cambios en tu sitio, también le informa a los buscadores sobre los cambios que realizaste.
6. Dar seguimiento de los motores de búsqueda. Debes ubicar en dónde pasan mucho tiempo los buscadores y si vale la pena. Si los motores se encuentran con páginas duplicadas o con enlaces de correo electrónico en todas las páginas de productos, bajan la evaluación y el PageRank de tu sitio web pues son páginas sin valor que se consideran páginas chatarra.
7. Tener una gestión de tus parámetros de URL inteligente. Las URLs que aparecen en el mapa del sitio deben estar actualizadas y con versiones canónicas. La estructura de  las URLs debe ser limpia y simple para tener una mejor clasificiación por parte de los motores de búsqueda.
8. Utilizar etiquetas rel = PREV / NEXT para definir la relación entre las páginas y hacer una clasificación de las mimas. Con esto los motores de búsqueda rastrean las páginas que están asociadas a un menú y entienden rápidamente la relación que tienen dichas páginas.
9. Usar los robots.txt de forma inteligente para dirigir a los robots con el uso de la coincidencia de patrones. Esto ahorra tiempo a los motores de búsqueda al rastrear las páginas de forma coordinada. Al utilizar los robots.txt hay que verificar su aplicación para que no bloqueen todo el sitio.
10. Optimizar la estructura de enlaces internos. Debes revisar que los enlaces internos estén actualizados, porque cada enlace roto disminuye el valor SEO de esa página. También hay que reevaluar los menús de navegación y el cruce de enlaces, para que las páginas con bajo PageRank se rastreen con más frecuencia. Existen algunas herramientas  para identificar los enlaces y los redirecionamientos que tiene su sitio web como screaming frog.
11. Incluir las imágenes en el mapa del sitio para que los buscadores las puedan indexar más fácilmente. O bien crear un mapa del sitio de imágenes.
12. Crear un mapa del sitio de videos. Los videos son muy importantes para Google por la experiencia de usuario que ofrecen. Si pones un vídeo en tu sitio, actualiza mapa de videos para que sea más fácil indexarlo.
13. Si tienes manejas varias versiones de idioma en tu sitio, se recomienda usar la etiqueta hreflang. Esta etiqueta indica a los buscadores en qué idioma está cada página y cuáles son las páginas alternativas en otro idioma para que los buscadores ofrezcan la opción de idioma adecuada a cada usuario.
14. Si manejas mapas de sitio independientes de imágenes y videos, debes crear un índice de mapas de sitios para que los motores de búsqueda puedan navegar de un mapa de sitio a otro con facilidad.

Realizar esta optimización te ayudará a tener mejores resultados de forma orgánica en tu sitio web.