Definición de Indexación
Indexación es la acción por la cual las páginas web son encontradas por los Motores de Búsqueda y almacenan la información en sus servidores.
Los Motores de Búsqueda rastrean e indexan las páginas web que hay en internet mediante los enlaces o links que hay entre ellas, por eso es muy popular la frase “si nadie te enlaza no existes” porque los Motores de Búsqueda no podrán encontrar tu web.
A día de hoy esta afirmación no es 100% cierta ya que existen herramientas que nos ayudan a que los Motores de Búsqueda puedan encontrar nuestra web e indexar todas las páginas que la contienen.
Ayuda a los Motores de búsqueda para que te indexen
- Sitemap.xml: Archivo básico que deben tener todas las páginas web en su servidor. Este archivo contiene todas las URLs que queremos que los Motores de Búsqueda rastreen e indexen. Se puede personalizar indicando cada cuanto se actualiza esa URL, qué peso tiene esa URL en tu web, la fecha en la que fue creada, etc.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.misitio.es/</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url></urlset>
Si tu sitio web no es muy grande puedes hacer manualmente el archive pero deberás actualizarlo cada vez que añadas una página nueva al site.
Para sitios web de menos de 500 URLs se puede usar esta herramienta online gratuita de generador de sitemap.xml http://www.xml-sitemaps.com/ y si nuestro sitio es más grande ofrece una versión de pago.
Si tenemos un sitio web con subdominios o secciones con muchas páginas se debe hacer un sitemap.xml por cada una. No es obligatorio que el nombre del archivo sea “sitemap.xml” y podemos nombrar los archivos como: sitemap-seccion1.xml, sitemap-seccion2.xml, etc luego tenemos que acordarnos de comunicarle a los Motores de búsqueda cómo se llaman todos nuestros archivos.
En los sitios web gestionados por un CMS (Gestor de contenidos) lo ideal es que el propio gestor sea capaz de crear y actualizar automáticamente este archivo.
- urllist.txt: Este archivo hace la misma función que el sitemap.xml pero a nivel básico. Es un listado de todas las URLs del sitio web y sólo es usado por Yahoo!. También se coloca en la raíz del dominio.
- Robots.txt: Este es otro archivo básico que hay que tener en nuestro servidor. El robots.txt contiene los directorios de nuestra web que no queremos que los Motores de búsqueda indexen como carpetas de CSS o aquellas que sí queremos que las lean, por ejemplo le indicaremos la dirección exacta de donde hemos alojado el archivositemap.xml. Por defecto el sitemap.xml se coloca en la raíz del sitio web pero no siempre tiene que ser así.
User-agent: *
Disallow: /css/
Allow: http://www.misitio.es/sitemap.xml
- Archivos de verificación: Bing, Yahoo! Y Google nos ofrecen herramientas propias para comunicarles directamente que tenemos una web y queremos que la indexen. Estas herramientas han ido evolucionando y proporcionan mucha información sobre cómo el Motor de Búsqueda está indexando tu página web, por ejemplo: te indica el Nº de páginas indexadas que tiene de tu web, el Nº de enlaces que ha detectado que apuntan a tu sitio, errores que ha encontrado al rastrear tu web, etc.
Tener la verificación de los principales Motores de Búsqueda no es imprescindible pero es muy aconsejable tenerlo ya que nos aportan mucha información y todos tienen la opción de poder enviarles directamente la dirección de tu sitemap.xml para que lo vean:
- Bing: http://www.bing.com/toolbox/webmaster
- Yahoo!: http://siteexplorer.search.yahoo.com/ (herramienta fuera de servicio desde el 22 de Noviembre 2011)
- Google: www.google.com/webmasters/tools
Para verificar tu sitio web con estas herramientas lo único que necesitas es:
- Crear una cuenta de cada una de estas herramientas, para eso necesitas tener una cuenta de correo de cada uno de ellos (Hotmail, Yahoo y Gmail).
- Una vez creada la cuenta, te descargas el archivo de verificación y lo subes a la raíz del dominio.
- Vuelves a la herramienta e indicas que te verifique tu dominio. A partir de aquí el Motor de Búsqueda empezará a darte la información que tiene sobre tu web
Una vez empecemos a tener datos podremos comprobar si los Motores de Búsqueda están indexando todas las páginas de nuestro site o si faltan algunas en cuyo caso habrá que investigar el motivo. También podemos encontrarnos con que se estén indexando partes de nuestra web que no queremos, por ejemplo Yahoo! suele indexar archivos de programación (css, js, etc) que no nos interesan y tendremos que bloquear el acceso a través del robots.txt y desde la herramienta del Buscador solicitar que eliminen esos archivos de sus servidores.
Comprueba cuantas páginas tienen los Motores de Búsqueda indexadas de tu web
Escribe en la caja de búsqueda de cada Buscador site:elnombredetuweb.es
Ahora, en función de los resultados que tengas y sabiendo el Nº de páginas que tiene tu site puedes trabajar la indexación de tu sitio web
Actualización 23 Noviembre 2011
El pasado 21 de Noviembre fué el último día de funcionamiento de la herramienta para Webmaster de Yahoo!, ahora los datos de Yahoo! se han unificado en la herramienta para webmaster de Bing. Podéis leer los comunicados oficiales aquí:
No hay comentarios:
Publicar un comentario