Los buscadores emplean un programa en busca de contenidos en Internet llamado araña (crawler o robot) que se encarga de ir rastreando todos los enlaces que encuentra e ir indexando las distintas páginas por donde pasa. Así es como un buscador va creando su índice, que es el conjunto de todas las páginas que tiene catalogadas. Lo que le da potencia a estas arañas es que son lanzadas desde miles de ordenadores de manera simultánea.

Cuando un usuario busca un término en el interfaz de búsqueda (página principal de Google, por ejemplo) lo que el buscador realmente está haciendo es buscar en su índice y los resultados que muestra son las entradas disponibles en dicho índice.

Cuanto más cambiante sea el contenido de una página más visitas de las arañas tendrá por lo que es fundamental que el contenido de una página sea ‘vivo’ para que está bien indexada. En especial mantendremos cambiante el contenido de las páginas más importantes de nuestra web (por eso es muy aconsejable que la home cambie constantemente de contenido)

Hemos comentado que las arañas van encontrando páginas siguiendo enlaces de otras páginas por lo que la mánera más rápida de que una página sea indexada será siendo enlazada por otra que ya lo esté. Por ejemplo una manera muy sencilla de enlazar una página sería introducir un enlace a la misma en un foro que esté bien indexado ya que los foros son sitios con contenido muy cambiante que las arañas visitan con mucha frecuencia. Además si el foro tiene relación con el contenido de nuestra página el buscador también asociará la temática de dicho contenido con nuestra página lo cual es una ventaja añadida a la propia indexación. Otro método sería darla de alta en los buscadores pero ningún buscador garantiza que una página esté realmente indexada por el simple hecho de darla de alta.

Al indexar una página el buscador siempre guarda una copia de la misma en lo que se denomina caché. Por ejemplo, si queremos ver el contenido de una página en concreto en la caché de google pulsaremos la opción ‘en caché’ de los resultados de búsqueda de disponibilidad y nos mostrará la página que almacenó google la última vez que su araña (googlebot) visitó dicha página.