El 12 de marzo de 2014 se celebró el 25 aniversario de la creación de la World Wide Web por Sir Tim Berners-Lee en el CERN de Ginebra. La web había nacido en 1989 y en su primera década de vida pasó de ser un sistema de intercambio de información científica a ser un medio de comunicación y comercio de ámbito mundial.
La interconexión de redes y creación del lenguaje HTML a inicios de la década de los noventa del pasado siglo, permitieron el crecimiento masivo de Internet. Prueba de ello es que desde mediados de 1991 hasta la actualidad, la Web no ha cesado de desarrollarse y evolucionar con nuevas capacidades que completan y mejoran este sistema digital, hipertextual y en red.
El ejemplo más ilustrativo del crecimiento exponencial de la WWW es el del número de servidores web. En enero de 1993 había en marcha alrededor de 50 servidores web, creciendo hasta los 30 millones a finales de 2001 y alcanzando los 855 millones a fecha de mayo de 2014. Recientemente, tras tal incremento de servidores web, el antiguo protocolo de Internet, el sistema de direcciones IPv4, ha quedado agotado, mudando hacia el sistema actual IPv6.
La totalidad de la web es accesible vía Internet con un navegador web, sin embargo este sistema de distribución de documentos de hipertexto o hipermedios interconectados entre sí no puede navegarse a no ser que exista un mapa. A principios de Internet los directorios como Yahoo o Dmoz respondieron a esta necesidad, sin embargo, ese temprano crecimiento exponencial hizo imposible que los usuarios pudiesen absorber toda la información disponible, y supuso la aparición de distintos sistemas para localizar recursos relevantes sin perder demasiado tiempo, entre ellos los buscadores. Ante el imparable crecimiento de la web y la imposibilidad de catalogar todos los recursos que iban siendo publicados, los buscadores se hicieron indispensables.
El papel fundamental de los buscadores deriva de esta necesidad de navegar por la web. Para lograr ofrecer sus servicios, los buscadores copian la mayor parte de la web accesible a través de sus robots, y la muestran en forma de páginas de resultados. A fecha de 21 de mayo de 2014, se estima que la web indexada contiene un mínimo de 2,68 billones de páginas web, de ahí que los buscadores se hayan convertido en herramientas indispensables para sacar el máximo partido a toda la información acumulada en la web durante el último cuarto de siglo.