Busquedas en internet
2.6.03
 
El proyecto Grub.org comprado por looksmart, es el primer buscador con ingeniería distribuída, al estilo proyecto SETI. De esta manera la computadora de cualquier usuario "voluntario" de internet bajándose un pequeño software, será parte de quizás el mayor "buscador" basado red de computadoras compartidas que rastrearán millones de sitios webs.
Muchos se preguntan para que puede servirnos utilizar este programa como screenserver... o hacerlo funcionar unos minutos para rastrear cientos de webs...
Las ventajas de su utilización pasa porque puedes "personalizar" a través del API de código abierto que ofrece, permitiendo de esta manera un rastreo que da prioridad a webs que existan en tu servidor propio o externo. Por ejemplo, bajándote un archivo.txt (ver local crawling) y subiéndolo luego en el directorio donde tienes el index de una web, te permitirá automatizar el proceso y de esta manera tu web estará permanentemente actualizada en la base de datos de este inmenso buscador...
Piensa de que a diferencia de google que hay que esperar meses quizás para que rastree tu web a pesar de avisar de que existe... con grub tu podrás incorporarla a la gran base de datos en segundos, y dejar de ser una web invisible para quién busque información en la red...
El proyecto en sí tiene una capacidad de búsqueda de 10.000 millones de búsquedas diarias, lo que significa que, de cubrirse en toda su capacidad, el buscador actualizaría los datos de la Web entera todos los días (Google actualiza sus índices cada 30 días). Para tener una idea, Google recolecta datos de 150 millones de páginas por día, mientras que Grub, recién en sus comienzos, ya busca en 130 millones de paginas por día.

En estos momentos el buscador Wisenut y looksmart ya utilizan la tecnología del robot compartido Grub... un proyecto ambicioso donde dependerá de la implicación de quién quiera que su computadora sea parte de un inmenso robot y vea materializada realmente las ventajas del "local crawling".