Google processa 1 trilhão de URLs de uma única vez

A empresa Google, através de seu blog oficial, anunciou hoje que atingiu o marco de processamento que chega a 1 trilhão(1,000,000,000,000) de URLs de uma única vez, o que demonstra de forma assustadora a imensidão da internet e o sistema de varredura do buscador.

Segundo a empresa, o primeiro índice do buscador em 1998 já contabilizava 26 milhões de páginas, no ano seguinte em 2000, o índice já alcançava a marca de um bilhão de endereços. Como o Google encontra todo esse conteúdo? Tudo começa por páginas bem conectadas com a rede, o que possibilita ao famoso Googlebot varrer todos os links em busca de novas páginas.

“Nós encontramos mais de um trilhão de links individuais, mas nem todos conduzem para páginas únicas de intermet. Muitas das páginas têm múltiplas URLs com exatamente o mesmo conteúdo ou são URLs auto-geradas com múltiplas cópias. Mesmo após a remoção dessas duplicatas, encontramos um trilhão de URLs exclusivas, enquanto o número de páginas individuais da web crescem bilhões por dia” descreveu o Google.