A melhor forma de um buscador encontrar e indexar todas as páginas de um site é usando o protocolo do Sitemaps, que nada mais é que um arquivo XML com todos os links de páginas do site e alguns detalhes adicionais. Os principais buscadores como Google e Yahoo! usam este artifício através de suas ferramentas Google Web Masters Central e o Yahoo! Site Explorer respectivamente.

Para quem usa algum sistema de gerenciamento de conteúdo, normalmente é fácil gerar através de suas próprias ferramentas, como é o caso do Wordpress e o plugin Google XML Sitemaps. Para quem não usa sistema nenhum sistema de gerenciamento recomendo o site XML-Sitemaps.com que gera rapidamente todos os arquivos válidos necessários para o seu site.