O robot.txt é um arquivo texto que serve para controlar quais mecanismos de busca podem identificar seu site para ser exibido ou não em resultados de busca. Para não ter erro na sua confecção o Google incorporou o serviço de geração dos arquivos na sua já conhecida ferramenta Google Webmasters Central. Outra vantagem do novo serviço do Google é que ele tem as listas dos buscadores de todo o mundo. Depois de criado o arquivo deve ser colocado na raiz do servidor onde seu site está hospedado.