Escolha entre permitir todos os bots ou bloqueá-los totalmente. As regras específicas são controladas pelas listas Permitir/Bloquear abaixo.
Use Bloquear para informar quais caminhos os robôs não devem acessar. Deixe vazio para liberar tudo.
Use Permitir para liberar caminhos específicos que poderiam ser bloqueados por regras gerais.
Defina políticas dedicadas para rastreadores populares: Padrão = seguir regras globais, Bloquear = impedir acesso, Permitir = liberar totalmente.
Crawler User-agent Política
Google Web Googlebot
Google Image Googlebot-Image
Google News Googlebot-News
Bing Web Bingbot
Bing Preview BingPreview
Baidu Baiduspider
Yandex YandexBot
DuckDuckGo DuckDuckBot
Sogou Sogou web spider
360 Search 360Spider
Nem todos os buscadores suportam essa diretiva, mas ela pode reduzir a carga do servidor.
Informe a URL completa do sitemap para ajudar na indexação.