Escolha entre permitir todos os bots ou bloqueá-los totalmente. As regras específicas são controladas pelas listas Permitir/Bloquear abaixo.
Use Bloquear para informar quais caminhos os robôs não devem acessar. Deixe vazio para liberar tudo.
Use Permitir para liberar caminhos específicos que poderiam ser bloqueados por regras gerais.
Defina políticas dedicadas para rastreadores populares: Padrão = seguir regras globais, Bloquear = impedir acesso, Permitir = liberar totalmente.
| Crawler |
User-agent |
Política |
| Google Web |
Googlebot |
|
| Google Image |
Googlebot-Image |
|
| Google News |
Googlebot-News |
|
| Bing Web |
Bingbot |
|
| Bing Preview |
BingPreview |
|
| Baidu |
Baiduspider |
|
| Yandex |
YandexBot |
|
| DuckDuckGo |
DuckDuckBot |
|
| Sogou |
Sogou web spider |
|
| 360 Search |
360Spider |
|