25 COMENTÁRIOS

Deixe um comentário Seu endereço de email não será publicado.

  1. joilson disse:

    Olá, queria uma dica como faço para bloquear as pagina do menu porque eu botei : Disallow:contato so que não bloque-ou eu queria uma dica. Será que pode me ajudar.

  2. joilson disse:

    Ola,queria saber como eu posso impedir que os buscadores não visitar minha paginas. Estou com problema no meu dns aonde eu encontro o erro vindo desta pagina. ( ex:onde fica o link do menu proxima 123). Se puder me ajudar ficaria grato

  3. Como eu faço para saber exatamente quais paginas nao estao indexadas ?.. só consigo saber do numero.

  4. Rodrigo disse:

    Estou com um problema, criei um blog a mais ou menos 2 meses e não consigo encontra-lo nas pesquisas do google. Já fiz toda aquela parte de enviar a url, verificar prioridade e enviar sitemap para o google e até agora nada, se puder ajudar agradeço.

  5. leo bazilho disse:

    Nossa estou completamente perdido……….

  6. David disse:

    Valeu, ja tinha esquecido como configura-lo!

    Ate mais

  7. Celso disse:

    Olá,
    Meu site começou a gerar erros de HTML detectados pelo ferramentas para webmasters e está aumentando a cada atualização.
    O que está acontecendo é a geração do conteúdo duplicado de uma mesma página, ex:
    2008/09/bee-gees-–-forever.html
    2008/09/bee-gees-forever.html
    está página é a mesma mas ele detecta como conteúdo duplicado conforme o exemplo, ele interpreta uma com o – e outra vez sem o -.
    Gostaria de saber como posso bloquear essa duplicação de páginas por causa do – que tem nos títulos das páginas através do robots.txt.
    Poderia me ajudar?
    Obrigado.

  8. Junior-MaGgoT- disse:

    Eu posso pegar o robots.txt de um outro site bem indexado e apenas fazer algumas pequenas mudanças pro meu?
    porq muitas paginas estão sendo restringias pelo googlebot e eu nao sei mais oque fazer…
    mim ajuda..

    se alguem tiver uma dica de como eu tenho que fazermeu robots eu agradeço muito…

  9. Eu posso pegar o robots.txt de um outro site bem indexado e apenas fazer algumas pequenas mudanças pro meu?
    porq muitas paginas estão sendo restringias pelo googlebot e eu nao sei mais oque fazer…
    mim ajuda..
    meu s

  10. Boa tarde tudo bom?

    Inicialmente quero parabenizar pelo site e obrigado pelas dicas!
    Gostaria se pudesse me ajudasse não consigo enviar meu sitemap no google webmaster, o erro é a url está restrita por robots.

    Grato!

  11. Amigo então eu nao preciso ficar preocupado com URL restrito por robots.txt?
    Porque esto com um problemão com isso tambem..
    HTTP 0
    Inacessível 0
    Nos Sitemaps 0
    Não encontrado 17
    Não seguidos 0
    Restringido por robots.txt 41
    Tempo limite 0

    Araços.

  12. Uma dúvida, como faço para usuários mal intencionados não localizem/open o arquivo ROBOTS.TXT ?
    fiz um teste no google e ele mostra todos..

    robots filetype:txt

  13. Muito bom o post, muito bem exlpicado gostei muito, porem tem uma informação que eu gostaria muito de falar que é o caso de segurança, onde o Robot.txt é uma vazão de informação onde um atacante pode muito bem conseguir através da url do txt descobrir o caminho para a página default da administração do próprio site….

    quando você bota no txt “Disallow: /admin/” é uma informação que o atacante vai ficar muito feliz em saber 😛

    Grande Abraço muito booom seu blog !

  14. Olá Edson!
    Existem 2 maneiras! Primeiramente você pode esperar que que haja nova indexação e com o passar do tempo estes links sejam retirados normalmente.
    Ou é possível fazer redirecionamento permanente [301] de tais links para os locais desejados. Desta maneira, ao indexar será ratificado que ambas as URL’s são para mesmo destino. ;P

  15. Oi Benito!
    Não é um erro! É um aviso apenas, para que verifique que estas URL deveriam mesmo estar restritas. Os blogs utilizam estrutura com acesso a banco de dados, com links e tags canônicas. Desta forma limitam certas url para evitar conteúdo duplicado!

  16. Olá Arte!
    Visitei seu blog e achei muito interessante também! Parabéns!
    Obrigado pelo carinho, espero que o post tenha sido claro na especificação das URL’s restritas pelo robots.txt. Estas que nem sempre são problemáticas, mas que pelo contrário, servem para proteger seu site contra conteúdo duplicado, que seria uma técnica black hat SEO cabível de punição!
    Beijos!

  17. Olá Eli!
    Ter URL’s restritas pelo robots.txt não é sinal de problema em seu site. É necessário verificar, pois muitas URL podem gerar conteúdo duplicado, desta maneira, devem estar mesmo restritas!
    Beijos!

  18. Edson disse:

    olá amigo, eu tenho uma dúvida, e gostaria que vc me desse uma dica!
    Eu uso o plugin da pagenavi no meu site da wordpress!
    Com isso todos os link da paginavi estava sendo indexado pelo google! ex do link /page/
    Com isso, gerou um monte de paginas duplicadas, fui descobrir o robots.txt um tempo depois, onde bloquiei para não indexar esses links!

    Mas, porém, todavia, ainda tem varias paginas que já tinha cido indexado antes que eu tivesse bloqueado, e isso está causando uma série de erros, com meta descrição duplicada, conteúdo duplicado e outros!

    Gostaria de saber como faço para retirar estes links das pesquisas do google!

    Já tentei remover url pelo webmaster da google, mas lá só apaga links que estão fora do ar!
    Por favor preciso de sua ajuda. obrigado!

    Estarei a espera!

  19. Benito Pepe disse:

    Olá Elisangela, Notei uma queda imensa no movimento do meu site/blog, fui verificar, e achei esse problema de URL restrito por robots.txt, achei de inicio 72, depois retirei algumas imagens com links que havia disponibilizado como um menu no meu blog, não sei se foi coincidência mas após retirá-las caiu o erro para 63, e hoje resolvi retirar também mais algo e caiu o erro para 55, não sei se foi por acaso, gostaria de saber como posso acabar com esse erro de uma vez, é possível?

    Abraços do Benito Pepe

  20. Olá Elisangela…
    Eu cheguei aqui por causa da assustadora msg “URLs restritos pelo robots.txt” que a gente que é leigo encontra no Ferramentas para webmasters
    Ferramentas para Webmasters do Google e acaba sem saber o que fazer…
    Eu entrei pro Ferramentas ontem e hoje já achei isso…ASSUSTA mesmo…rsrs

    Pior que a gente olha, lê lá…lê artigos no google e continua na base do “o que é que eu faço?”

    E pelo jeito tem MUITA gente assim como eu na base do HELP…….rs

    Abraço

    E parabéns por entender disso MUITO complicado pro meu gosto…rs

  21. Eli receitas disse:

    Olá Elisangela, suas dicas são bastante valiosas, dei uma olhada na situação do meu blog na central de ajuda para webmasters e descobri que meu blog tem 44 URLs restritos pelo robots.txt , como eu posso resolver esta situação, qual conselho você pode me passar?
    Abraços e obrigado desde já.

  22. Olá Bethcruz

    Que bom que nossas dicas estão sendo úteis para você 🙂
    Qualquer dúvida sobre robots.txt ou sobre qualquer outro assunto do nosso blog, só deixar seu comentário.

    Abraço !

  23. Olá Alex Cristian

    Que bom que você está gostando do nosso trabalho.
    O robots.txt é um elemento importantíssimo e deve estar sempre presente nos sites ou blogs. Mesmo que você não tenha nenhuma pasta ou página para bloquear é interessante usa-lo para indicar a localização do sitemap.
    Exemplo de um sitemap genérico ( sem nada bloqueado e indicando a localização do sitemap ):

    Sitemap: http://seusite.com.br/sitemap.xml
    User-agent: *
    Disallow:

  24. Bethccruz disse:

    Adorei suas dicas, com certeza voltarei sempre aqui.
    Inclusive vou colocar o link do seu blog nos meus favoritos.
    Valeu,
    Abraço

  25. Parabéns pelo post.
    Estou começando na blogosfera e é bom ter estas dicas, vou dar uma olhadinha no meu robots.txt agora… xP
    Abraços,
    Al3x Eng