Mostrar 

Exclusões de Página Web

Para configurar este crawler de forma a evitar a importação de páginas Web indesejadas para o portal:

  1. Por default, este crawler segue as recomendações do servidor Web sobre quais páginas podem ser úteis para crawlers de conteúdo automatizados. Para ignorar essas recomendações, desmarque a caixa de seleção Obedecer aos protocolos de exclusão do robô do site de destino.

    Em geral, essas recomendações ajudam a limitar o crawling de conteúdos indesejados para o portal. Entretanto, alguns sites apresentam recomendações muito severas. Se o crawler não estiver importando nenhum conteúdo de um site, tente desativar essa opção.

  2. Por default, o crawler salva os URLs de páginas Web importadas no formato usado no Website de origem. Para alterar os URLs para minúsculas, selecione Converter todos os URLs em minúsculas.

  3. Para evitar a importação de conteúdos de uma área de um Website ou evitar a importação de páginas específicas:

  4. Por default, o crawler não rastreia nem importa nenhuma página especificada nas exclusões. Se o crawler navegar de um link numa página excluída para uma página que não esteja excluída e que deveria ser importada, selecione Rastrear páginas excluídas, mas não importá-las.

  5. Para limitar o crawling a uma área de um Website ou a páginas específicas:


  1. Clique em Administração.
  2. Abra o Editor de crawlers de Conteúdo:
  3. À esquerda, em Editar Definições do Objeto, clique em Exclusões de Página Web.