O que é um Crawler

É um software que tem a função de explorar toda a Web com vista a recolher e classificar conteúdos como páginas web, imagens, vídeos, ficheiros, etc.
Este sistema também é conhecido como spider, robot, bot ou indexador.

Entre os crawlers mais conhecidos contam-se o Googlebot, Bingbot, Yahoo Slurp e DuckDuckBot.

Crawler

Carlos Pinto Ascensão
Carlos Pinto Ascensão

Sobre o autor:

  • CEO da PWM - Power Web Marketing
  • Consultor de Marketing Digital
  • Docente em diversos cursos de pós-graduação
  • Autor do livro Google Marketing
  • Vice-Presidente do Fórum do Consumo

Mais sobre SEO

DuckDuckBot

É o robot usado pela DuckDuckGo para percorrer a Web, com vista a indexar os conteúdos encontrados e apresentá-los no seu motor de busca.

Link Farms

São websites que contêm listas incomensuráveis de links com o objetivo de manipular os motores de busca. Também se usa este termo para referir grupos de sites que lincam entre si.

Doorway Page

Técnica de SEO black hat destinada a melhorar o posicionamento nos motores de busca por determinados termos, enviando os utilizadores para uma página diferente daquela em que entraram.

2020-02-14T10:01:13+00:00
Go to Top