O que é um Crawler

É um software que tem a função de explorar toda a Web com vista a recolher e classificar conteúdos como páginas web, imagens, vídeos, ficheiros, etc.
Este sistema também é conhecido como spider, robot, bot ou indexador.

Entre os crawlers mais conhecidos contam-se o Googlebot, Bingbot, Yahoo Slurp e DuckDuckBot.

Crawler

Carlos Pinto Ascensão
Carlos Pinto Ascensão

Sobre o autor:

  • CEO da PWM - Power Web Marketing
  • Consultor de Marketing Digital
  • Docente em diversos cursos de pós-graduação
  • Autor do livro Google Marketing
  • Vice-Presidente do Fórum do Consumo

Mais sobre SEO

SEO Black Hat

Um dos desafios constantes dos motores de busca resulta do facto de tentarem enganá-los. A isso chama-se SEO Black Hat.

DuckDuckBot

É o robot usado pela DuckDuckGo para percorrer a Web, com vista a indexar os conteúdos encontrados e apresentá-los no seu motor de busca.

O que é um Crawler

É um software que tem a função de explorar toda a Web com vista a recolher e classificar conteúdos como páginas web, imagens, vídeos, ficheiros, etc.

2020-02-14T10:01:13+00:00
Go to Top