O que é um Crawler
É um software que tem a função de explorar toda a Web com vista a recolher e classificar conteúdos como páginas web, imagens, vídeos, ficheiros, etc.
Este sistema também é conhecido como spider, robot, bot ou indexador.
Entre os crawlers mais conhecidos contam-se o Googlebot, Bingbot, Yahoo Slurp e DuckDuckBot.