O que é um Crawler
É um software que tem a função de explorar toda a Web com vista a recolher e classificar conteúdos como páginas web, imagens, vídeos, ficheiros, etc.
TLD é a sigla de Top Level Domain, faz parte da URL e aparece a seguir ao domínio.
Os TLD dividem-se em dois grandes grupos: os Country Code Top Level Domain (ccTLD) e os Generic Top Level Domain (gTLD).
Como exemplo dos ccTLD temos .pt (Portugal), .es (Espanha) ou .jp (Japão).
Como exemplo dos gTLD temos .com, .net ou .org.