SEO Black Hat
Um dos desafios constantes dos motores de busca resulta do facto de tentarem enganá-los. A isso chama-se SEO Black Hat.
É o robot (daí o termo ‘bot’) usado pela DuckDuckGo para percorrer a Web, com vista a indexar os conteúdos encontrados e apresentá-los no seu motor de busca.
A estes sistemas também se dá o nome de crawler, spider ou indexador automático.
O DuckDuckGo permite que os webmasters lhe vedem a indexação de todo ou parte dos seus sites através do “robot.txt”.
Entre outros crawlers conhecidos contam-se o Googlebot, Bingbot e Yahoo Slurp.