Como construir crawlers em NodeJS

[waldemirflj]

Quais as melhores ferramentas/práticas para se construir crawler, scraping e etc... em NodeJS?

[vitor-mendrone-deel]

@waldemirflj Editei o título e corpo da sua questão pra deixar mais simples de ser encontrada, ok?

[expalmer]

Estou usando http://www.nightmarejs.org/

[rogeralbinoi]

Cara, eu não sei se isso pode ajudar mas quando eu estava pesquisando sobre isso eu encontrei este post http://www.netinstructions.com/how-to-make-a-simple-web-crawler-in-javascript-and-node-js/ e consegui fazer algumas brincadeiras legais.

[icaromh]

Dependendo do que tu precisa tu pode usar alguns prontos, por exemplo o x-ray

[alanhr]

EU já usei o YQL da yahoo.
Nele existe um cara chamado HTML que vc consegue pega informações do site a partir de divs, class e etc.

[brunoventura]

@waldemirflj opa meio antigo, mas se ainda der tempo, fiz um crawler de brincadeira para apredender melhor o uso de map reduce com promises (com alguns benchmarks). Case lhe ajude, segue o repo:

https://github.com/brunoventura/brejas-crawler