awesome-spider

收集各种爬虫 （默认爬虫语言为 python）, 欢迎大家 提 pr 或 issue, 收集脚本见此项目 github-search

A

• 暗网爬虫(Go)
• alexaTop500
• 爱丝APP图片爬虫

B

• Bilibili 用户
• Bilibili 视频
• 博客园(node.js)
• 百度百科(node.js)
• 北邮人水木清华招聘
• 百度云网盘
• 琉璃神社爬虫

C

• cnblog
• caoliu 1024

D

• 豆瓣读书
• 豆瓣爬虫集
• 豆瓣害羞组
• DNS记录和子域名

E

• E绅士

G

• Girl-atlas
• girl13
• github trending
• Github 仓库及用户分析爬虫

I

• Instagram

J

• 京东
• 京东搜索+评论
• 机票
• 煎蛋妹纸
• 今日头条，网易，腾讯等新闻

K

• 看知乎
• 课程格子校花榜
• konachan

L

• 链家
• 拉勾
• 炉石传说
• leetcode

M

• 马蜂窝(node.js)
• MyCar
• 漫画喵 一键下载漫画~
• 美女写真套图爬虫 （一）（二）

P

• Pixiv
• PornHub

Q

• QQ空间
• QQ 群
• 清华大学网络学堂爬虫
• 去哪儿

R

• 人人影视
• RSS 爬虫
• rosi 妹子图
• reddit 壁纸

S

• soundcloud
• Stackoverflow 100万问答爬虫
• Shadowsocks 账号爬虫

T

• tumblr
• TuShare
• 天猫双12爬虫
• Taobao mm

V

• 视频信息爬虫
• 电影网站

W

• 乌云公开漏洞
• 微信公众号
• “代理”方式抓取微信公众号文章
• 网易新闻
• 网易精彩评论
• 微博主题搜索分析
• 网易云音乐

X

• 雪球股票信息(java)
• 新浪微博

Y

• 英美剧 TV (node.js)

Z

• 知乎(python)
• 知乎(php)
• 知网
• 知乎妹子
• 自如实时房源提醒

其他

• 各种爬虫
• DHT 爬虫
• SimDHT
• p2pspider