常见爬虫反爬技术突破 | Breaking through common anti-scraping techniques
本仓库聚焦于非JS逆向的爬虫技巧知识的研究与实战。通过系统记录各种爬虫知识点与对应不同网站的实际应用 ，系统记录绕过策略与技术实现，帮助开发者掌握爬虫各种高阶爬取技巧。
💡 针对验证码、IP 限制、Scrapy框架使用、异步爬虫、自动化爬取等具体的技术难点进行深入剖析，提供使用思路和解决方案。
📷 本项目将长期更新，目标是构建一个系统、实用的爬虫技术知识案例库。
📌 同时本案例集的各图文博客讲解非常详细，非常推荐小白配合着博客把这些知识点一点点吃下来。
📚 博客同步发布：
👉 我的CSDN主页
👉 CSDN对应专栏
| 站点 | 仓库 | 项目讲解 | 目标 | 知识点 | 难度 |
|---|---|---|---|---|---|
| 问政平台 | 🏠 | 📖 | 学习如何使用 IP 代理绕过网站封禁机制 | IP代理 | ⭐ |
| 爬小说 | 🏠 | 📖 | 掌握 XPath 进阶用法，提取复杂结构的小说内容 | xpath进阶 | ⭐ |
| 站长素材/微博图片 | 🏠 | 📖/📗 | 学习处理图片懒加载机制，正确抓取图片资源 | 图片懒加载 | ⭐⭐ |
| 下厨房(text)/智慧职教(json) | 🏠 | 📖/📗 | 学习提取网页中的文本数据，如菜谱、描述等 | 文本数据提取 | ⭐ |
| 小红书 | 🏠 | 📖 | 实现模拟登录与数据抓取的自动化流程 | 自动化爬取 | ⭐⭐⭐ |
| 豆瓣top250电影 | 🏠 | 📖 | 掌握多进程、多线程、协程的异步爬取技术 | 异步爬取(多进程/多线程/协程) | ⭐⭐⭐ |
| B站 | 🏠 | 📖 | 学习使用 Scrapy 框架构建高效、可扩展的爬虫项目 | scrapy框架 | ⭐⭐⭐⭐ |
| 阿里法拍 | 🏠 | 📖 | 学习半自动化爬虫思路与cookie池更新的实战运用 | cookie/半自动化 | ⭐⭐⭐ |
- 希望系统学习爬虫各种技术知识的爬虫工程师。
- 对验证码、滑块等特定反爬绕过方法感兴趣的技术人员。
- 想要构建更稳定、更健全爬虫系统的工程师。
- js-spider-reverse：专注于 JavaScript 逆向分析与反调试。
本仓库计划持续更新常见反爬技术的分析和绕过方法。
如果你觉得这个项目对你有帮助，欢迎 Star、Fork、分享给更多人！
若有任何建议或问题，或有想一起研究的反爬技术，欢迎通过 Issue 提出交流！