Skip to content

Commit a72dd07

Browse files
committed
feat: 抓包工具介绍
1 parent 173a4c4 commit a72dd07

File tree

3 files changed

+52
-2
lines changed

3 files changed

+52
-2
lines changed

README.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -23,8 +23,8 @@
2323
- [x] [01_为什么要写这个爬虫教程](爬虫入门/01_为什么要写这个爬虫教程.md)
2424
- [x] [02_个人学会爬虫能赚钱吗](爬虫入门/02_个人学会爬虫能赚钱吗.md)
2525
- [x] [03_网络爬虫到底是什么](爬虫入门/03_网络爬虫到底是什么.md)
26-
- [ ] [04_爬虫的基本工作原理](爬虫入门/04_爬虫的基本工作原理.md)
27-
- [ ] [05_利用各种工具抓包网络请求](爬虫入门/05_利用各种工具抓包网络请求.md)
26+
- [x] [04_爬虫的基本工作原理](爬虫入门/04_爬虫的基本工作原理.md)
27+
- [x] [05_常用的抓包工具有那些](爬虫入门/05_常用的抓包工具有那些.md)
2828
- [ ] [06_为什么说用Python写爬虫有天生优势](爬虫入门/06_为什么说用Python写爬虫有天生优势.md)
2929
- [ ] [07_Python常见的网络请求库](爬虫入门/07_Python常见的网络请求库.md)
3030
- [ ] [08_爬虫入门实战1_静态网页数据提取](爬虫入门/08_爬虫入门实战1_静态网页数据提取.md)

爬虫入门/05_利用各种工具抓包网络请求.md

Whitespace-only changes.
Lines changed: 50 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,50 @@
1+
# 利用各种工具抓包网络请求
2+
3+
在进行网络爬虫开发时,抓包是一个非常重要的步骤。它可以帮助我们了解客户端和服务器之间的通信过程,包括请求的发送和响应的接收。这对于分析和模拟网络请求尤其关键。本教程将介绍几种常用的抓包工具,包括Chrome的开发者工具、Charles和Fiddler。<br>
4+
- Chrome抓包Web应用
5+
- Charles和Fiddler既可以抓包APP也可以抓包Web
6+
7+
## 使用Chrome的开发者工具
8+
> 我之前写了一篇博客微博爬虫的示例,其中有关于Chrome F12抓包的文章,感兴趣的可以去看下:[微博帖子评论爬取教程](https://blog.csdn.net/weixin_43252709/article/details/135431751)
9+
10+
Chrome浏览器内置的开发者工具是最直接便捷的抓包方式之一,特别适合前后端分离的网站分析。
11+
12+
1. 打开Chrome浏览器,访问目标网站。
13+
2.`F12`或右键点击页面,选择“检查”打开开发者工具。
14+
3. 切换到“Network”(网络)标签页。此时可能需要刷新页面以捕获所有网络请求。
15+
4. 浏览网络请求列表,点击任一请求查看详细信息,包括请求头、响应头、响应体等。
16+
5. 可以通过过滤器筛选特定类型的请求,例如XHR(Ajax请求)。
17+
18+
6. 使用Chrome开发者工具的优点在于无需安装额外软件,操作简单,适合快速查看和分析HTTP/HTTPS请求。
19+
20+
## 使用Charles
21+
> 当我有抓取APP或者小程序等需求的时候,我用charles比较多一些,因为它对Macos支持比较友好。<br>
22+
> 具体安装和使用示例可以看这篇文章,写的比较细:[charles安装入门使用示例](https://zhuanlan.zhihu.com/p/140942687)
23+
24+
Charles是一款广受欢迎的跨平台抓包工具,它可以作为代理服务器运行,监控和修改进出电脑的所有HTTP和HTTPS请求。
25+
26+
1. 下载并安装Charles。
27+
2. 启动Charles,它会自动开始捕获网络请求。
28+
3. 配置浏览器或设备使用Charles为代理服务器。这通常涉及到设置代理服务器地址为127.0.0.1(本机地址),端口为Charles显示的端口(默认8888)。
29+
4. 访问目标网站或应用,Charles会显示通过它的所有请求和响应。
30+
5. 双击任一请求或响应以查看详细内容。
31+
32+
Charles强大之处在于它能够修改请求或响应,实现更深入的测试和分析。
33+
34+
## 使用Fiddler
35+
> 这款工具在windows平台很火,我之前在上一家公式做一些爬虫的小需求有用过,整体尚可,但是好像已经开始收费了,免费版的功能又受限。<br>
36+
> 具体安装和使用示例可以看这篇文章,写的比较细:[Fiddler安装入门使用示例](https://blog.csdn.net/FourAu/article/details/136479512)
37+
38+
Fiddler同样是一款功能强大的网络请求分析工具,它也可以捕获计算机上的HTTP/HTTPS请求。
39+
40+
1. 下载并安装Fiddler。
41+
2. 启动Fiddler,它默认开始捕获网络请求。
42+
3. 在“Web Sessions”窗口中,可以看到通过Fiddler的所有HTTP/HTTPS请求和响应。
43+
4. 点击任一条目查看详细的请求和响应信息。
44+
45+
Fiddler提供了广泛的自定义选项,包括断点设置、请求编辑、性能测试等高级功能。
46+
47+
48+
## 总结
49+
50+
抓包是网络爬虫开发中不可或缺的一环。通过使用Chrome开发者工具、Charles、Fiddler等工具,我们可以有效地分析和理解客户端与服务器之间的通信过程。这些工具各有特点,选择合适的工具可以大大提高爬虫开发的效率和质量。

0 commit comments

Comments
 (0)