feat: xhs帖子详情获取优化

Author: NanmiCoder

README.md

@@ -24,15 +24,26 @@
 通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低
 
 # 功能列表
-| 平台  | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 |
-|-----|-------|---------|-----|--------|-------|-------|-------|
-| 小红书 | ✅     | ✅       | ✅   | ✅      | ✅     | ✅     | ✅    |
-| 抖音  | ✅     | ✅       | ✅    | ✅       | ✅     | ✅     | ✅    |
-| 快手  | ✅     | ✅       | ✅   | ✅      | ✅     | ✅     | ✅    |
-| B 站 | ✅     | ✅       | ✅   | ✅      | ✅     | ✅     | ✅    |
-| 微博  | ✅     | ✅       | ✅   | ✅      | ✅     | ✅     | ✅    |
-| 贴吧  | ✅     | ✅       | ✅   | ✅      | ✅     | ✅     | ✅    |
-| 知乎  | ✅     |   ❌      | ✅   | ✅      | ✅     | ✅     | ✅    |
+| 平台   | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 |
+| ------ | ---------- | -------------- | -------- | -------------- | ---------- | -------- | -------------- |
+| 小红书 | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
+| 抖音   | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
+| 快手   | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
+| B 站   | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
+| 微博   | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
+| 贴吧   | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
+| 知乎   | ✅          | ❌              | ✅        | ✅              | ✅          | ✅        | ✅              |
+
+### MediaCrawlerPro重磅发布啦！！！
+> 主打学习成熟项目的架构设计，不仅仅是爬虫，Pro中的其他代码设计思路也是值得学习，欢迎大家关注！！！
+
+[MediaCrawlerPro](https://github.com/MediaCrawlerPro) 版本已经重构出来了，相较于开源版本的优势：
+- 多账号+IP代理支持（重点！）
+- 去除Playwright依赖，使用更加简单
+- 支持linux部署（Docker docker-compose）
+- 代码重构优化，更加易读易维护（解耦JS签名逻辑）
+- 代码质量更高，对于构建更大型的爬虫项目更加友好
+- 完美的架构设计，更加易扩展，源码学习的价值更大
 
 
 # 安装部署方法
@@ -92,18 +103,6 @@
 - 支持保存到csv中（data/目录下）
 - 支持保存到json中（data/目录下）
 
-### MediaCrawlerPro重磅发布啦！！！
-> 主打学习成熟项目的架构设计，不仅仅是爬虫，Pro中的其他代码设计思路也是值得学习，欢迎大家关注！！！
-> 
-> 订阅Pro源代码访问权限，可以加我微信：yzglan，备注：Pro（有一定的门槛💰）
-
-[MediaCrawlerPro](https://github.com/MediaCrawlerPro) 版本已经重构出来了，相较于开源版本的优势：
-- 多账号+IP代理支持（重点！）
-- 去除Playwright依赖，使用更加简单
-- 支持linux部署（Docker docker-compose）
-- 代码重构优化，更加易读易维护（解耦JS签名逻辑）
-- 代码质量更高，对于构建更大型的爬虫项目更加友好
-- 完美的架构设计，更加易扩展，源码学习的价值更大
 
 
 # 其他常见问题可以查看在线文档

config/base_config.py

@@ -1,24 +1,26 @@
-# 声明：本代码仅供学习和研究目的使用。使用者应遵守以下原则：  
-# 1. 不得用于任何商业用途。  
-# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。  
-# 3. 不得进行大规模爬取或对平台造成运营干扰。  
-# 4. 应合理控制请求频率，避免给目标平台带来不必要的负担。   
+# 声明：本代码仅供学习和研究目的使用。使用者应遵守以下原则：
+# 1. 不得用于任何商业用途。
+# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。
+# 3. 不得进行大规模爬取或对平台造成运营干扰。
+# 4. 应合理控制请求频率，避免给目标平台带来不必要的负担。
 # 5. 不得用于任何非法或不当的用途。
-#   
-# 详细许可条款请参阅项目根目录下的LICENSE文件。  
-# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。  
+#
+# 详细许可条款请参阅项目根目录下的LICENSE文件。
+# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。
 
 
 # 基础配置
 PLATFORM = "xhs"
-KEYWORDS = "编程副业,编程兼职" # 关键词搜索配置，以英文逗号分隔
+KEYWORDS = "编程副业,编程兼职"  # 关键词搜索配置，以英文逗号分隔
 LOGIN_TYPE = "qrcode"  # qrcode or phone or cookie
 COOKIES = ""
 # 具体值参见media_platform.xxx.field下的枚举值，暂时只支持小红书
 SORT_TYPE = "popularity_descending"
 # 具体值参见media_platform.xxx.field下的枚举值，暂时只支持抖音
 PUBLISH_TIME_TYPE = 0
-CRAWLER_TYPE = "search"  # 爬取类型，search(关键词搜索) | detail(帖子详情)| creator(创作者主页数据)
+CRAWLER_TYPE = (
+    "search"  # 爬取类型，search(关键词搜索) | detail(帖子详情)| creator(创作者主页数据)
+)
 
 # 是否开启 IP 代理
 ENABLE_IP_PROXY = False
@@ -63,7 +65,6 @@
 CRAWLER_MAX_COMMENTS_COUNT_SINGLENOTES = 10
 
 
-
 # 是否开启爬二级评论模式, 默认不开启爬二级评论
 # 老版本项目使用了 db, 则需参考 schema/tables.sql line 287 增加表字段
 ENABLE_GET_SUB_COMMENTS = False
@@ -85,15 +86,12 @@
 # 指定抖音需要爬取的ID列表
 DY_SPECIFIED_ID_LIST = [
     "7280854932641664319",
-    "7202432992642387233"
+    "7202432992642387233",
     # ........................
 ]
 
 # 指定快手平台需要爬取的ID列表
-KS_SPECIFIED_ID_LIST = [
-    "3xf8enb8dbj6uig",
-    "3x6zz972bchmvqe"
-]
+KS_SPECIFIED_ID_LIST = ["3xf8enb8dbj6uig", "3x6zz972bchmvqe"]
 
 # 指定B站平台需要爬取的视频bvid列表
 BILI_SPECIFIED_ID_LIST = [
@@ -116,9 +114,7 @@
 ]
 
 # 指定贴吧需要爬取的帖子列表
-TIEBA_SPECIFIED_ID_LIST = [
-
-]
+TIEBA_SPECIFIED_ID_LIST = []
 
 # 指定贴吧名称列表，爬取该贴吧下的帖子
 TIEBA_NAME_LIST = [
@@ -167,8 +163,8 @@
 # 自定义词语及其分组
 # 添加规则：xx:yy 其中xx为自定义添加的词组，yy为将xx该词组分到的组名。
 CUSTOM_WORDS = {
-    '零几': '年份',  # 将“零几”识别为一个整体
-    '高频词': '专业术语'  # 示例自定义词
+    "零几": "年份",  # 将“零几”识别为一个整体
+    "高频词": "专业术语",  # 示例自定义词
 }
 
 # 停用(禁用)词文件路径