v2.3.4: 支持Client自动配置域名，优化模块配置类，跟进项目文档 (#144)

今后GitHub Actions默认采用移动端实现

Author: hect0x7

README.md

@@ -6,8 +6,6 @@
 
 **友情提示：珍爱JM，为了减轻JM的服务器压力，请不要一次性爬取太多本子，西门🙏🙏🙏**.
 
-
-
 ## 安装教程
 
 * 通过pip官方源安装（推荐，并且更新也是这个命令）
@@ -21,8 +19,6 @@
   pip install -e ./
   ```
 
-
-
 ## 快速上手
 
 使用下面的两行代码，即可实现功能：把某个本子（album）里的所有章节（photo）下载到本地
@@ -45,14 +41,13 @@ $ jmcomic 422866
 # 更多用法请参考文件 usage/usage_cl.py (命令行使用介绍)
 ```
 
-
-
 ## 进阶使用
 
 进阶使用可以参考本repo下usage文件夹内的示例代码文件，下面是各个文件的作用，你可以挑感兴趣的阅读：
 
 - API上手介绍: `getting_started.py`
 - 命令行使用介绍: `usage_cl.py`
+- 配置客户端的实现（网页端、移动端）: `usage_configure_client_impl.py`
 - 使用API实现简单功能: `usage_simple.py`
 - 演示jmcomic模块的可自定义功能点: `usage_custom.py`
 - 使用API的Filter过滤功能: `usage_feature_filter.py`
@@ -66,39 +61,33 @@ $ jmcomic 422866
 - 测试你的ip可以访问哪些禁漫域名: `pick_domain.py`
 - 基于GitHub Actions下载本子: `workflow_download.py`
 
-
-
 ## 项目特点
 
 - **绕过Cloudflare的反爬虫**
 - 支持使用**命令行**下载本子，无需写Python代码，简单易用
 - 支持使用**GitHub Actions**下载本子，网页上直接输入本子id就能下载（[教程：使用GitHub Actions下载禁漫本子](./assets/docs/教程：使用GitHub%20Actions下载禁漫本子.md)）
+- 支持**网页端**和**移动端**两种客户端实现，可通过配置切换（**移动端不限ip兼容性好，网页端限制ip地区但效率高**）
+- 支持**自动重试和域名切换**机制
+- **多线程下载**（可细化到一图一线程，效率极高）
+- 跟进了JM最新的图片分割算法（2023-02-08）
 - **可配置性强**
+
   - 不配置也能使用，十分方便
   - 配置可以从**配置文件**生成，支持多种文件格式
-  - 配置点有：`是否使用磁盘缓存` `并发下载图片数` `图片类型转换` `下载路径` `请求元信息（headers,cookies,proxies）`等
+  - 配置点有：`请求域名` `客户端实现` `是否使用磁盘缓存` `同时下载的章节/图片数量` `图片格式转换` `下载路径规则` `请求元信息（headers,cookies,proxies）`等
 - **可扩展性强**
+
   - **支持Plugin插件，可以方便地扩展功能，以及使用别人的插件**
     - 目前内置支持的插件有：`登录插件` `硬件占用监控插件` `只下载新章插件` `压缩文件插件`
   - 支持自定义本子/章节/图片下载前后的回调函数
   - 支持自定义debug日志
-  - 支持自定义类：Downloader（负责调度）/Option（负责配置）/Client（负责请求）/实体类 等等
-  - ......
-- 支持**自动重试和域名切换**机制
-- **多线程下载**（可细化到一图一线程，效率极高）
-- 跟进了JM最新的图片分割算法（2023-02-08）
-
-
-
+  - 支持自定义类：`Downloader（负责调度）` `Option（负责配置）` `Client（负责请求）` `实体类`等
 
 ## 使用小说明
 
 * Python >= 3.7
 * 个人项目，文档和示例会有不及时之处，可以Issue提问
 
-
-
-
 ## 项目文件夹介绍
 
 * assets：存放一些非代码的资源文件
@@ -111,8 +100,6 @@ $ jmcomic 422866
 * tests：测试目录，存放测试代码，使用unittest
 * usage：用法目录，存放示例/使用代码
 
-
-
 ## 感谢以下项目
 
 ### 图片分割算法代码+禁漫移动端API

assets/config/option_workflow_download.yml

@@ -1,15 +1,16 @@
 # GitHub Actions 下载脚本配置
-version: '2.0'
-
 dir_rule:
   base_dir: ${JM_DOWNLOAD_DIR}
   rule: Bd_Aauthor_Atitle_Pindex
 
-
 client:
-  domain:
-    - jmcomic1.me
-    - jmcomic.me
+  impl: api
+  domain: [
+    "www.jmapinode1.cc",
+    "www.jmapinode2.cc",
+    "www.jmapinode3.cc",
+    "www.jmapibranch2.cc",
+  ]
 
 # 插件配置
 plugin:
@@ -18,10 +19,3 @@ plugin:
       kwargs:
         interval: 0.5 # 间隔时间
         enable_warning: false # 不告警
-
-#  after_album:
-#    - plugin: zip # 压缩文件插件
-#      kwargs:
-#        level: album # 按照章节，一个章节一个压缩文件
-#        filename_rule: Atitle # 压缩文件的命名规则
-#        zip_dir: ${JM_ZIP_DIR} # 压缩文件存放的文件夹

src/jmcomic/__init__.py

@@ -2,7 +2,7 @@
 # 被依赖方 <--- 使用方
 # config <--- entity <--- toolkit <--- client <--- option <--- downloader
 
-__version__ = '2.3.3'
+__version__ = '2.3.4'
 
 from .api import *
 from .jm_plugin import *

src/jmcomic/jm_client_impl.py

@@ -1,11 +1,12 @@
 from .jm_client_interface import *
 
 
+# 抽象基类，实现了域名管理，发请求，重试机制，debug，缓存等功能
 class AbstractJmClient(
     JmcomicClient,
     PostmanProxy,
 ):
-    client_key: None
+    client_key = None
 
     def __init__(self,
                  postman: Postman,
@@ -145,11 +146,11 @@ def wrap_func_cache(func_name, cache_dict_name):
     def is_cache_enabled(self) -> bool:
         return getattr(self, '__enable_cache__', False)
 
-    def get_jmcomic_url(self, postman=None):
-        return JmModuleConfig.get_jmcomic_url(postman or self.get_root_postman())
+    def get_html_domain(self, postman=None):
+        return JmModuleConfig.get_html_domain(postman or self.get_root_postman())
 
-    def get_jmcomic_domain_all(self, postman=None):
-        return JmModuleConfig.get_jmcomic_domain_all(postman or self.get_root_postman())
+    def get_html_domain_all(self, postman=None):
+        return JmModuleConfig.get_html_domain_all(postman or self.get_root_postman())
 
     def get_domain_list(self):
         return self.domain_list
@@ -390,6 +391,7 @@ def check_special_http_code(cls, resp):
         )
 
 
+# 基于禁漫移动端（APP）实现的JmClient
 class JmApiClient(AbstractJmClient):
     client_key = 'api'
     API_SEARCH = '/search'

src/jmcomic/jm_client_interface.py

@@ -373,14 +373,22 @@ class JmcomicClient(
     JmSearchAlbumClient,
     Postman,
 ):
-    def get_jmcomic_url(self):
-        return JmModuleConfig.get_jmcomic_url()
-
-    def get_jmcomic_domain_all(self):
-        return JmModuleConfig.get_jmcomic_domain_all()
+    client_key: None
 
     def get_domain_list(self) -> List[str]:
+        """
+        获取当前client的域名配置
+        """
         raise NotImplementedError
 
     def set_domain_list(self, domain_list: List[str]):
+        """
+        设置当前client的域名配置
+        """
         raise NotImplementedError
+
+    def get_html_domain(self):
+        return JmModuleConfig.get_html_domain()
+
+    def get_html_domain_all(self):
+        return JmModuleConfig.get_html_domain_all()

src/jmcomic/jm_config.py

@@ -52,18 +52,27 @@ class JmModuleConfig:
     SCRAMBLE_NUM_8 = 421926  # 2023-02-08后改了图片切割算法
     SCRAMBLE_CACHE = {}
 
-    # API的相关配置
-    # 移动端api密钥
+    # 移动端API的相关配置
+    # API密钥
     MAGIC_18COMICAPPCONTENT = '18comicAPPContent'
-    # 移动端的图片域名
-    DOMAIN_IMAGE_LIST = [f"cdn-msp.jmapiproxy{i}.cc" for i in range(1, 4)]
 
-    # 下载时的一些默认值配置
-    default_author = 'default-author'
-
-    # 模块级别的可重写配置
-    DOMAIN = None
-    DOMAIN_LIST = None
+    # 域名配置 - 移动端
+    # 图片域名
+    DOMAIN_API_IMAGE_LIST = [f"cdn-msp.jmapiproxy{i}.cc" for i in range(1, 4)]
+    # API域名
+    DOMAIN_API_LIST = [
+        "www.jmapinode1.cc",
+        "www.jmapinode2.cc",
+        "www.jmapinode3.cc",
+        "www.jmapibranch2.cc",
+    ]
+
+    # 域名配置 - 网页端
+    # 无需配置，默认为None，需要的时候会发起请求获得
+    DOMAIN_HTML = None
+    DOMAIN_HTML_LIST = None
+
+    # 模块级别的可重写类配置
     CLASS_DOWNLOADER = None
     CLASS_OPTION = None
     CLASS_ALBUM = None
@@ -86,6 +95,8 @@ class JmModuleConfig:
     enable_jm_debug = True
     # debug时解码url
     decode_url_when_debug = True
+    # 下载时的一些默认值配置
+    default_author = 'default-author'
 
     @classmethod
     def downloader_class(cls):
@@ -139,33 +150,33 @@ def client_impl_class(cls, client_key: str):
         return clazz
 
     @classmethod
-    @field_cache("DOMAIN")
-    def domain(cls, postman=None):
+    @field_cache("DOMAIN_HTML")
+    def get_html_domain(cls, postman=None):
         """
         由于禁漫的域名经常变化，调用此方法可以获取一个当前可用的最新的域名 domain，
         并且设置把 domain 设置为禁漫模块的默认域名。
         这样一来，配置文件也不用配置域名了，一切都在运行时动态获取。
         """
         from .jm_toolkit import JmcomicText
-        return JmcomicText.parse_to_jm_domain(cls.get_jmcomic_url(postman))
+        return JmcomicText.parse_to_jm_domain(cls.get_html_url(postman))
 
     @classmethod
-    def get_jmcomic_url(cls, postman=None):
+    def get_html_url(cls, postman=None):
         """
         访问禁漫的永久网域，从而得到一个可用的禁漫网址
         @return: https://jm-comic2.cc
         """
         postman = postman or cls.new_postman(session=True)
 
         url = postman.with_redirect_catching().get(cls.JM_REDIRECT_URL)
-        cls.jm_debug('获取禁漫URL', f'[{cls.JM_REDIRECT_URL}] → [{url}]')
+        cls.jm_debug('获取禁漫网页URL', f'[{cls.JM_REDIRECT_URL}] → [{url}]')
         return url
 
     @classmethod
-    @field_cache("DOMAIN_LIST")
-    def get_jmcomic_domain_all(cls, postman=None):
+    @field_cache("DOMAIN_HTML_LIST")
+    def get_html_domain_all(cls, postman=None):
         """
-        访问禁漫发布页，得到所有禁漫的域名
+        访问禁漫发布页，得到所有的禁漫网页域名
 
         @return: ['18comic.vip', ..., 'jm365.xyz/ZNPJam'], 最后一个是【APP軟件下載】
         """
@@ -179,7 +190,7 @@ def get_jmcomic_domain_all(cls, postman=None):
         from .jm_toolkit import JmcomicText
         domain_list = JmcomicText.analyse_jm_pub_html(resp.text)
 
-        cls.jm_debug('获取禁漫全部域名', f'[{resp.url}] → {domain_list}')
+        cls.jm_debug('获取禁漫网页全部域名', f'[{resp.url}] → {domain_list}')
         return domain_list
 
     @classmethod
@@ -240,6 +251,8 @@ def new_postman(cls, session=False, **kwargs):
 
     # option 默认配置字典
     JM_OPTION_VER = '2.1'
+    CLIENT_IMPL_DEFAULT = 'html'
+
     default_option_dict: dict = {
         'version': JM_OPTION_VER,
         'debug': None,
@@ -262,7 +275,7 @@ def new_postman(cls, session=False, **kwargs):
                     'headers': None,
                 }
             },
-            'impl': 'html',
+            'impl': None,
             'retry_times': 5
         },
         'plugin': {},
@@ -293,10 +306,9 @@ def option_default_dict(cls) -> dict:
         if client['cache'] is None:
             client['cache'] = True
 
-        # headers
-        meta_data = client['postman']['meta_data']
-        if meta_data['headers'] is None:
-            meta_data['headers'] = cls.headers()
+        # client impl
+        if client['impl'] is None:
+            client['impl'] = cls.CLIENT_IMPL_DEFAULT
 
         # threading photo
         dt = option_dict['download']['threading']
@@ -312,7 +324,12 @@ def register_plugin(cls, plugin_class):
 
     @classmethod
     def register_client(cls, client_class):
-        cls.CLASS_CLIENT_IMPL[client_class.client_key] = client_class
+        client_key = getattr(client_class, 'client_key', None)
+        if client_key is None:
+            from .jm_toolkit import ExceptionTool
+            ExceptionTool.raises(f'未配置client_key, class: {client_class}')
+
+        cls.CLASS_CLIENT_IMPL[client_key] = client_class
 
 
 jm_debug = JmModuleConfig.jm_debug