v3.0

Feature of v3.0

• Very high speed of proxy crawler, which can download 1000 pages per second.
• You can customize the source of proxy crawler. The configuration file is extremely simple.
• Provide a compiled version, comes with a SQLite database, and supports mysql
• Comes with an API interface, all functions can be used with one click
• Proxy evaluation system to ensure the quality of the proxy pool

在 v3.0 有哪些新特性

1. 支持自动对代理类型进行判断, 可以通过 schemeType 判定代理对http和https的支持程度
2. 支持了MySQL数据库, 详情请见 Config
3. 支持单独启动服务, 在启动编译好的二进制文件时, 通过 -mode= 来指定是否单独启动 producer/consumer/assessor/service
4. 重新设计了数据表, 请注意, 这意味着 API 接口发生了变动
5. 重新设计了 源 的数据结构, 去除了 filter 等字段, 请注意, 这意味着 v2.0 的源在直接提供给v3.0 使用时可能会出现一些问题
6. 更新了一些 源
7. 不再支持 -source 启动参数

v2.0

What's New

1. 不再依赖MySQL和NSQ
2. 之前需要分别启动publisher、consumer和assessor，现在 只需要启动主程序 即可！
3. 提供了高度灵活的 API接口，在启动主程序后，即可通过在浏览器访问localhost:9999/all 与 localhost:9999/random 直接获取抓到的代理！甚至可以使用 localhost:9999/sql?query=来执行SQL语句来自定义代理筛选规则！
4. 用都用了，随手点个star再走呗 : )