2
2
3
3
crawlHTML 是爬虫实例的方法,通常用于爬取静态 HTML 页面。
4
4
5
- ## 类型
5
+ ## 类型 {#type}
6
6
7
7
crawlHTML API 是一个函数。类型是 [ 重载函数] ( https://www.typescriptlang.org/docs/handbook/2/functions.html#function-overloads ) 可以通过不同的配置参数调用该函数(在类型方面)。
8
8
@@ -29,7 +29,7 @@ type crawlHTML = {
29
29
30
30
- 查看 [CrawlHTMLSingleResult](/cn/type/crawl-html#crawlhtmlsingleresult) 类型
31
31
32
- ## 示例
32
+ ## 示例 {#example}
33
33
34
34
` ` ` js
35
35
import { createCrawl } from ' x-crawl'
@@ -40,7 +40,7 @@ const crawlApp = createCrawl()
40
40
crawlApp .crawlHTML (' https://www.example.com' ).then ((res ) => {})
41
41
```
42
42
43
- ## 配置
43
+ ## 配置 {#configuration}
44
44
45
45
一共有 4 种:
46
46
@@ -49,7 +49,7 @@ crawlApp.crawlHTML('https://www.example.com').then((res) => {})
49
49
- 混合目标数组配置 - (string | CrawlHTMLDetailTargetConfig)[ ]
50
50
- 进阶配置 - CrawlHTMLAdvancedConfig
51
51
52
- ### 简单目标配置 - string
52
+ ### 简单目标配置 - string {#simple-target-configuration---string}
53
53
54
54
这是简单目标配置。如果你只想单纯爬一下这个静态 HTML 页面,可以试试这种写法:
55
55
@@ -65,7 +65,7 @@ crawlApp.crawlHTML('https://www.example.com').then((res) => {})
65
65
拿到的 res 将是一个对象。
66
66
:::
67
67
68
- ### 详细目标配置 - CrawlHTMLDetailTargetConfig
68
+ ### 详细目标配置 - CrawlHTMLDetailTargetConfig {#detailed-target-configuration---crawldatadetailtargetconfig}
69
69
70
70
这是详细目标配置。如果你想爬一下这个静态 HTML 页面,并且需要失败重试之类的,可以试试这种写法:
71
71
@@ -89,7 +89,7 @@ crawlApp
89
89
拿到的 res 将是一个对象。
90
90
:::
91
91
92
- ### 混合目标数组配置 - (string | CrawlHTMLDetailTargetConfig)[ ]
92
+ ### 混合目标数组配置 - (string | CrawlHTMLDetailTargetConfig)[ ] {#mixed-target-array-configuration---(string-|-CrawlDataDetailTargetConfig) [ ] }
93
93
94
94
这是混合目标数组配置。如果你想爬取多个静态 HTML 页面,并且有些静态 HTML 页面需要失败重试之类的,可以试试这种写法:
95
95
@@ -112,7 +112,7 @@ crawlApp
112
112
拿到的 res 将是一个数组,里面是对象。
113
113
:::
114
114
115
- ### 进阶配置 - CrawlHTMLAdvancedConfig
115
+ ### 进阶配置 - CrawlHTMLAdvancedConfig {#advanced-configuration---crawldataadvancedconfig}
116
116
117
117
这是进阶配置,targets 是混合目标数组配置。如果你想爬取多个静态 HTML 页面,并且爬取目标配置(proxy、cookies、重试等等)不想重复写,还需要间隔时间、设备指纹以及生命周期等等,可以试试这种写法:
118
118
0 commit comments