|
1 | | -## 如何接入调度系统Azkaban: |
| 1 | +## 如何接入调度系统Azkaban |
2 | 2 | Azkaban目前是作为一个SchedulerAppJoint在DSS-SERVER中使用,通过AzkabanSchedulerAppJoint实现了Azkaban的工程服务和安全认证服务, |
3 | 3 | 主要提供了工程的创建、更新、发布、删除,以及安全认证服务相关的代理登录,Cookie保存等。 |
4 | 4 |
|
5 | 5 | **前提条件:用户已经安装部署好社区版本的Azkaban-3.69.X环境** |
6 | 6 |
|
7 | 7 | (1) 安装DSS前配置Azkaban的环境信息 |
8 | 8 |
|
9 | | - 在安装DSS之前,在工程的conf目录下配置Azkaban的IP地址和端口信息 |
| 9 | + 在安装DSS之前,在工程的conf目录下配置Azkaban的IP地址和端口信息: |
| 10 | + |
10 | 11 | ``` |
11 | 12 | #azkaban.address |
12 | 13 | AZKABAN_ADRESS_IP=127.0.0.1 |
13 | 14 | AZKABAN_ADRESS_PORT=99887 |
14 | 15 | ``` |
15 | 16 |
|
16 | | - 用户使用DSS一键安装,会自动配置以下两个参数内容: |
| 17 | + 用户使用DSS一键安装,会自动配置以下两个参数内容: |
17 | 18 |
|
18 | 19 | ``` |
19 | 20 | wds.dss.appjoint.scheduler.azkaban.address= //Azkaban 的http地址 |
|
29 | 30 | (3) 在DSS数据库中配置Azkaban的appjoint信息(一键安装时默认已执行不需要重复执行,单独安装需要) |
30 | 31 |
|
31 | 32 | ``` |
32 | | - INSERT INTO `dss_application` (`id`, `name`, `url`, `is_user_need_init`, `level`, `user_init_url`, `exists_project_service`, `project_url`, `enhance_json`) VALUES (NULL, 'azkaban', NULL, '0', '1', NULL, '0', NULL, NULL); |
| 33 | + INSERT INTO `dss_application` (`id`, `name`, `url`, `is_user_need_init`, `level`, `user_init_url`, `exists_project_service`, `project_url`, `enhance_json`) VALUES (NULL, 'azkaban', NULL, '0', '1', NULL, '0', NULL, NULL); |
33 | 34 | ``` |
34 | 35 | 检查dss-appjoints目录下是否已经安装了schedulis的appjoint。 |
35 | 36 |
|
36 | 37 | (4) 在Azkaban上安装Linkis任务执行插件 |
37 | 38 |
|
38 | | - 由于现在DSS的任务基本都是提交给Linkis来执行的,所以需要在Azkaban上安装一个插件,用于DSS发布到Azkaban后的调度执行。 |
39 | | - 1、获取插件包 |
| 39 | + 由于现在DSS的任务基本都是提交给Linkis来执行的,所以需要在Azkaban上安装一个插件,用于DSS发布到Azkaban后的调度执行。 |
| 40 | + 1、获取插件包 |
40 | 41 |
|
41 | 42 | ``` |
42 | | - /wedatasphere-dss-x.x.x-dist/share/plugins/azkaban/linkis-jobtype/linkis-jobtype-x.x.x-linkis-jobtype.zip |
| 43 | + /wedatasphere-dss-x.x.x-dist/share/plugins/azkaban/linkis-jobtype/linkis-jobtype-x.x.x-linkis-jobtype.zip |
43 | 44 | ``` |
44 | | - 2、安装插件 |
45 | | - 把安装包解压到指定的目录下: |
| 45 | + 2、安装插件 |
| 46 | + |
| 47 | + 把安装包解压到指定的目录下: |
46 | 48 | ``` |
47 | | - /AzkabanInstall/wtss-exec/plugins/jobtypes/linkis |
| 49 | + /AzkabanInstall/wtss-exec/plugins/jobtypes/linkis |
48 | 50 | ``` |
49 | 51 |
|
50 | | - 3、配置插件 |
| 52 | + 3、配置插件 |
| 53 | + |
51 | 54 | private.properties(azkaban的jobtype配置)和 plugin.properties(额外的配置) |
52 | 55 | 请根据实际环境设置两个配置文件的内容 |
53 | 56 | |
54 | | - 4、刷新生效 |
| 57 | + 4、刷新生效 |
| 58 | + |
55 | 59 | curl http://IP:PORT/executor?action=reloadJobTypePlugins |
0 commit comments