数据etl

数据ETL是在平台上对接数据中台，操作数据中台完成数据ETL操作。它专用于数据ETL的任务流，对接数据中台之后，在此处添加数据ETL任务流，主要是使用hadoop、sparkjob等任务模板来实现。这里只是编排任务节点，实际的数据ETL任务运行还是在二次开发时对接的任务系统上。

点击“数据ETL”的“新建任务流”，点击新建好的任务流的名称链接，即可进入pipeline编排界面。

生成的任务流编排信息会自动保存为json格式，存在数据库中，在任务流详情界面可以查看该json。

下图所示是一个典型的ETL任务流。左侧边栏有一系列可进行ETL操作的模板，拖拉拽需要的模板，并配置每个任务节点，可以完成数据中台的数据入库、数据ETL、数据入库等操作。

对接数据中台、数据ETL的各类模板，除了平台本身提供的，还可以通过二开来增加模板。