数据湖管理与分析平台EDAP

概述

概述

EDAP支持离线作业开发模式,主要面向离线数据处理场景,同时提供了可视化作业开发、脚本作业开发、作业组开发三种开发方式,满足不同客户开发需求。

进入项目

在【我的项目】中的项目列表点击具体某个项目,进入项目内部。

image (24).png

离线开发

项目内,选择【离线开发】,进入离线作业的开发和编排界面。离线开发分为三类: 可视化作业开发、脚本作业开发、作业组开发。

image (25).png

  • 可视化作业开发:使用拖拽的形式,降低用户开发、使用门槛,快速实现离线任务的加工处理;
  • 脚本作业开发:以脚本的形式进行数据的开发,目前支持的脚本类型包括:HIVESQL、JDBCSQL、Spark SQL、PySpark、Spark Scala、Shell、Python等脚本类型;
  • 作业组开发:将可视化作业开发、脚本作业开发等开发完成的作业,或者用户线下创建好的shell、python、spark等作业进行引用。实现作业组的可视化编排,并配置调度,实现离线作业组的周期性运行。
上一篇
数据集成
下一篇
离线可视化作业开发