概述
更新时间:2023-06-26
概述
EDAP支持离线作业开发模式,主要面向离线数据处理场景,同时提供了可视化作业开发、脚本作业开发、作业组开发三种开发方式,满足不同客户开发需求。
进入项目
在【我的项目】中的项目列表点击具体某个项目,进入项目内部。
离线开发
项目内,选择【离线开发】,进入离线作业的开发和编排界面。离线开发分为三类: 可视化作业开发、脚本作业开发、作业组开发。
- 可视化作业开发:使用拖拽的形式,降低用户开发、使用门槛,快速实现离线任务的加工处理;
- 脚本作业开发:以脚本的形式进行数据的开发,目前支持的脚本类型包括:HIVESQL、JDBCSQL、Spark SQL、PySpark、Spark Scala、Shell、Python等脚本类型;
- 作业组开发:将可视化作业开发、脚本作业开发等开发完成的作业,或者用户线下创建好的shell、python、spark等作业进行引用。实现作业组的可视化编排,并配置调度,实现离线作业组的周期性运行。