【源码】基于Apache DolphinScheduler的分布式工作流任务调度系统

项目简介

本项目基于Apache DolphinScheduler构建分布式工作流任务调度系统。Apache DolphinScheduler是分布式、可扩展的工作流任务调度平台，有强大的DAG可视化界面，旨在解决数据处理流程中复杂的任务依赖关系，提供多种类型任务，实现开箱即用。能通过DAG图关联任务并实时可视化监控运行状态，支持多种任务类型、多种调度方式及各类任务操作，具备工作流和任务优先级设置等众多功能，还支持数据回填、多租户和国际化。

项目的主要特性和功能

• 稳定性：支持分布式多Master和多Worker，利用Zookeeper实现去中心化。
• 易用性：具备可视化操作界面，可通过拖拽任务绘制DAG，配置数据源和资源。
• 功能性：支持Shell、MR、Spark、SQL等多种任务类型，支持任务的暂停、恢复、重试、告警等操作。
• 扩展性：支持自定义任务类型，支持分布式调度，Master和Worker可动态调整。

安装使用步骤

假设用户已经下载了本项目的源码文件，按以下步骤进行安装使用： 1. 构建项目：使用Maven进行项目构建。 bash ./mvnw clean install -Prelease 2. 部署项目：将构建生成的二进制包部署到服务器上。 bash dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz 3. 配置环境：根据部署文档配置Zookeeper、数据库等环境。 4. 启动服务：启动Master和Worker服务。 bash ./bin/dolphinscheduler-daemon.sh start master-server ./bin/dolphinscheduler-daemon.sh start worker-server 5. 访问界面：通过浏览器访问DolphinScheduler的Web界面，开始创建和管理工作流。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】