【源码】基于Java的Kettle调度监控平台

项目简介

Kettle是一款广泛应用的开源ETL工具，但其自身的调度监控功能相对薄弱。本项目Kettle调度监控平台（KS）是自主研发的Java Web程序，它整合了spring、springmvc和beetlsql框架，通过调用kettle的API来执行转换和作业，同时利用quartz框架完成调度工作。该平台用于调度和监控由kettle客户端创建的job和transformation，基于kettle - 8.0.0.0 - 28版本的API开发，基本支持所有组件，包括大数据组件。

项目的主要特性和功能

1. 任务调度：支持对kettle的作业和转换任务进行定时调度，可设置执行策略，实现自动化执行。
2. 实时监控：能实时监控任务（作业和转换）的执行情况，在首页及相应监控管理页面展示监控信息，如任务数、执行成功和失败次数等。
3. 日志管理：记录任务执行产生的日志，可在详情页面查看每次执行的日志及执行时间，且日志支持下载。
4. 资源库管理：可对kettle数据库资源库信息进行新增、修改、删除操作。
5. 任务管理：分别对作业和转换定时任务进行管理，可进行新增、修改、删除操作，并启动任务运行。
6. 用户管理：仅admin用户登录时可进行用户管理，能新增、编辑、删除用户，保障系统安全性。

安装使用步骤

环境准备

• 操作系统：windows（linux类似）
• 预装软件：jdk1.8、mysql、tomcat、kettle8.0

部署步骤

1. 将源码中kettle - scheduler.sql导入mysql数据库。
2. 将源码编译打包后解压到tomcat下的webapps目录下。
3. 配置km\WEB - INF\classes\resource\db.properties：
   • jdbc.driver=com.mysql.jdbc.Driver
   • jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle - master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false
   • jdbc.username=root
   • jdbc.password=123456
4. 配置km\WEB - INF\classes\resource\kettle.properties：
   • kettle.home=WEB - INF\lib（需将kettle8.0的环境变量文件kettle.properties拷贝替换掉项目路径km\WEB - INF\lib.kettle下的同名文件）
   • kettle.plugin=E:\zhaxiaodong\plugins（可自定义目录，将data - integration\plugins目录下所需插件拷贝到此目录）
   • kettle.script=Html\js\libs\url
   • kettle.loglevel=detail
   • kettle.log.file.path=D:\data - integration\logs
   • kettle.file.repository=D:\data - integration\test
5. 将data - integration目录下的simple - jndi和system文件夹拷贝到apache - tomcat - 9.0.12\bin目录下。
6. 配置\apache - tomcat - 9.0.12\conf\server.xml：
   • …

启动与访问

1. 启动tomcat：
   • Windows: apache - tomcat - 9.0.12\bin\startup.bat
   • Linux: apache - tomcat - 9.0.12\bin\startup.sh
2. 访问http://localhost:8080/km进入系统，用户名admin，密码admin。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】