【源码】基于Hadoop的安全增强系统

项目简介

本项目致力于增强Hadoop集群在共享平台上的安全性，着重于用户认证、访问控制和作业管理方面。借助引入沙箱技术和黑名单机制，有效防止恶意用户滥用资源，保障集群的稳定性与安全性。

项目的主要特性和功能

1. 用户认证增强：支持Simple和Kerberos两种认证机制，通过RPC和HDFS的安全机制保障用户操作的合法性。
2. 作业管理优化：运用沙箱技术对用户提交的任务进行预执行和隔离检测，利用黑名单技术分析任务，识别并阻止恶意任务。
3. 数据存储与分析：采用SQLite3数据库记录用户和作业的详细信息，数据库结构包含用户表、作业执行信息表和作业配置信息表。
4. 守护进程监控：主程序作为守护进程，启动两个子进程分别负责日志分析和任务监控，通过进程间通信（IPC）协调两者的执行。

安装使用步骤

1. 环境准备：确保已安装Hadoop集群并配置好相关环境变量，安装SQLite3数据库并保证数据库文件路径正确。
2. 配置文件设置：依据项目提供的配置模板，设置core-site.xml、mapred-site.xml和yarn-site.xml中的必要属性，如fs.defaultFS、yarn.app.mapreduce.am.staging-dir等。
3. 启动守护进程：运行主程序脚本，启动守护进程，其会自动启动日志分析和任务监控子进程。
4. 数据库初始化：根据项目提供的SQL脚本，初始化SQLite3数据库，确保user、job_summary和job_conf表的表结构正确。
5. 任务提交与监控：用户正常提交作业，系统自动进行沙箱检测和黑名单分析，若检测到恶意任务，系统将自动终止该任务并记录相关信息。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】