【源码】基于Spark和Kafka的智能家居数据分析系统

项目简介

本项目聚焦智能家居设备数据的分析处理，借助Spark开展数据处理与分析工作，以Kafka作为数据流中介收集和传递传感器数据，为用户提供实时仪表板和数据分析功能，便于用户监控系统状态并进行初步数据分析。

项目的主要特性和功能

1. 数据收集：运用MQTT协议从智能家居设备收集数据。
2. 实时数据流处理：借助Apache Kafka消息队列，确保数据实时性与可靠性。
3. 数据存储：利用Apache Hadoop的HDFS实现大规模数据存储。
4. 数据处理和分析：通过Apache Spark高效处理和分析数据，并将结果存入PostgreSQL数据库。
5. 实时仪表板：提供Web界面展示实时数据和统计分析结果。
6. 数据可视化：通过NiFi Registry和NiFi UI进行数据可视化呈现。

安装使用步骤

前提条件

用户已下载本项目的源码文件。

操作步骤

1. 安装Docker并完成环境配置。
2. 解压下载的项目源码文件。
3. 根据自身网络环境，修改项目中的SSID和密码。
4. 安装项目所需的所有库和依赖，例如PubSubClient。
5. 在终端运行ipconfig命令，获取MQTT broker服务器的IP地址。
6. 运行docker-compose up命令，启动相关服务。
7. 编译代码并启动NodeMCU板卡。
8. 通过浏览器访问以下链接进行实时监控和数据展示：
   • NiFi Registry
   • NiFi
   • Kafka UI
   • Spark UI

注意事项

1. 若出现rc - 2错误，可尝试使用移动热点建立mqtt broker连接。
2. 确保Zookeeper和Kafka的版本兼容。
3. 仔细检查所有声明的IP地址，尤其是通过Docker获取的实际IP地址。
4. 确保防火墙允许在私有局域网内连接设备。
5. 选择MQTT协议版本5.0。

项目基础设施

项目依赖于以下组件和服务：MQTT broker（Mosquitto）、Apache Kafka、Apache Zookeeper、Apache NiFi、Apache Nifi Register、Apache Spark和Apache Hadoop（HDFS），这些共同构建了项目的数据处理和分析平台。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】