【源码】基于Go语言的分布式任务协调执行系统

项目简介

本项目是基于Go语言构建的分布式任务协调执行系统，采用并行运行模式。系统借助协调器组织所有进程，通过rpc实现同步，能完成任务的分配与执行。它可以处理任务执行失败的情况，对任务进行重新分配，并且支持map和reduce阶段的任务处理。

项目的主要特性和功能

1. 并行执行：支持并行运行，由协调器有效组织进程，提高任务处理效率。
2. 任务分配与重试：协调器合理分配任务，若worker执行失败，会将任务重新分配给其他worker。
3. 任务阶段处理：实现map和reduce阶段任务处理，map阶段将不同key分配到指定数量的buckets，worker按要求将结果写入对应文件。
4. 并发处理与同步：协调器作为rpc server处理并发，对共享数据加锁；worker特定情况下等待，确保任务按序执行。
5. 故障恢复：可处理worker崩溃、停滞或运行缓慢的问题，等待一定时间后重新分配任务，具备故障恢复能力。

安装使用步骤

1. 准备环境：安装Go语言环境，保证版本与项目要求一致。
2. 下载源代码：从项目的Git仓库下载源码。
3. 编译项目：进入源码目录，运行go build命令编译。因map reduce函数在runtime时期用go plugin加载，更改mr文件夹后需重新编译动态库。
4. 运行系统：编译成功后，运行生成的可执行文件启动协调器和worker进程，worker会请求协调器分配任务并执行。
5. 验证功能：依据项目的配置文件和测试脚本进行配置和测试，验证系统功能和性能，可用-race检测协调器并发处理情况。

注意：本项目依赖所有worker共享一个文件系统，多机运行时需使用GFS。以上步骤基于项目源码和测试脚本简化描述，具体步骤可能因项目结构和依赖关系不同而有差异，实际操作请按项目文档说明进行安装配置。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】