【源码】基于Python和Apache Spark的金融数据处理系统

项目简介

本项目是基于Python和Apache Spark构建的金融数据处理系统，通过重新演算个股收益，解决使用XXX证券软件时个人收益数据观察不准确的问题。系统采用模块化设计，各子系统负责生成一系列量化指标，支持股票交易数据处理、现金流合并、账户核对异常检测等功能。

项目的主要特性和功能

1. 数据处理模块：运用Spark完成数据处理，包含数据初始化、日常计算、数据合并等操作，实现股票交易数据的读取、清洗、聚合与存储。
2. 异常检测模块：检测并处理数据中的异常情况，如账户核对异常、现金流异常等，通过执行特定SQL查询查找异常数据，生成报告或统计信息。
3. 测试模块：利用Python的单元测试框架编写和运行测试用例，保证数据处理和异常检测模块功能的正确性。
4. 辅助模块：提供配置管理、日志记录、日期处理等基础功能，供其他模块调用。

安装使用步骤

1. 下载源码：用户已下载本项目的源码文件。
2. 打包项目：运行./package.sh进行项目打包。
3. 运行子模块：以fdata/csr模块为例，运行命令python target/fdata/csr/bin/auto_run.py <env> <mode> <busi_date>。
4. 部署项目：将target目录下的内容拷贝到客户的服务器上即可。

通过上述步骤，用户可顺利安装并运行本项目各子模块，开展金融数据的处理与分析。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】