项目简介
本项目是基于Python的开源金融数据处理系统,可从Tushare、AkShare等多个数据源获取金融数据,实现高效的数据存储、处理、分析和可视化。系统支持增量更新和全量刷新数据,提供单因子分析工具,适合金融分析师、数据科学家和量化交易者使用。
项目的主要特性和功能
- 多源数据获取:能从Tushare、AkShare等多数据源获取股票、基金、指数等金融数据。
- 数据存储与备份:数据以Arrow格式层次化存于本地,支持全量和增量备份。
- 数据处理:具备数据清洗、特征计算、时间对齐等功能,支持单因子分析。
- 元数据管理:通过TOML格式管理数据更新元数据,保障数据一致性和完整性。
- 分析工具:提供plydata和plotnine等工具用于数据分析和可视化。
安装使用步骤
环境准备
- 安装Python 3.x。
- 安装所需Python库:
pip install pandas numpy arrow plydata plotnine
。
数据获取
- 配置Tushare API密钥。
- 运行
python sync.py
获取数据。
数据存储与备份
- 运行
python backup.py
进行数据备份。 - 运行
python clean.py
进行数据清洗和时间对齐。
数据分析
- 使用提供的分析工具进行单因子分析。
- 参考
assets/notebook.png
中的示例进行数据可视化。
元数据管理
- 编辑TOML文件以管理数据更新的元数据。
- 使用
Backup
和BackupIncr
类进行全量和增量备份。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】