%20(2).svg)
项目简介
本项目专注于训练医疗GPT模型，依据ChatGPT训练流程，开展预训练、有监督微调、奖励模型建模和强化学习训练这四个阶段的训练工作，并发布中文医疗LoRA模型。
项目的主要特性和功能
- 四阶段训练：涵盖二次预训练、有监督微调、奖励模型建模和强化学习训练。
- 领域大模型：以医疗领域为例，训练领域大模型，达成医疗领域的四阶段训练。
- 中文医疗LoRA模型：发布基于Ziya - LLaMA - 13B - v1模型的中文医疗LoRA权重。
安装使用步骤
假设用户已经下载了本项目的源码文件：
1. 安装依赖：依据requirements.txt安装项目所需的依赖库。
2. 数据准备：准备训练要用的医疗数据集和通用数据集。
3. 模型训练：运行pretraining.py、supervised_finetuning.py、reward_modeling.py和rl_training.py脚本进行模型训练。
4. 模型评估：使用inference.py脚本进行模型评估。
注意事项
- 模型训练或许需要大量计算资源（如GPU）。
- 在训练模型前，要保证数据集的预处理和格式正确。
- 可根据自身需求选择合适的模型类型和训练参数。
引用
如果使用本项目的模型或代码，请按如下格式引用：
@misc{MedicalGPT,
title={基于Python/PyTorch的中文医疗GPT模型训练},
author={Shanchanghua},
year={2023},
}
贡献
欢迎对本项目提出改进建议并提交。提交前，请添加相应的单元测试，使用python -m pytest运行所有单元测试确保通过。
免责声明
基于当前数据和基础模型训练得到的模型，在效果上存在以下问题： 1. 在涉及事实性的指令上可能会给出违背事实的错误回答。 2. 对于具备危害性的指令无法很好地鉴别，会产生危害性言论。 3. 在一些涉及推理、代码、多轮对话等场景下模型的能力还有待提升。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】