【源码】基于Python的中文医学NLP评测基准与模型微调项目

项目简介

本项目聚焦中文医学自然语言处理（NLP）领域。在大语言模型广泛应用的当下，针对中文医学NLP社区缺乏统一任务形式评测基准的问题，构建了PromptCBLUE评测基准。基于ChatGLM - 6B模型构建baseline模型，并进行不同参数高效微调实验。同时提供基于Python的框架，用于微调LLAMA模型以适配特定NLP任务，并将微调后的模型部署为web服务。

项目的主要特性和功能

1. 评测基准构建：用94个指令微调模板改造CBLUE基准任务，将医疗文本NLP数据集转为统一格式，便于模型训练与评估。
2. 多模型微调：基于ChatGLM - 6B模型，利用p - tuning、Lora、AdaLora等参数高效微调方法在PromptCBLUE训练集微调，评测ChatGPT在PromptCBLUE的dev集表现。
3. 多指标评估：针对不同任务采用对应严格评测指标，如基于实体实例、三元组实例、临床事件实例等层面的Precision、Recall、F1分数，以及Rouge分数等，计算总体打分用于榜单排名和评奖。
4. LLAMA模型微调与部署：提供完整的LLAMA模型微调框架，支持用PEFT技术优化模型参数，合并LoRA模型到基础模型，将微调后的模型部署为web服务，并提供测试工具计算评估指标。

安装使用步骤

对于PromptCBLUE部分

1. 环境准备：确保已安装Python环境，依据requirements.txt安装必要的库。
2. 数据准备：准备符合PromptCBLUE格式的训练集、验证集和测试集。
3. 模型评估：按评价指标部分说明，对微调后的模型在测试集上评估。

对于LLAMA模型微调与部署部分

1. 环境准备：确保已安装Python环境，安装transformers、FastAPI等必要的库。
2. 数据准备：准备训练/验证数据集，并按项目格式组织。
3. 模型微调：运行ft_llama_lora目录下的run_clm_pt_with_peft.py脚本进行模型微调。
4. 模型部署：运行vllm_serving目录下的launch_vllm.py脚本，将微调后的模型部署为web服务。
5. 测试与评估：运行vllm_serving目录下的web_service_test.py脚本，对部署的web服务测试并评估模型性能。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】