项目简介
本项目是基于ERNIE模型构建的智能问答系统,借助深度学习技术从大量文档里提取并验证用户查询的正确答案。核心问题在于从给定文档集合中筛选出包含正确答案的文档,保证答案的可靠性与一致性。
项目的主要特性和功能
- 语义相似度模型:借助ERNIE模型训练,可判断两个答案片段是否一致。
- 召回模型:运用二分类模型判断文档是否含正确答案,提升答案召回率。
- 聚类分析:采用K - means聚类算法对文档聚类,确保答案一致性与可信度。
- 数据预处理:具备文本分词、数据填充、掩码等功能,以适配ERNIE模型输入要求。
- 评估指标:定义精确率、召回率、F1分数等评估指标,用于评估模型性能。
安装使用步骤
- 环境配置:确保已安装Python 3.x以及必要的依赖库,像PaddlePaddle、Transformers等。
- 数据准备:依照项目结构准备训练数据和测试数据。
- 模型训练:运行
main.ipynb
文件,按指导进行模型训练和参数调节。 - 模型评估:使用提供的评估指标对训练好的模型进行性能评估。
- 结果提交:根据模型预测结果生成提交文件,进行最终的答案验证和提交。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】