【源码】基于Python的LLM意图识别与RAG聊天系统

项目简介

本项目是基于Python的LLM意图识别与RAG聊天系统，具备聊天和查询chromadb的功能。通过大型语言模型（LLM）开展意图识别，结合文本搜索和嵌入技术，有效提升回答的质量与效率，使系统能更好地理解用户问题并生成恰当回答。

项目的主要特性和功能

1. 意图识别：初期利用prompt的fewshot指导配合LLM识别意图，设置过滤器防止单字文本误判；后续可依据大量（query，意图）数据，通过创建query的VD召回相似query来增强识别准确性。
2. 文档检索和排序：采用BM25模型从数据库检索相关文档，用重排序模型对文档排序以提供最佳回答。
3. 自动回答生成：借助大型语言模型自动生成契合用户查询意图的回答。
4. 增强查询生成：支持生成多个表述不同但意思相同的问题，提高回答质量和多样性。
5. 文本搜索和嵌入：运用BM25模型和嵌入技术，提高查询与文档相似度计算的精度，让回答更准确。
6. 数据清洗和整理：提供工具对原始文本进行清洗和整理，便于后续文本处理和嵌入。
7. 拒答模块（待实现）：设有硬拒答和软拒答机制，可根据召回信息分数阈值决定是否回答，软拒答通过prompt形式实现。
8. 诚实样本处理：在SFT时加入诚实样本，避免generation LLM面对不可靠上下文给出幻觉回答。

安装使用步骤

1. 环境准备：确保已安装Python环境，并安装所需的库和依赖，如langchain、SentenceTransformers、chromadb等。
2. 数据准备：按需准备文本数据、意图文件等。
3. 运行程序：运行main.py文件，系统会根据用户输入的查询，返回相应的回答。

请注意，由于本项目依赖于特定的库和配置，因此在使用前请确保已正确配置环境并安装了所有必要的依赖。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】