项目简介
本项目基于GPT2模型,借助深度学习技术训练出能够依据新闻正文内容自动生成新闻标题的模型。项目代码有详细注释,还提供了数据集的下载链接与处理方式,便于用户快速搭建和体验。
项目的主要特性和功能
- 采用GPT2模型:运用基于transformer的GPT2模型,在自然语言处理任务中表现优异。
- 注释与文档详尽:代码带有详细的中文注释,有助于用户理解各部分功能。
- 数据集丰富:提供清华新闻数据、搜狗新闻数据等多个新闻数据集的下载链接,并给出数据集的处理方式。
- Web服务支持:通过Flask框架搭建Web服务,方便用户通过网页体验新闻标题生成。
- Streamlit页面:新增Streamlit页面,无需使用Flask+HTML即可部署精美页面。
安装使用步骤
- 安装依赖:依据
requirements.txt
文件安装所需依赖。 - 数据预处理:利用提供的数据处理脚本对新闻数据进行预处理。
- 训练模型:运行
train.py
脚本,训练GPT2模型。 - 生成标题:使用
generate_title.py
脚本,根据新闻正文生成标题。 - 启动Web服务:运行
http_server.py
,启动Flask服务,通过网页体验新闻标题生成。 - 启动Streamlit页面:运行
streamlit run app.py
,启动Streamlit页面,体验新闻标题生成。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】