【源码】基于ETL流程的语义相似度分析系统

项目简介

本项目是一个基于ETL（Extract, Transform, Load）流程的语义相似度分析系统。项目从社交媒体平台提取数据，借助Sentence - BERT模型开展语义相似度分析，最后将分析结果存储于MongoDB数据库。用户可通过API接口查询语义相似度分析结果。

项目的主要特性和功能

1. 数据提取：从PostgreSQL数据库提取社交媒体数据。
2. 语义分析：运用Sentence - BERT模型对提取的数据进行语义相似度分析。
3. 数据加载：把分析结果存储到MongoDB数据库。
4. API接口：提供RESTful API接口，方便用户查询语义相似度分析结果。

安装使用步骤

安装依赖

bash pip install -r requirements.txt

前置准备

1. 数据准备：准备任意包含文本的数据集并导入到PostgreSQL数据库。
2. 数据库配置：
   • 建置PostgreSQL数据库并创建相应的表和索引。
   • 建置MongoDB Atlas数据库并创建相应的集合。

运行程序

1. 启动程序服务器： bash python main.py
2. 通过API接口查询语义相似度分析结果。例如： bash curl -X GET "http://localhost:5000/searchkeyword?start_date=2023-01-01&end_date=2023-12-31&search=关键词"

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】