项目简介
本项目是基于Flask框架和爬虫技术构建的岗位信息采集系统。它会爬取指定网站(如51job.com)的职位信息,再通过Flask框架构建的Web应用来展示和分析这些数据。
项目的主要特性和功能
- Web界面展示:利用Flask框架构建Web应用,方便用户实时查询和浏览职位信息。
- 数据爬取:运用爬虫技术,定时从目标网站获取最新职位信息。
- 数据存储:把爬取的数据存入MySQL数据库,便于后续查询和分析。
- 数据分析与可视化:对职位数据进行处理和分析,统计不同城市、学历、薪资等的分布情况,并以图表形式展示。
- 交互性:提供模糊查询功能,支持用户根据关键词搜索感兴趣的职位信息。
安装使用步骤
环境要求
- Python 3.6+
- MySQL 5.7+
安装步骤
- 复制项目:
bash cd job-info-crawler
- 配置数据库:
- 修改
config.py
文件中的数据库用户名与密码,使其与本地一致。 - 在MySQL命令行中执行
51job_TABLE.sql
文件,建立项目所需的表:sql source 项目文件目录/51job_TABLE.sql
- 创建虚拟环境并安装依赖:
bash pip install virtualenv virtualenv env env\Scripts\activate pip install -r requirements.txt
- 启动项目:
bash flask run
- 访问项目:
打开浏览器,访问
http://127.0.0.1:5000
查看项目首页。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】