%20(2).svg)
项目简介
本项目是基于Scrapy爬虫框架和MySQL数据库构建的图书信息爬取系统，可从读书网（https://www.dushu.com/book/1188_1.html）爬取书籍信息，如书名和封面图片链接，并将这些信息存储于本地MySQL数据库。
项目的主要特性和功能
- 采用Scrapy爬虫框架，实现高效的网页数据爬取。
- 利用CrawlSpider模块自定义爬虫规则，跟进链接以爬取多页数据。
- 运用MySQL数据库存储爬取的数据，便于后续处理和分析。
- 具备数据处理管道，可进行数据清理、验证、查重和存储等操作。
安装使用步骤
环境准备
- 安装Python环境。
- 安装Scrapy框架，执行命令：
pip install scrapy。 - 安装MySQL数据库及Python连接库，执行命令：
pip install pymysql。
下载源码
从项目仓库下载源码文件。
配置数据库
在settings.py文件中配置数据库连接参数，如数据库地址、端口、用户名、密码等。
运行爬虫
- 打开命令行，进入项目目录。
- 运行命令：
scrapy crawl read。
查看结果
- 爬取的数据会保存在本地MySQL数据库中。
- 也可在项目目录下查看生成的JSON文件。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】