【源码】基于Python Scrapy框架的城市天气预报爬虫

项目简介

本项目借助Python的Scrapy框架开发，是一个城市天气预报爬虫。它能对指定城市（像重庆、南川）的天气预报信息进行爬取，涵盖地区、日期、星期、天气状况、风向、最高温度和最低温度等内容。利用Scrapy的XPath选择器定位并提取网页元素信息，且可将这些信息存储到文本文件或JSON文件中。

项目的主要特性和功能

1. 多城市支持：可爬取多个城市的天气信息，例如重庆和南川。
2. 数据提取：运用Scrapy的XPath选择器从网页中提取天气信息。
3. 数据存储：爬取的数据经管道处理后，能保存到文本文件或JSON文件。
4. 自定义爬虫：可按需自定义爬虫行为，如修改User - Agent、设置并发请求数量等。

安装使用步骤

1. 安装Scrapy：若未安装Scrapy，可通过pip安装。 bash pip install scrapy
2. 修改配置文件：打开weather/weather/settings.py文件，按需修改相关设置，如并发请求数量、User - Agent等。
3. 运行爬虫：打开命令提示符或终端，进入项目目录，执行以下命令启动爬虫。 bash scrapy crawl CQtianqi
4. 查看数据：爬虫运行结束后，在weather/weather/data目录下查看生成的文本文件（weather.txt）或JSON文件（weather.json），其中保存了爬取到的天气信息。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】