【源码】基于mitmproxy和Appium的壹品仓App商品数据爬虫

项目简介

本项目借助mitmproxy和Appium技术，对壹品仓App里的商品数据进行自动化爬取，涵盖品牌信息与商品详情。通过拦截网络请求和模拟用户操作，可高效获取并存储商品数据。

项目的主要特性和功能

1. mitmproxy抓包：拦截和分析壹品仓App网络请求，获取商品数据URL链接。
2. Appium自动化：利用Appium模拟用户操作，自动浏览并获取商品信息。
3. 数据存储：把爬取的商品数据存入MongoDB数据库，方便后续分析处理。
4. 自动化脚本：编写Python脚本实现自动化抓取，减少人工干预。

安装使用步骤

环境准备

1. 安装Python：确保系统已安装Python 3.x。
2. 安装依赖工具：
3. mitmproxy：用于网络请求拦截。
4. Appium：用于自动化操作。
5. 夜神模拟器：用于模拟Android设备。
6. MongoDB：用于数据存储。

具体步骤

1. 安装依赖库： bash pip install -r requirements.txt
2. 配置mitmproxy：
3. 启动mitmproxy并配置拦截规则。
4. 在夜神模拟器中设置代理为mitmproxy的端口（默认8080）。
5. 配置Appium：
6. 启动Appium服务器。
7. 配置Appium的设备信息、应用包名等参数。
8. 运行爬虫脚本：
9. 启动mitmproxy脚本： bash mitmdump -s yipincang_app_spider.py
10. 运行Appium自动化脚本： bash python Appium_yipincang.py
11. 查看数据： 爬取的数据将自动保存到MongoDB数据库中，可使用MongoDB客户端查看数据。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】