feng1632009
7bfa99e90f
滚球代码
|
6 年之前 | |
|---|---|---|
| .. | ||
| .idea | 6 年之前 | |
| .scrapy | 6 年之前 | |
| __pycache__ | 6 年之前 | |
| scrapy_yzd | 6 年之前 | |
| README.md | 6 年之前 | |
| main.py | 6 年之前 | |
| model.py | 6 年之前 | |
| models.py | 6 年之前 | |
| requirements.txt | 6 年之前 | |
| scrapy.cfg | 6 年之前 | |
| test.json | 6 年之前 | |
| test4.py | 6 年之前 | |
README.md
scrapy_yzd
该项目为scrapy框架，整合了自动切换agent，自动切换代理ip的中间件，可以下载后自行编写爬虫。 支持：
- 豆瓣电影
京东商品信息（名称价格等）
agent中间件
自动切换agent
代理中间件
采用网友的中间件，自动从3个免费代理网站爬取代理并测试