|
|
il y a 6 ans | |
|---|---|---|
| .. | ||
| .idea | il y a 6 ans | |
| __pycache__ | il y a 6 ans | |
| scrapy_yzd | il y a 6 ans | |
| README.md | il y a 6 ans | |
| main.py | il y a 6 ans | |
| model.py | il y a 6 ans | |
| models.py | il y a 6 ans | |
| scrapy.cfg | il y a 6 ans | |
| test.json | il y a 6 ans | |
| test4.py | il y a 6 ans | |
该项目为scrapy框架,整合了自动切换agent,自动切换代理ip的中间件,可以下载后自行编写爬虫。 支持:
京东商品信息(名称价格等)
自动切换agent
采用网友的中间件,自动从3个免费代理网站爬取代理并测试