feng1632009 5707ddbe27 "first commit" hace 6 años
..
.idea 5707ddbe27 "first commit" hace 6 años
__pycache__ 5707ddbe27 "first commit" hace 6 años
scrapy_yzd 5707ddbe27 "first commit" hace 6 años
README.md 5707ddbe27 "first commit" hace 6 años
main.py 5707ddbe27 "first commit" hace 6 años
model.py 5707ddbe27 "first commit" hace 6 años
models.py 5707ddbe27 "first commit" hace 6 años
scrapy.cfg 5707ddbe27 "first commit" hace 6 años
test.json 5707ddbe27 "first commit" hace 6 años
test4.py 5707ddbe27 "first commit" hace 6 años

README.md

scrapy_yzd

该项目为scrapy框架,整合了自动切换agent,自动切换代理ip的中间件,可以下载后自行编写爬虫。 支持:

  • 豆瓣电影
  • 京东商品信息(名称价格等)

    agent中间件

    自动切换agent

    代理中间件

    采用网友的中间件,自动从3个免费代理网站爬取代理并测试