# 在scrapy项目中添加start.py文件,用于启动爬虫 from scrapy import cmdline # 在爬虫运行过程中,会自动将状态信息存储在crawls/storeMyRequest目录下,支持续爬 cmdline.execute('scrapy crawl mySpider -s JOBDIR=crawls/storeMyRequest'.split()) # Note:若想支持续爬,在ctrl+c终止爬虫时,只能按一次,爬虫在终止时需要进行善后工作,切勿连续多次按ctrl+c