scrapy爬虫保存为csv或json文件
导出为json或scv格式
执行爬虫文件时添加-o选项即可
scrapy crawl 项目名 -o *.csv
scrapy crawl 项目名 -o *.json
对于json文件,在setting.js文件里添加,设置编码格式,否则会乱码:
FEED_EXPORT_ENCODING=‘utf-8’
示例:
from scrapy import cmdline
cmdline.execute('scrapy crawl baidu -o baidu.csv'.split())