scrapy爬虫保存为csv或json文件

it2023-05-07  81

scrapy爬虫保存为csv或json文件

导出为json或scv格式

执行爬虫文件时添加-o选项即可

scrapy crawl 项目名 -o *.csv

scrapy crawl 项目名 -o *.json

对于json文件,在setting.js文件里添加,设置编码格式,否则会乱码:

FEED_EXPORT_ENCODING=‘utf-8’

示例:

from scrapy import cmdline cmdline.execute('scrapy crawl baidu -o baidu.csv'.split())
最新回复(0)