2020-10-21创建爬虫scrapy框架步骤-笔记

it2024-01-25  68

1.创建爬虫框架:scrapy startproject <爬虫程序的名字> douban

2.使用cd命令,进入到我们第一步创建的爬虫框架里面执行:scrapy genspider douban "目标网址的域名"

3.运行爬虫程序:scrapy crawl <spider> # spider 是爬虫程序文件中的name,也就是唯一标识

4.编写一个main.py文件 导入 scrapy中的cmsline模块, 可以实现控制终端运行from scrapy import cmdline 使用 execute()方法,输入运行scrapy爬虫的命令:scrapy crawl <spider>: 名字

cmdline.execute(['scrapy','crawl','爬虫的名字'])
最新回复(0)