1.创建爬虫框架:scrapy startproject <爬虫程序的名字> douban
2.使用cd命令,进入到我们第一步创建的爬虫框架里面执行:scrapy genspider douban "目标网址的域名"
3.运行爬虫程序:scrapy crawl <spider> # spider 是爬虫程序文件中的name,也就是唯一标识
4.编写一个main.py文件 导入 scrapy中的cmsline模块, 可以实现控制终端运行from scrapy import cmdline 使用 execute()方法,输入运行scrapy爬虫的命令:scrapy crawl <spider>: 名字
cmdline
.execute
(['scrapy','crawl','爬虫的名字'])