前言：
首先进入Terminal中
1、创建一个scrapy框架项目：scrapy startproject 项目名
2、创建爬虫urL：
cd 项目名
scrapy genspider itcast 网址
解析这个网页里的每个笑话的时间、名称、链接，再将链接里的笑话内容解析放在一个字典里面：
1、在创建的爬虫模块里面填写信息 # name 爬虫的识别名称，必须唯一，启动爬虫时使用 name = 'xiaoxiao' allowed_domains = ['xiaohua.zol.com.cn'] # 搜索的域名范围 start_urls = ['http://xiaohua.zol.com.cn/'] # 爬虫起始地址 #上面的都是自动生成的 # 解析返回的网页数据(response.body)，提取结构化数据 def parse(self, response): with open('xiaoh.html', 'w', encoding='utf-8') as f: f.write(response.text) li = response.xpath('//div[@class="section"]/ul[@class="news-list video-list"]/li') for liens in li: item = XiaohuaItem() time = liens.xpath('.//span/text()') item['time'] = time[0].get() title = liens.xpath('.//a/@title') item['title'] = title[0].get() href = liens.xpath('.//a/@href') item['href'] = 'http://xiaohua.zol.com.cn'+href[0].get() yield scrapy.Request(url=item['href'], callback=self.parse_content, meta={'item':item}) # 解析URL请求返回后的内容 def parse_content(self,response): print('+++++++++++++++++parse_content+++++++++++++++++++++') item['content'] = response.xpath('//meta[@name="description"]/@content').get().strip() yield item 2、在itmes数据容器文件里面加入要保存的属性 这里的变量名一定要和爬虫模块保存的字典 key 对应上 time = scrapy.Field() title = scrapy.Field() href = scrapy.Field() content = scrapy.Field() setting模块： 如果保存的数据里面有中文需要在settings模块里面加入一条字符编码集代码 FEED_EXPORT_ENCODING = 'utf-8' 配置头文件 USER_AGENT = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36' 如果要跳过网站的robots协议 ROBOTSTXT_OBEY = False