这一节是文件存储与使用requests模块的回顾
文件保存：
fp = open('./alldata.json','w',encoding='utf-8') json.dump(all_data_list,fp=fp,ensure_ascii=False) # 存到json文件中 fp.close() filename = kw+'.html' with open(filename,'w',encoding='utf-8') as fp: fp.write(page_text) filename = word+'.json' fp = open(filename,'w',encoding='utf-8') json.dump(dic_obj,fp=fp,ensure_ascii=False) #拿到的json串中有中文，而中文不能使用ASCII码进行编码，所以ensure_ascii应该是Fasle fp.close()注意如果是保存图片的话，得指定图片的保存的保存地址，如：
img_name = li.xpath('./a/img/@alt')[0]+'.jpg' #较为通用的处理中文乱码的方案 img_name = img_name.encode('iso-8859-1').decode('gbk')#为了解决标题乱码的问题 #print(img_name,img_src) #请求图片并进行持久化存储 img_data = requests.get(url=img_src,headers=headers).content #注意图片是二进制数据，得用content属性 img_path = 'Piclibs/'+img_name #定义图片存储的路径回顾：
模拟浏览器发起请求：指定url——》进行UA伪装——》进行参数处理（有则处理，无责跳过）——》发起请求——》获取数据——》持久性存储