这一节是使用requests进行爬取搜狗指定词条对应的搜索结果页面，也就是网页采集器
1、首先介绍反爬机制与反反爬策略： 反爬机制与反反爬策略：UA（User-Agent：请求载体的身份标识。用浏览器发起请求的话，那么当前的请求载体的身份标识是浏览器；通过requests.get方法也可以发起请求， 此时请求载体的身份标识不再是浏览器，而是爬虫程序）
UA检测：因为门户网站的服务器会检测对应的请求载体的身份标识，如果检测到请求的载体的身份标识为某一款浏览器，则说明该请求是正常请求；但是如果检测到请求的载体的身份标识不是基于浏览器，则表示该请求不是正常的请求（即爬虫），此时服务器端很有可能拒绝该次请求。
UA伪装：是一种反反爬策略。所以为了每次都能够请求成功，爬虫程序需要进行UA伪装这种反反爬策略，让爬虫对应的请求载体身份标识伪装成一款浏览器。 做法：将对应的User-Agent封装到一个字典中。
UA伪装必须应用在后期的每个案例当中
2、网页采集器的代码：
import requests if __name__=="__main__": #step1：指定url并进行UA伪装 #进行UA伪装：将对应的User-Agent封装到一个字典中,headers参数作用在get方法中，是get方法的参数,此处用的User-Agent是谷歌浏览器，也就是伪装成了谷歌浏览器 url = 'https://www.sogou.com/web?' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36' } #处理url携带的参数：将url所携带的参数封装到字典中 kw = input('enter a word:') param = { 'query':kw } #step2：发起请求 #对指定的url发起的请求对应的url是携带参数的，并且的请求过程中处理了参数 response=requests.get(url = url,params=param,headers=headers) #params表示参数，动态拼接参数，headers表示UA伪装，此处是伪装成谷歌浏览器 #step3：获取数据 page_text = response.text #step4:持久化存储 注意存储代码的写法 filename = kw+'.html' with open(filename,'w',encoding='utf-8') as fp: fp.write(page_text) print(filename,'保存成功')注意with open的使用：with open用来打开本地文件的，处理完文件后，会自动关闭文件，无需手动书写close()。
这里查阅了一下几篇博文： “open和with open的用法，你弄明白了吗?” “with open()的使用方法” “with open使用方法”
