Python 爬虫知识简述(bs4解析与xpath)

it2024-07-26  38

Python 爬虫知识简述(bs4解析与xpath)

bs4数据解析

-数据解析的原理 1.实例化一个BeautifulSoup对象,并且将页码数据加载到该对象中 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取 -环境安装

pip install bs4 pip install lxml

-如何实例化BeautifulSoup对象

-from bs4 import BeautifulSoup **-对象实例化:** -1.将本地的html文档中的数据加载到该对象中 打开文件 fp=open('','r',encoding='utf-8') 加载到对象中(加载和实例化并行) soup=BeautifulSoup(fp,'lxml') -2.将互联网上获取的页面源码加载到该对象中 page_text=response.text soup=BeautifulSoup(page_text,'lxml') -提供的用于数据解析的方法和属性: -soup.tagName: 返回的时文档中第一次出现的tagName对应的标签 -soup.find: find('tagName')=soup.tagName 属性定位:find('tagName',class_='song') 定位到具体的属性(class_/id/attr) -soup.fing_all('tagName'): 查找对象中所有的tagName -soup.select(): -select('某种选择器(class,id,标签。。。选择器)'),返回的是一个列表 例如:select('.tang')class选择器 -层级选择器: soup.select('body>p')[2] 可以层层筛选,返回的是一个列表,可以通过下标具体定位 空隔表示多个层级,大于号(>)表示一个层级 -获取标签之间的文本数据: -soup.a.text/string/get_text() -text/get_text():可以获取某一个标签中所有的文本内容,即使不属于直系文本内容 -string:只能获取该标签下的文本内容 -获取标签中的属性值: 例如: -soup.a['href']

-Xpath解析:

-Xpath解析原理: -1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中 -2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

-环境的安装:

-pip install lxml

-实例化etree对象: from lxml import etree -1.将本地的html文档中的源码数据加载到etree对象中 etree.parse(filePath) -2.将互联网上获取的页面源码加载到该对象中 etree.HYML(‘page_text’) -xpath(‘xpath表达式’) - / :表示从根节点开始定位,表示的是一个层级 - //:表示的是多个层级 例:xpath(’/html/body/div’)=(‘html//div’)=(’//div’) -属性定位: xpath(’//div[@class=‘song’]’)定位到class为song的具体div -索引定位: xpath(’//div[@class=‘song’]/p[3]’) 定位到class为song的具体div下第三个p标签 -取文本:text() xpath(’//div[@class=‘song’]//li[3]/a/text()’)[0] 定位到class为song的div下,越级(多级)后的第三个li标签里的a标签里面的文本,因返回值为一个列表,所以加[0]可已去掉列表框 注:只能获取标签中直系的文本,若要越标签获取如

春天中的文本,应采用 //text 如:xpath(’//li[2]//text()’),可获取标签中所有非直系的文本内容 -取属性值: xpath(’//div[@class=‘song’]//li[2]/img/@src’) 定位到img标签下的src属性值

/* *本博客仅用于博主记录学习 *若有疏漏或错误的地方,望指正 */

最新回复(0)