BeautifulSoup(bs4)

BeautifulSoup是python的一个库,最主要的功能是从网页爬取数据,官方是这样解释的:BeautifulSoup提供一些简单,python式函数来处理导航,搜索,修改分析树等功能,其是一个工具库,通过解析文档为用户提供需要抓取的数据,因为简单,所有不需要多少代码就可以写出一个完整的程序

bs4安装

直接使用pip install命令安装

pip install beautifulsoup4

lxml解析器

lxml是一个高性能的Python库,用于处理XML与HTML文档,与bs4相比之下lxml具有更强大的功能与更高的性能,特别是处理大型文档时尤为明显.lxml可以与bs4结合使用,也可以单独使用

lxml安装

同样使用pip install 安装

pip install lxml

其用于在接下来会结合bs4进行讲解

BeautifulSoup浏览浏览器结构化方法

.title:获取title标签

html_doc="""....

""""

# 创建beautifulsoup对象 解析器为lxml

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.title)

#output->

.name获取文件或标签类型名称

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.title.name)

print(soup.name)

#output->title

#[document]

.string/.text:获取标签中的文字内容

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.title.string)

print(soup.title.text)

#output->The Dormouse's story

#The Dormouse's story

.p:获取标签

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.p)

#output->

The Dormouse's story

.find_all(name,attrs={}):获取所有标签,参数:标签名,如’a’a标签,’p’p标签等等,attrs={}:属性值筛选器字典如attrs={'class': 'story'}

# 创建beautifulsoup对象 解析器为lxml

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.find_all('p'))

print(soup.find_all('p', attrs={'class': 'title'}))

.find(name,attrs={}):获取第一次匹配条件的元素

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.find(id="link1"))

#output->Elsie

.parent:获取父级标签

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.title.parent)

#output->

.p['class'] :获取class的值

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.p["class"])

#output->['title']

.get_text():获取文档中所有文字内容

soup = BeautifulSoup(html_doc, 'lxml')

print(soup.get_text())

The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were

Elsie,

Lacie and

Tillie;

and they lived at the bottom of a well.

...

从文档中找到所有标签的链接

#Elsie,

#....

导航子结点

.contents:可以获取当前结点的所有子结点

soup = BeautifulSoup(html_doc, 'lxml')

head_contents = soup.head.contents

print(head_contents)

#output-> []

.children:可以遍历当前结点的所有子结点,返回一个list

soup = BeautifulSoup(html_doc, 'lxml')

body_children = soup.body.children

for child in body_children:

print(child)

#output->

The Dormouse's story

#Elsie,

#Tillie;

#and they lived at the bottom of a well.

#.....

字符串没有.children与.contents属性

导航所有后代节点

.contents与.children属性仅包含tag直接子结点,例如标签只有一个直接子结点]

但]

#[

The Dormouse's story

#[Elsie, Lacie, Tillie]

#[Lacie]

接下来我们来详细解析一下每个参数的含义

name参数

name参数可以查找所有名字为name的tag,字符串对象名字会自动被忽略

eg

soup.find_all("title")

# []

name参数可以为任意类型的过滤器,如字符串,正则表达式,列表,方法等等

传字符串

传入字符串是最简单的过滤器,在搜索方法中传入一个字符串参数,BeautifulSoup会查找与字符串匹配的内容

下面的例子用于查找文档中所有的标签