总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)


今天来给大家总结一下这四个选择器,让大家更加深刻的理解和熟悉Python选择器。

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

一、正则表达式

正则表达式为我们提供了抓取数据的快捷方式。

虽然该正则表达式更容易适应未来变化,但又存在难以构造、可读性差的问题。当

在爬京东网的时候,正则表达式如下图所示:

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

利用正则表达式实现对目标信息的精准采集

此外 ,我们都知道,网页时常会产生变更,导致网页中会发生一些微小的布局变化时,此时也会使得之前写好的正则表达式无法满足需求,而且还不太好调试。

当需要匹配的内容有很多的时候,使用正则表达式提取目标信息会导致程序运行的速度减慢,需要消耗更多内存。

二、BeautifulSoup

BeautifulSoup是一个非常流行的 Pyhon 模块。

该模块可以解析网页,并提供定位内容的便捷接口。

通过'pip install beautifulsoup4'就可以实现该模块的安装了。

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

利用美丽的汤去提取目标信息:

使用 BeautifulSoup的第一步是将己下载的 HTML 内容解析为 soup文档。

由 于大多 数网 页都不具备良好的HTML 格式,因此BeautifulSoup需要对实际格式进行确定。

BeautifulSoup能够正确解析缺失的引号并闭合标签,此外还会添加<html >和<body>标签使其成为完整的HTML文档。

通常使用find() 和find_all()方法来定位我们需要的元素。

如果你想了解BeautifulSoup全部方法和参数,可以查阅BeautifulSoup的官方文档。

虽然BeautifulSoup在代码的理解上比正则表达式要复杂一些,但是其更加容易构造和理解。

三、Lxml

Lxml模块使用 C语言编写,其解析速度比 BeautiflSoup更快,而且其安装过程也更为复杂,在此小编就不赘述啦。

XPath 使用路径表达式在 XML 文档中选取节点。

节点是通过沿着路径或者 step 来选取的。

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

Xpath

使用 lxml 模块的第一步和BeautifulSoup一样,也是将有可能不合法的HTML 解析为 统一格式。

虽然Lxml可以正确解析属性两侧缺失的引号,并闭合标签,不过该模块没有额外添加<html >和<body>标签 。

在线复制Xpath表达式可以很方便的复制Xpath表达式。

但是通过该方法得到的Xpath表达式放在程序中一般不能用,而且长的没法看。

所以Xpath表达式一般还是要自己亲自上手。

四、CSS

CSS选择器表示选择元素所使用 的模式。

BeautifulSoup整合了CSS选择器的语法和自身方便使用API。

在网络爬虫的开发过程中,对于熟悉CSS选择器语法的人,使用CSS选择器是个非常方便的方法。

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

CSS选择器

下面是一些常用的选择器示例。

选择所 有标签: *

选择<a>标 签: a

选择所有class=”link” 的元素: .l in k

选择 class=”link” 的<a>标签: a.link

选择 id= " home ” 的<a>标签: a Jhome

选择父元素为<a>标签的所有< span>子标签: a > span

选择<a>标签内部的所有<span>标签: a span

选择title属性为” Home ” 的所有<a>标签: a [title=Home]

五、性能对比

lxml 和正则表达式模块都是C语言编写的,而BeautifulSoup则是纯Python 编写的。下表总结了每种抓取方法的优缺点。

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

需要注意的是。

lxml在内部实现中,实际上是将CSS选择器转换为等价的Xpath选择器。

六、总结

如果你的爬虫瓶颈是下载网页,而不是抽取数据的话,那么使用较慢的方法

(如BeautifulSoup) 也不成问题。

如果只需抓取少量数据,并且想要避免额外依赖的话,那么正则表达式可能更加适合。

不过,通常情况下,l xml是抓取数据的最好选择,这是因为该方法既快速又健壮,而正则表达式和BeautifulSoup只在某些特定场景下有用。

小编寄语

最后小编帮助大家整理了一套python教程,下面展示了部分,希望也能帮助对编程感兴趣,想做数据分析,人工智能、爬虫或者希望从事编程开发的小伙伴,毕竟python工资也还可以,如果能帮到你请点赞、点赞、点赞。

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

点赞,收藏并转发文章后点击小编头像或昵称

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

总结Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值.

如果你喜欢python,并觉得这篇文章对你有益的话,麻烦多多点赞关注支持!!!!