Scrapy ItemLoader在系列1中是如何讲解的?
- 内容介绍
- 文章标签
- 相关推荐
本文共计414个文字,预计阅读时间需要2分钟。
Scrapy提供了一款强大的工具类ItemLoader,通过实例介绍一些常用用法。以某链家房源为目标,页面结构大致如下:我们的目标是提取红框中的信息。编写items,编写提取。
scrapy提供了一个强大的工具类ItemLoader,本文通过一个实例介绍一些常用用法。
以链家的一个具体房源为目标,页面大概长这样的
我们的目标是提取出红框中的信息。
编写items
编写spider
ItemLoader有三个常用的函数,add_xpath,add_css,add_value,前面两个功能类似,第一个参数是抓取信息的名字,第二个参数是xpath或css表达式,第二和第三个add_xpath都是type字段,会将第二个抓取到的信息放到第一个后面。add_value第二个参数把值赋给第一个参数名称,这里以时间为值。且后面可以加正则表达式,如注释那一行所写。
运行结果如下:
type是一个有两个元素的列表,如何把两个元素合并起来,在很多电商网站会将商品价格拆分为多个,合并是很有必要的。
本文共计414个文字,预计阅读时间需要2分钟。
Scrapy提供了一款强大的工具类ItemLoader,通过实例介绍一些常用用法。以某链家房源为目标,页面结构大致如下:我们的目标是提取红框中的信息。编写items,编写提取。
scrapy提供了一个强大的工具类ItemLoader,本文通过一个实例介绍一些常用用法。
以链家的一个具体房源为目标,页面大概长这样的
我们的目标是提取出红框中的信息。
编写items
编写spider
ItemLoader有三个常用的函数,add_xpath,add_css,add_value,前面两个功能类似,第一个参数是抓取信息的名字,第二个参数是xpath或css表达式,第二和第三个add_xpath都是type字段,会将第二个抓取到的信息放到第一个后面。add_value第二个参数把值赋给第一个参数名称,这里以时间为值。且后面可以加正则表达式,如注释那一行所写。
运行结果如下:
type是一个有两个元素的列表,如何把两个元素合并起来,在很多电商网站会将商品价格拆分为多个,合并是很有必要的。

