请选择 进入手机版 | 继续访问电脑版

笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

项目加载器

发布者: 笨鸟自学网

物品装载机为填充刮削物提供了一种方便的机制。 items . 尽管可以直接填充项,但是条目加载器通过自动执行一些常见任务(如在分配原始提取数据之前对其进行解析),为从抓取过程填充它们提供了一个更为方便的API。

换言之, items 提供 容器 当项目加载器为 人口增长 那个容器。

项目加载器的设计目的是提供一种灵活、高效和简单的机制,通过蜘蛛或源格式(HTML、XML等)扩展和重写不同的字段解析规则,而不会成为维护的噩梦。

注解

项目加载器是 itemloaders 库,通过添加对 responses .

使用项目加载器填充项目

要使用项加载器,必须首先实例化它。您可以使用 item object 或者没有,在这种情况下 item object 在项目加载器中自动创建 __init__ 方法使用 item 中指定的类 ItemLoader.default_item_class 属性。

然后,开始将值收集到项加载器中,通常使用 Selectors . 您可以向同一个项目字段添加多个值;项目加载器稍后将知道如何使用适当的处理函数“联接”这些值。

注解

收集的数据以列表的形式在内部存储,允许向同一字段添加多个值。如果 item 参数是在创建加载程序时传递的,如果项的每个值已经是iterable,则将按原样存储;如果是单个值,则将用列表包装。

下面是在 Spider ,使用 Product item Items chapter ::

from scrapy.loader import ItemLoader
from myproject.items import Product

def parse(self, response):
    l = ItemLoader(item=Product(), response=response)
    l.add_xpath('name', '//div[@class="product_name"]')
    l.add_xpath('name', '//div[@class="product_title"]')
    l.add_xpath('price', '//p[@id="price"]')
    l.add_css('stock', 'p#stock')
    l.add_value('last_updated', 'today') # you can also use literal values
    return l.load_item()

通过快速查看该代码,我们可以看到 name 正在从页面中的两个不同的xpath位置提取字段:

  1. //div[@class="product_name"]

  2. //div[@class="product_title"]

换句话说,通过使用 add_xpath() 方法。这是将分配给 name 以后再说。

之后,类似的呼叫用于 price 和 stock 字段(后者使用CSS选择器 add_css() 方法),最后 last_update 直接用文字值填充字段 (today )使用不同的方法: add_value() .

最后,当收集所有数据时, ItemLoader.load_item() 方法,它实际返回用以前提取和收集的数据填充的项 add_xpath() , add_css() 和 add_value() 电话。


12345下一页
上一篇:项目下一篇:Scrapy shell

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-7-22 09:51 , Processed in 0.019474 second(s), 17 queries .

© 2001-2020

返回顶部