物品装载机为填充刮削物提供了一种方便的机制。 items . 尽管可以直接填充项,但是条目加载器通过自动执行一些常见任务(如在分配原始提取数据之前对其进行解析),为从抓取过程填充它们提供了一个更为方便的API。 换言之, items 提供 容器 当项目加载器为 人口增长 那个容器。 项目加载器的设计目的是提供一种灵活、高效和简单的机制,通过蜘蛛或源格式(HTML、XML等)扩展和重写不同的字段解析规则,而不会成为维护的噩梦。 注解 项目加载器是 itemloaders 库,通过添加对 responses . 使用项目加载器填充项目¶要使用项加载器,必须首先实例化它。您可以使用 item object 或者没有,在这种情况下 item object 在项目加载器中自动创建 然后,开始将值收集到项加载器中,通常使用 Selectors . 您可以向同一个项目字段添加多个值;项目加载器稍后将知道如何使用适当的处理函数“联接”这些值。 注解 收集的数据以列表的形式在内部存储,允许向同一字段添加多个值。如果 下面是在 Spider ,使用 Product item Items chapter :: from scrapy.loader import ItemLoader
from myproject.items import Product
def parse(self, response):
l = ItemLoader(item=Product(), response=response)
l.add_xpath('name', '//div[@class="product_name"]')
l.add_xpath('name', '//div[@class="product_title"]')
l.add_xpath('price', '//p[@id="price"]')
l.add_css('stock', 'p#stock')
l.add_value('last_updated', 'today') # you can also use literal values
return l.load_item()
通过快速查看该代码,我们可以看到
换句话说,通过使用 之后,类似的呼叫用于 最后,当收集所有数据时, |
Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )
GMT+8, 2024-10-5 17:41 , Processed in 0.017613 second(s), 17 queries .