找回密码
 立即注册

核心API

2022-2-21 06:39| 发布者: 笨鸟自学网| 查看: 4825| 评论: 0

摘要: 本节记录了Scrapy核心API,它是为扩展和中间件的开发人员设计的。爬虫API¶Scrapy API的主要入口点是Crawler对象,通过from_crawler类方法。这个对象提供对所有Scrapy核心组件的访问,它是扩展访问它们并将其功能连 ...


信号API

统计收集器API

在 scrapy.statscollectors 模块和它们都实现由 StatsCollector 类(它们都从中继承)。

classscrapy.statscollectors.StatsCollector[源代码]
get_value(keydefault=None)[源代码]

返回给定stats键的值,如果该键不存在,则返回默认值。

get_stats()[源代码]

以dict形式获取当前运行的spider的所有统计信息。

set_value(keyvalue)[源代码]

为给定的stats键设置给定值。

set_stats(stats)[源代码]

使用传入的dict重写当前状态 stats 参数。

inc_value(keycount=1start=0)[源代码]

假定给定的起始值(未设置时),按给定的计数递增给定的stats键的值。

max_value(keyvalue)[源代码]

仅当同一个键的当前值小于值时,才为给定键设置给定值。如果给定键没有当前值,则始终设置该值。

min_value(keyvalue)[源代码]

仅当同一键的当前值大于值时,才为给定键设置给定值。如果给定键没有当前值,则始终设置该值。

clear_stats()[源代码]

清除所有统计。

以下方法不是stats集合API的一部分,而是在实现自定义stats收集器时使用的:

open_spider(spider)[源代码]

打开给定的蜘蛛以收集统计信息。

close_spider(spider)[源代码]

关闭给定的蜘蛛。调用之后,就不能访问或收集更多的特定统计信息。

12345
上一篇:扩展下一篇:信号

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2025-8-31 00:54 , Processed in 0.014709 second(s), 19 queries .

Powered by Discuz! X3.5

© 2001-2017 Discuz Team. Template By 【未来科技】【 www.wekei.cn 】

返回顶部