找回密码
 立即注册

统计数据集合

2022-2-21 06:19| 发布者: 笨鸟自学网| 查看: 2289| 评论: 0

摘要: Scrapy提供了一种方便的工具,可以以键/值的形式收集统计信息,其中值通常是计数器。该工具称为stats collector,可以通过stats的属性爬虫API,如中的示例所示常用统计信息收集器使用下面部分。但是,stats collecto ...


可用的统计信息收集器

除了基本的 StatsCollector Scrapy中还有其他可用的统计数据收集器,它们扩展了基本统计数据收集器。您可以通过 STATS_CLASS 设置。使用的默认统计信息收集器是 MemoryStatsCollector .

MemoryStatsCollector

classscrapy.statscollectors.MemoryStatsCollector

一个简单的统计信息收集器,它在关闭后将上次(每个蜘蛛)抓取运行的统计信息保存在内存中。可以通过 spider_stats 属性,它是由蜘蛛域名键入的dict。

这是Scrapy中使用的默认统计信息收集器。

spider_stats

包含每个蜘蛛最后一次抓取运行的统计信息的dict的dict(由蜘蛛名称键控)。

DummyStatsCollector

classscrapy.statscollectors.DummyStatsCollector

一个只做非常有效的统计数据收集器(因为它什么也不做)。此统计信息收集器可以通过 STATS_CLASS 设置,以禁用统计信息收集以提高性能。但是,与其他零碎的工作负载(如解析页面)相比,统计数据收集的性能损失通常是微乎其微的。

12
上一篇:登录下一篇:发送电子邮件

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2025-8-31 09:56 , Processed in 0.034279 second(s), 19 queries .

Powered by Discuz! X3.5

© 2001-2017 Discuz Team. Template By 【未来科技】【 www.wekei.cn 】

返回顶部