请选择 进入手机版 | 继续访问电脑版

笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

AutoThrottle 扩展

发布者: 笨鸟自学网



设置

用于控制 AutoThrottle 扩展的设置为:

  • AUTOTHROTTLE_ENABLED

  • AUTOTHROTTLE_START_DELAY

  • AUTOTHROTTLE_MAX_DELAY

  • AUTOTHROTTLE_TARGET_CONCURRENCY

  • AUTOTHROTTLE_DEBUG

  • CONCURRENT_REQUESTS_PER_DOMAIN

  • CONCURRENT_REQUESTS_PER_IP

  • DOWNLOAD_DELAY

有关详细信息,请参阅 它是如何工作的 .

AUTOTHROTTLE_ENABLED

违约: False

启用AutoThrottle 扩展。

AUTOTHROTTLE_START_DELAY

违约: 5.0

初始下载延迟(秒)。

AUTOTHROTTLE_MAX_DELAY

违约: 60.0

在高延迟情况下设置的最大下载延迟(秒)。

AUTOTHROTTLE_TARGET_CONCURRENCY

违约: 1.0

Scrapy的平均请求数应与远程网站并行发送。

默认情况下,autothrottle会调整延迟以向每个远程网站发送单个并发请求。将此选项设置为更高的值(例如 2.0 )以增加远程服务器的吞吐量和负载。下层 AUTOTHROTTLE_TARGET_CONCURRENCY 价值(例如) 0.5 )让爬虫人更加保守和礼貌。

注意 CONCURRENT_REQUESTS_PER_DOMAIN 和 CONCURRENT_REQUESTS_PER_IP 启用 AutoThrottle 扩展功能时,仍会遵循选项。这意味着如果 AUTOTHROTTLE_TARGET_CONCURRENCY 设置为大于的值 CONCURRENT_REQUESTS_PER_DOMAIN 或 CONCURRENT_REQUESTS_PER_IP ,爬虫程序将无法达到此数量的并发请求。

在每个给定的时间点上,scrapy可以发送的并发请求多于或少于 AUTOTHROTTLE_TARGET_CONCURRENCY ;这是爬虫尝试接近的建议值,而不是硬限制。

AUTOTHROTTLE_DEBUG

违约: False

启用 AutoThrottle 调试模式,该模式将显示收到的每个响应的统计信息,以便您可以看到如何实时调整节流参数。

12
上一篇:部署蜘蛛下一篇:标杆管理

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-12-6 00:30 , Processed in 0.015465 second(s), 17 queries .

© 2001-2020

返回顶部