设置¶用于控制 AutoThrottle 扩展的设置为:
有关详细信息,请参阅 它是如何工作的 . AUTOTHROTTLE_ENABLED¶违约: 启用AutoThrottle 扩展。 AUTOTHROTTLE_START_DELAY¶违约: 初始下载延迟(秒)。 AUTOTHROTTLE_MAX_DELAY¶违约: 在高延迟情况下设置的最大下载延迟(秒)。 AUTOTHROTTLE_TARGET_CONCURRENCY¶违约: Scrapy的平均请求数应与远程网站并行发送。 默认情况下,autothrottle会调整延迟以向每个远程网站发送单个并发请求。将此选项设置为更高的值(例如 注意 在每个给定的时间点上,scrapy可以发送的并发请求多于或少于 AUTOTHROTTLE_DEBUG¶违约: 启用 AutoThrottle 调试模式,该模式将显示收到的每个响应的统计信息,以便您可以看到如何实时调整节流参数。 |
Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )
GMT+8, 2024-12-6 00:30 , Processed in 0.015465 second(s), 17 queries .