笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

设置

发布者: 笨鸟自学网

Scrapy设置允许您自定义所有Scrapy组件的行为,包括核心、扩展、管道和spider本身。

设置的基础结构提供了键值映射的全局命名空间,代码可以使用该命名空间从中提取配置值。可以通过下面描述的不同机制填充设置。

这些设置也是选择当前活动的Scrapy项目(如果您有许多项目)的机制。

有关可用内置设置的列表,请参阅: 内置设置参考 .

指定设置

当你使用Scrapy时,你必须告诉它你使用的设置。您可以通过使用环境变量, SCRAPY_SETTINGS_MODULE .

价值 SCRAPY_SETTINGS_MODULE 应该使用python路径语法,例如 myproject.settings . 注意,设置模块应该在python上 import search path .

填充设置

可以使用不同的机制填充设置,每个机制具有不同的优先级。以下是按优先级降序排列的列表:

  1. 命令行选项(最优先)

  2. 每个蜘蛛的设置

  3. 项目设置模块

  4. 每个命令的默认设置

  5. 默认全局设置(优先级较低)

这些设置源的填充是在内部处理的,但是可以使用API调用进行手动处理。见 设置API 供参考的主题。

下面将更详细地描述这些机制。


上一篇:链接提取器下一篇:例外情况

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-7-27 19:23 , Processed in 0.036192 second(s), 17 queries .

© 2001-2020

返回顶部