找回密码
 立即注册

设置

2022-2-21 06:16| 发布者: 笨鸟自学网| 查看: 13995| 评论: 0

摘要: Scrapy设置允许您自定义所有Scrapy组件的行为,包括核心、扩展、管道和spider本身。设置的基础结构提供了键值映射的全局命名空间,代码可以使用该命名空间从中提取配置值。可以通过下面描述的不同机制填充设置。这些 ...


EXTENSIONS

违约:: {{}}

包含项目中启用的扩展及其顺序的dict。

EXTENSIONS_BASE

违约::

{
    'scrapy.extensions.corestats.CoreStats': 0,
    'scrapy.extensions.telnet.TelnetConsole': 0,
    'scrapy.extensions.memusage.MemoryUsage': 0,
    'scrapy.extensions.memdebug.MemoryDebugger': 0,
    'scrapy.extensions.closespider.CloseSpider': 0,
    'scrapy.extensions.feedexport.FeedExporter': 0,
    'scrapy.extensions.logstats.LogStats': 0,
    'scrapy.extensions.spiderstate.SpiderState': 0,
    'scrapy.extensions.throttle.AutoThrottle': 0,
}

包含默认情况下在scrappy中可用的扩展名及其顺序的dict。此设置包含所有稳定的内置扩展。请记住,其中一些需要通过设置启用。

有关更多信息,请参阅 extensions user guide 以及 list of available extensions .

FEED_TEMPDIR

feed temp目录允许您设置自定义文件夹,以便在上载之前保存crawler临时文件 FTP feed storage 和 Amazon S3 .

FEED_STORAGE_GCS_ACL

将项存储到中时使用的访问控制列表(ACL) Google Cloud Storage . 有关如何设置此值的详细信息,请参阅列 JSON API 在里面 Google Cloud documentation .

FTP_PASSIVE_MODE

违约: True

启动FTP传输时是否使用被动模式。

FTP_PASSWORD

违约: "guest"

当没有ftp连接时用于ftp连接的密码 "ftp_password" 在里面 Request 元。

注解

释义 RFC 1635 尽管匿名ftp通常使用密码“guest”或电子邮件地址,但有些ftp服务器明确要求用户的电子邮件地址,不允许使用“guest”密码登录。

FTP_USER

违约: "anonymous"

当没有ftp连接时用于ftp连接的用户名 "ftp_user" 在里面 Request 元。


上一篇:链接提取器下一篇:例外情况

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2025-8-31 10:02 , Processed in 0.014592 second(s), 19 queries .

Powered by Discuz! X3.5

© 2001-2017 Discuz Team. Template By 【未来科技】【 www.wekei.cn 】

返回顶部