找回密码
 立即注册

核心API

2022-2-21 06:39| 发布者: 笨鸟自学网| 查看: 4822| 评论: 0

摘要: 本节记录了Scrapy核心API,它是为扩展和中间件的开发人员设计的。爬虫API¶Scrapy API的主要入口点是Crawler对象,通过from_crawler类方法。这个对象提供对所有Scrapy核心组件的访问,它是扩展访问它们并将其功能连 ...


getbool(namedefault=False)[源代码]

获取设置值作为布尔值。

1 , '1' , True ‘和 'True' 返回 True ,同时 0 , '0' , False , 'False' 和 None 返回 False .

例如,通过设置为的环境变量填充的设置 '0' 将返回 False 使用此方法时。

参数
  • name (str) -- 设置名称

  • default (object) -- 如果找不到设置,则返回的值

getdict(namedefault=None)[源代码]

获取一个设置值作为字典。如果设置原始类型为字典,则返回其副本。如果它是一个字符串,它将作为JSON字典进行计算。如果它是一个 BaseSettings 实例本身,它将被转换为一个字典,其中包含所有当前设置值,这些值将由返回 get() 以及丢失有关优先级和可变性的所有信息。

参数
  • name (str) -- 设置名称

  • default (object) -- 如果找不到设置,则返回的值

getfloat(namedefault=0.0)[源代码]

以浮点形式获取设置值。

参数
  • name (str) -- 设置名称

  • default (object) -- 如果找不到设置,则返回的值

getint(namedefault=0)[源代码]

以int形式获取设置值。

参数
  • name (str) -- 设置名称

  • default (object) -- 如果找不到设置,则返回的值

getlist(namedefault=None)[源代码]

以列表形式获取设置值。如果设置的原始类型是列表,则将返回其副本。如果是一个字符串,它将被“,”拆分。

例如,通过设置为的环境变量填充的设置 'one,two' 将返回列表 [一个,两个] 使用此方法时。

参数
  • name (str) -- 设置名称

  • default (object) -- 如果找不到设置,则返回的值

getpriority(name)[源代码]

返回设置的当前数字优先级值,或 None 如果给定 name 不存在。

参数

name (str) -- 设置名称

getwithbase(name)[源代码]

获取类似字典的设置及其 _BASE 对应的。

参数

name (str) -- 类似字典的设置的名称

maxpriority()[源代码]

返回所有设置中存在的最高优先级的数值,或返回 default 从 SETTINGS_PRIORITIES 如果没有存储设置。

set(namevaluepriority='project')[源代码]

存储具有给定优先级的键/值属性。

应填充设置 之前 配置爬虫对象(通过 configure() 方法),否则它们不会有任何效果。

参数
  • name (str) -- 设置名称

  • value (object) -- 要与设置关联的值

  • priority (str or int) -- 设置的优先级。应该是 SETTINGS_PRIORITIES 或整数


上一篇:扩展下一篇:信号

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2025-8-31 00:54 , Processed in 0.061778 second(s), 18 queries .

Powered by Discuz! X3.5

© 2001-2017 Discuz Team. Template By 【未来科技】【 www.wekei.cn 】

返回顶部