蜘蛛中间件

2022-2-21 06:37| 发布者: 笨鸟自学网| 查看: 5733| 评论: 0

摘要: Spider中间件是一个钩子框架，可以钩住Scrapy的Spider处理机制，在该机制中，您可以插入自定义功能来处理发送到的响应。蜘蛛用于处理和处理由spider生成的请求和项目。激活蜘蛛中间件¶要激活蜘蛛中间件组件，请将其 ...

classscrapy.spidermiddlewares.referer.RefererMiddleware[源代码]¶: 填充请求 Referer 头，基于生成它的响应的URL。

违约： True

是否启用引用中间件。

违约： 'scrapy.spidermiddlewares.referer.DefaultReferrerPolicy'

Referrer Policy 填充请求“引用”头时应用。

注解

您还可以使用特殊的 "referrer_policy" Request.meta 键，其可接受值与 REFERRER_POLICY 设置。

字符串值	类名（作为字符串）
`"scrapy-default"` （默认）	`scrapy.spidermiddlewares.referer.DefaultReferrerPolicy`
"no-referrer"	`scrapy.spidermiddlewares.referer.NoReferrerPolicy`
"no-referrer-when-downgrade"	`scrapy.spidermiddlewares.referer.NoReferrerWhenDowngradePolicy`
"same-origin"	`scrapy.spidermiddlewares.referer.SameOriginPolicy`
"origin"	`scrapy.spidermiddlewares.referer.OriginPolicy`
"strict-origin"	`scrapy.spidermiddlewares.referer.StrictOriginPolicy`
"origin-when-cross-origin"	`scrapy.spidermiddlewares.referer.OriginWhenCrossOriginPolicy`
"strict-origin-when-cross-origin"	`scrapy.spidermiddlewares.referer.StrictOriginWhenCrossOriginPolicy`
"unsafe-url"	`scrapy.spidermiddlewares.referer.UnsafeUrlPolicy`

classscrapy.spidermiddlewares.referer.DefaultReferrerPolicy[源代码]¶: “降级时无引用”的变体，加上如果父请求正在使用，则不发送“引用”。 file:// 或 s3:// 方案。

		自动登录	找回密码
密码			立即注册

相关分类