开启辅助访问

笨鸟编程-零基础入门Pyhton教程 › 首页 ›Scrapy中文手册

Scrapy中文手册

调试内存泄漏: 在Scrapy中，请求、响应和项等对象的生命周期是有限的：它们被创建、使用一段时间，最后被销毁。从所有这些对象中，请求可能是生命周期最长的请求，因为它一直在调度程序队列中等待，直到需要处理它为止。有关详细信 ...; 2022-2-21 06:28

选择动态加载的内容: 某些网页在Web浏览器中加载时会显示所需的数据。但是，当您使用scrappy下载它们时，您无法使用selectors.当这种情况发生时，建议的方法是find the data source从中提取数据。如果您未能做到这一点，并且仍然可以通过 ...; 2022-2-21 06:27

使用浏览器的开发人员工具进行抓取: 下面是关于如何使用浏览器的开发人员工具来简化抓取过程的一般指南。现在几乎所有浏览器都内置了Developer Tools尽管我们将在本指南中使用firefox，但这些概念适用于任何其他浏览器。在本指南中，我们将介绍通过抓取 ...; 2022-2-21 06:26

宽爬行: Scrapy 默认值针对爬行特定站点进行了优化。这些站点通常由一个残缺的蜘蛛来处理，尽管这不是必需的或必需的（例如，有一些普通的蜘蛛来处理任何向它们抛出的给定站点）。除了这种“集中的爬行”之外，还有另一种常 ...; 2022-2-21 06:25

常用做法: 本节记录使用Scrapy时的常见做法。这些内容涵盖了许多主题，通常不属于任何其他特定部分。从脚本中运行Scrapy¶你可以使用API从脚本运行scrapy，而不是运行scrapy via的典型方式scrapycrawl.记住，scrappy构建在Twis ...; 2022-2-21 06:24

蜘蛛合约: 测试蜘蛛会变得特别烦人，虽然没有什么可以阻止你编写单元测试，但是任务会很快变得很麻烦。Scrapy提供了一种综合的方法，可以通过合同的方式测试你的蜘蛛。这允许您通过硬编码一个示例URL来测试蜘蛛的每个回调，并 ...; 2022-2-21 06:23

调试spiders: 本文介绍了调试spider的最常用技术。请考虑下面的蜘蛛：import scrapy from myproject.items import MyItem class MySpider(scrapy.Spider): name = 'myspider' start_urls = ( 'http://example.com/page1', 'http:/ ...; 2022-2-21 06:22

常见问题: Scrapy与BeautifulSoup或LXML相比如何？¶BeautifulSoup和lxml是用于分析HTML和XML的库。Scrapy是一个应用程序框架，用于编写爬行网站并从中提取数据的网络蜘蛛。Scrapy提供了一种用于提取数据的内置机制（称为：ref ...; 2022-2-21 06:22

远程登录控制台: Scrapy附带一个内置的telnet控制台，用于检查和控制Scrapy运行过程。telnet控制台只是一个运行在scrappy进程内部的常规python shell，因此您可以从中做任何事情。telnet控制台是一个built-in Scrapy extension它在默 ...; 2022-2-21 06:20

发送电子邮件: 虽然python使通过smtplibSlapy类库提供了自己的发送电子邮件的工具，非常容易使用，并且使用Twisted non-blocking IO，以避免干扰爬虫的非阻塞IO。它还提供了一个简单的用于发送附件的API，并且非常容易配置，其中有 ...; 2022-2-21 06:19

统计数据集合: Scrapy提供了一种方便的工具，可以以键/值的形式收集统计信息，其中值通常是计数器。该工具称为stats collector，可以通过stats的属性爬虫API，如中的示例所示常用统计信息收集器使用下面部分。但是，stats collecto ...; 2022-2-21 06:19

登录: 注解scrapy.log已经不赞成与函数一起使用，而赞成显式调用Python标准日志记录。继续阅读以了解有关新日志记录系统的更多信息。零星用途logging用于事件日志记录。我们将提供一些简单的示例来帮助您入门，但对于更高 ...; 2022-2-21 06:18

例外情况: 内置异常引用¶下面是scrapy中包含的所有异常及其用法的列表。CloseSpider¶exceptionscrapy.exceptions.CloseSpider(reason='cancelled')¶可以从蜘蛛回调中引发此异常以请求关闭/停止蜘蛛。支持的参数：参数reason ...; 2022-2-21 06:16

设置: Scrapy设置允许您自定义所有Scrapy组件的行为，包括核心、扩展、管道和spider本身。设置的基础结构提供了键值映射的全局命名空间，代码可以使用该命名空间从中提取配置值。可以通过下面描述的不同机制填充设置。这些 ...; 2022-2-21 06:16

链接提取器: 链接提取器是从响应中提取链接的对象。这个__init__方法LxmlLinkExtractor获取确定可以提取哪些链接的设置。LxmlLinkExtractor.extract_links返回匹配的列表Link对象来自Response对象。链接提取器用于CrawlSpider蜘 ...; 2022-2-21 06:13

123 / 3 页下一页

相关分类

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2025-5-9 16:41 , Processed in 0.013738 second(s), 7 queries .

© 2001-2020

返回顶部