阅读(3218)
赞(0)
scrapy 2.3 类蜘蛛CrawlSpider
2021-06-01 15:25:01 更新
Scrapy附带了一些有用的通用蜘蛛,您可以使用它们来对蜘蛛进行子类化。他们的目标是为一些常见的抓取案例提供方便的功能,比如根据特定规则跟踪站点上的所有链接从 Sitemaps 或分析XML/CSV源。
对于以下蜘蛛中使用的示例,我们假设您有一个项目 TestItem
宣布为 myproject.items
模块:
import scrapy
class TestItem(scrapy.Item):
id = scrapy.Field()
name = scrapy.Field()
description = scrapy.Field()