ScrapyPipeline: 解析更高效的数据管道

发布时间：2023-05-19

Scrapy是一套基于Python的爬虫框架，它可以帮助我们轻松快速地爬取任何网站上的数据。我们可以通过Scrapy中提供的各种组件及选项来自定义爬虫的行为。而一个管道则是其中的一种组件，可以帮助我们将爬取数据进行处理、过滤以及储存。Scrapy系统内置了一些管道组件，如：ImagesPipeline、FilesPipeline、JsonLinesItemExporter等等。但是，Scrapy也允许我们自己编写管道。

一、Scrapy Pipeline的介绍

Scrapy Pipeline是Scrapy框架中最强大、灵活的管道组件之一，它可以帮助我们处理下载器获取到的数据、做去重处理、过滤无用信息，以及将我们需要的信息存储到本地文件或数据库中。使用Scrapy Pipeline可以让爬虫更加高效，减少代码修改和重构的次数。 简单来说，Scrapy Pipeline的作用是对Scrapy爬虫收集的信息进行处理、过滤和储存。这个处理流程包含三个部分：接收Item、执行处理、输出结果。具体的工作流程如下所示：

             Item
               |
        +------+-------+
        |              |
  process_item()      |
        |              |
    +---v-----+     +--v--+
    |         |     |     |
Export Item  Drop   Exporter
    |         |     |     |
    +-^----^-+     +--^--+
      |    |           |
      |    +-----------+
      |
      v
  After processes

接收Item：Scrapy爬虫从网站中获取数据，将数据保存到Item对象中，接着将Item对象传递给管道Pipeline处理。 执行处理：Scrapy Pipeline接收到Item对象，开始执行包含在process_item方法中的任意处理方式。这个处理方式可以包括任意操作，如替换、过滤、清理、验证等，你可以根据自己的需要进行设置。在process_item方法运行结束后，该Item对象将被发送到下一个Pipeline组件进行处理。 输出结果：处理完后，Pipeline将处理结果交给Item Exporter，然后保存到文件或者数据库中。

二、Scrapy Pipeline内置方法

Scrapy Pipeline提供了一些内置的方法，有助于我们更加高效地处理和筛选数据。

1. process_item(item, spider)

def process_item(self, item, spider):
    return item
  1. 该方法接收爬虫得到的每一个Item；
  2. 将数据清洗、处理并返回该Item，或者返回DropItem抛弃该Item；
  3. 该方法需要返回Item或DropItem。 process_item() 方法是处理每个爬取的 Item 的默认方法。可以根据自己的需要在其中添加相关的处理步骤。如：
def process_item(self, item, spider):
    # 使用正则去掉数值
    item['price'] = re.sub('[^\d.]+', '', item['price'])
    return item

2. open_spider(spider)

def open_spider(self, spider):
    pass
  1. 当爬虫启动时，open_spider()方法被调用；
  2. 可以在这里进行一些打开文件、连接数据库等操作；
  3. 该方法不是必须的。

3. close_spider(spider)

def close_spider(self, spider):
    pass
  1. 当爬虫停止时，close_spider()方法被调用；
  2. 可以在这里进行一些关闭文件、断开数据库连接等操作；
  3. 该方法也不是必须的。

4. from_crawler(cls, crawler)

class MyPipeline(object):
    @classmethod
    def from_crawler(cls, crawler):
        return cls()

使用from_crawler()方法可以获得其他组件的参数。

三、Scrapy Pipeline自定义方法

有时候，我们需要自行编写方法来实现特定功能。接下来，我们将用一个小例子来展示如何自定义方法。 首先我们来看一个模拟爬取京东商品评论的爬虫获取评论数据后，如何去重：

class CommentDuplicatePipeline(object):
    def __init__(self):
        self.comment_set = set()
    def process_item(self, item, spider):
        comment = item['comment']
        if comment in self.comment_set:
            raise DropItem('Duplicate comment found: %s' % item)
        self.comment_set.add(comment)
        return item

该自定义Pipeline用于过滤重复评论。初始化时设置一个集合，并在process_item()方法中，判断当前评论是否已经出现过，如果已经出现过，就使用DropItem()方法从Item Pipeline中移除该Item，否则就将该评论加入集合中，并返回Item。

四、Scrapy Pipeline的使用

在Scrapy中使用自定义Pipeline非常简单，只需要在Project下的settings.py文件添加相关配置即可。

ITEM_PIPELINES = {
    'my_project.pipelines.CommentDuplicatePipeline': 300,
}

这里设置优先顺序为300，数字越小，则Pipeline的优先级越高。

五、总结

通过本文的介绍，我们已经了解了Scrapy Pipeline的作用、内置方法和如何自定义Pipeline。使用Scrapy Pipeline帮助我们轻松地处理、筛选、清理数据，并将数据储存到我们需要的地方，使爬虫的数据处理更加高效、简单易用。

推荐文章