良许Linux教程网 干货合集 Scrapy简单使用案例

Scrapy简单使用案例

scrapy是一个快速的高级web抓取和web抓取框架,用于抓取网站并从其页面中提取结构化数据。它可以用于广泛的用途,从数据挖掘到监控和自动化测试,下面为大家详解一下 Scrapy。

Scrapy简单使用案例

安装

首先,确定你的电脑上已经安装了 Python 3 以及对应的 pip。可以使用下面的命令查看:

$ python3 --version
Python 3.6.3
$ pip3 --version
pip 9.0.1 from /usr/local/lib/python3.6/site-packages (python 3.6)

如果没有安装的话,推荐使 Homebrew 这个工具来进行安装。

pip 是 Python 的一个包管理工具,类似于 npm,可以在线安装、卸载所有的第三方 Python 模块,并自动处理依赖关系。这里我们使用下面的命令来安装 Scrapy 模块:

$ pip3 install scrapy

教程:一个抓取豆瓣电影 Top 250 的爬虫

首先,我们使用下面的命令来创建并初始化 Scrapy 项目:

$ scrapy startproject doubanmovie

这样便会在当前目录下创建一个 doubanmovie 的爬虫项目,其内部结构如下:

$ tree
.
├── doubanmovie
│   ├── __init__.py
│   ├── __pycache__
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg

其中:

scrapy.cfg 为 Scrapy 项目的核心配置文件

items.py 用于定义爬虫程序爬取到的数据实体的属性结构

piplines.py 用于定义爬虫程序每次爬取到的数据实体进行后续处理的操作流程,比如写入文件系统或数据库

settings.py 为爬虫程序的配置文件,可以在这里定义多个 pipline 和 middleware

spiders 文件夹中存放爬虫文件

接着,我们需要在 items.py 文件中定义电影实体的属性结构:

class DoubanmovieItem(scrapy.Item):
   # define the fields for your item here like:
   # name = scrapy.Field()
   rank = scrapy.Field() # 豆瓣排名
   title = scrapy.Field() # 电影名称
   poster = scrapy.Field() # 电影海报
   link = scrapy.Field() # 链接地址
   rating = scrapy.Field() # 豆瓣评分
   pass

然后,我们使用下面的命令来创建一个名为 doubanspider 的爬虫程序:

$ scrapy genspider moviespider douban.com

运行之后会在 spiders 目录下生成一个名为 moviespider.py 的爬虫文件,内部定义了爬虫的名称、作用域及起始 URL 等基本信息,以及一个解析函数,该函数的主要功能便是通过 XPath 分析页面中的 HTML 元素,并将解析结果输出:

class MoviespiderSpider(scrapy.Spider):
   name = 'moviespider'
   allowed_domains = ['douban.com']
   start_urls = ['https://movie.douban.com/top250']

   def parse(self, response):
       movie_items = response.xpath('//div[@class="item"]')
       for item in movie_items:
           movie = DoubanmovieItem()

           movie['rank'] = item.xpath('div[@class="pic"]/em/text()').extract()
           movie['title'] = item.xpath('div[@class="info"]/div[@class="hd"]/a/span[@class="title"][1]/text()').extract()
           movie['poster'] = item.xpath('div[@class="pic"]/a/img/@src').extract()
           movie['link'] = item.xpath('div[@class="info"]/div[@class="hd"]/a/@href').extract()
           movie['rating'] = item.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()

           yield movie
       pass

通过爬虫解析后的实体数据,会通过一种 Pipeline 的过程将结果进行打印输出、存入文件或数据库等:

class DoubanmoviePipeline(object):
   def process_item(self, item, spider):
       print('豆瓣排名:' + item['rank'][0])
       print('电影名称:' + item['title'][0])
       print('链接地址:' + item['link'][0])
       print('豆瓣评分:' + item['rating'][0] + '\n')

       return item

由于豆瓣电影的网站设置了防爬虫技术,所以在完成上述步骤后运行爬虫会出现 403 的 HTTP 状态码。于是我们需要在发送的请求中加入 User Agent 信息来伪装成一个浏览器:

from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware

class FakeUserAgentMiddleware(UserAgentMiddleware):
   def process_request(self, request, spider):
       request.headers.setdefault('User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')

最后,我们将上述修改写入配置文件:

# Enable or disable downloader middlewares# See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.htmlDOWNLOADER_MIDDLEWARES = {   'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,   'doubanmovie.fakeuseragent.FakeUserAgentMiddleware': 543,}# Configure item pipelines# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = {   'doubanmovie.pipelines.DoubanmoviePipeline': 300,}

运行 scrapy crawl moviespider 命令,便会在控制台中输出爬取到的数据。

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你 !

img
本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部