scrapy下载图片

澳门新浦京app下载 9

澳门新浦京app下载 ,ecms7.0的sys_ResizeImg这个函数

首先看一下爬取的流程:

上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用。(我的新书《Python爬虫开发与项目实战》发布了,大家在这里可以看到样章

函数语法:sys_ResizeImg(原图片,缩图宽度,缩图高度,是否裁翦图片,目标文件名)

在一个爬虫里,你抓取一个项目,把其中图片的 URL
放入“image_urls”组内。项目从爬虫内返回,进入项目管道。

澳门新浦京app下载 1
在学习Scrapy官方文档的过程中,发现Scrapy自身实现了图片和文件的下载功能,不需要咱们之前自己实现图片的下载。澳门新浦京app下载 2

下面是在列表页使用方法

当项目进入ImagesPipeline,image_urls组内的 URLS 将被 Scrapy
的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成图片的下载(或者由于某些原因未完成下载)。

在官方文档中,我们可以看到下面一些话:Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的
item pipelines . 这些pipeline有些共同的方法和结构(我们称之为media
pipeline)。一般来说你会使用Files Pipeline或者 Images
Pipeline.这两种pipeline都实现了以下特性:

在右侧把使用程序代码打勾! 如下图:

当图片下载完,另一个组(images)将被更新到结构中。这个组将包含一个字典列表,其中包括下载图片的信息,比如下载路径、源抓取地址(从image_urls组获得)和图片的校验码。images列表中的图片顺序将和源image_urls组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在images组中。

  • 避免重新下载最近已经下载过的数据

  • Specifying where to store the media (filesystem directory, Amazon S3
    bucket)

例如你原先的列表页循环内容代码为:

澳门新浦京app下载 3

The Images Pipeline has a few extra functions for processing images:

liimg src=[!—titlepic–]a
href=[!—-titleurl–][!—-title–]/a/li

下载图片的item

  • 将所有下载的图片转换成通用的格式和模式

  • 缩略图生成

  • 检测图像的宽/高,确保它们满足最小限制

现在则要在下面框子里输入

为了开启你的图片管道,你首先需要在setting中添加它ITEM_PIPELINES
setting:

这个管道也会为那些当前安排好要下载的图片保留一个内部队列,并将那些到达的包含相同图片的项目连接到那个队列中。
这可以避免多次下载几个项目共享的同一个图片。

if($r[titlepic]){$tpic=sys_ResizeImg($r[titlepic],120,80,1,);}else{$tpic=e/data/images/notimg.gif;}$listtemp=liimgsrc=.$tpic.ahref=[!----titleurl--][!----title--]/a/li;

ITEM_PIPELINES = {‘scrapy.contrib.pipeline.images.ImagesPipeline’:
1}

从上面的话中,我们可以了解到
Scrapy不仅可以下载图片,还可以生成指定大小的缩略图,这就非常有用。

其中120,80 就是你像生成的缩略图宽度 高度 !
自己就可以在不同列表页生成不同大小的缩略图了!

并将IMAGES_STORE设置为一个有效的文件夹,用来存储下载的图片。否则管道将保持禁用状态,即使你在ITEM_PIPELINES设置中添加了它。比如:

使用Files Pipeline当使用
FilesPipeline典型的工作流程如下所示:1.在一个爬虫里,你抓取一个项目,把其中图片的URL放入
file_urls组内。2.项目从爬虫内返回,进入项目管道。3.当项目进入
FilesPipelinefile_urls组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成文件的下载(或者由于某些原因未完成下载)。4.当文件下载完后,另一个字段(files)将被更新到结构中。这个组将包含一个字典列表,其中包括下载文件的信息,比如下载路径、源抓取地址(从
file_urls组获得)和图片的校验码。 files列表中的文件顺序将和源
file_urls组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在
files组中。

IMAGES_STORE=’d:/meizitu’

使用Images
Pipeline
当使用Imagespipeline典型的工作流程如下所示:1.在一个爬虫里,你抓取一个项目,把其中图片的URL放入
images_urls组内。2.项目从爬虫内返回,进入项目管道。3.当项目进入
Imagespipelineimages_urls组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成文件的下载(或者由于某些原因未完成下载)。4.当文件下载完后,另一个字段(images)将被更新到结构中。这个组将包含一个字典列表,其中包括下载文件的信息,比如下载路径、源抓取地址(从
images_urls组获得)和图片的校验码。
images列表中的文件顺序将和源
images_urls组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在
images组中。

图片存储在文件中(一个图片一个文件),并使用它们 URL 的SHA1
hash作为文件名。

Pillow
是用来生成缩略图,并将图片归一化为JPEG/RGB格式,因此为了使用图片管道,你需要安装这个库。
Python ImagingLibrary
在大多数情况下是有效的,但众所周知,在一些设置里会出现问题,因此我们推荐使用
Pillow 而不是PIL.

比如,对下面的图片 URL:

咱们这次用到的就是Images Pipeline,用来下载图片,同时使用 Pillow
生成缩略图。在安装Scrapy的基础上,使用pip install pillow
安装这个模块。打开cmd,输入scrapy startproject
jiandan
,这时候会生成一个工程,然后我把整个工程复制到pycharm中(还是使用IDE开发快)。

澳门新浦京app下载 4

它的 SHA1 hash 值为:

上图就是工程的结构。

3afec3b4765f8f0a07b78f98c07b83f013567a0a

 jiandanSpider.py ------Spider 蜘蛛 items.py -----------------对要爬取数据的模型定义 pipelines.py-------------咱们最终要存储的数据 settings.py----------------对Scrapy的配置 接下来我把代码贴一下(复制代码请到我博客):

jiandanSpider.py:#coding:utf-8#需要安装pillow模块import scrapyfrom jiandan.items import JiandanItemfrom scrapy.crawler import CrawlerProcessclass jiandanSpider(scrapy.Spider): name = 'jiandan' allowed_domains = [] start_urls = ["http://jandan.net/ooxx"] def parse(self, response): item = JiandanItem() item['image_urls'] = response.xpath('//img//@src').extract()#提取图片链接 # print 'image_urls',item['image_urls'] yield item new_url= response.xpath('//a[@]//@href').extract_first()#翻页 # print 'new_url',new_url if new_url: yield scrapy.Request(new_url,callback=self.parse)

items.py(增加了一个字段,请看之前对Images Pipeline的描述) :# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass JiandanItem(scrapy.Item): # define the fields for your item here like: image_urls = scrapy.Field()#图片的链接 images = scrapy.Field()

pipelines.py: # -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport osimport urllibimport scrapyfrom scrapy.exceptions import DropItemfrom scrapy.pipelines.images import ImagesPipeline from jiandan import settings class JiandanPipeline(ImagesPipeline):#继承ImagesPipeline这个类,实现这个功能 def get_media_requests(self, item, info):#重写ImagesPipeline get_media_requests方法 ''' :param item: :param info: :return: 在工作流程中可以看到, 管道会得到文件的URL并从项目中下载。 为了这么做,你需要重写 get_media_requests() 方法, 并对各个图片URL返回一个Request: ''' for image_url in item['image_urls']: yield scrapy.Request(image_url) def item_completed(self, results, item, info): ''' :param results: :param item: :param info: :return: 当一个单独项目中的所有图片请求完成时(要么完成下载,要么因为某种原因下载失败), item_completed() 方法将被调用。 ''' image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item

settings.py(主要是对缩略图的设置):# -*- coding: utf-8 -*- # Scrapy settings for jiandan project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the documentation:## http://doc.scrapy.org/en/latest/topics/settings.html# http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html# http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.html BOT_NAME = 'jiandan' SPIDER_MODULES = ['jiandan.spiders']NEWSPIDER_MODULE = 'jiandan.spiders' ITEM_PIPELINES = { 'jiandan.pipelines.JiandanPipeline': 1, }# ITEM_PIPELINES = {'jiandan.pipelines.ImagesPipeline': 1}IMAGES_STORE='E:\jiandan2'DOWNLOAD_DELAY = 0.25IMAGES_THUMBS = {#缩略图的尺寸,设置这个值就会产生缩略图 'small': , 'big': ,}

将被下载并存为下面的文件:

最后咱们开始运行程序,cmd切换到工程目录,输入scrapy crawl
jiandan,启动爬虫。。。

/full/3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg

澳门新浦京app下载 5

其中:

大约25分钟左右,爬虫工作结束。。。咱们去看看美女图吧。

是定义在IMAGES_STORE设置里的文件夹

澳门新浦京app下载 6

full是用来区分图片和缩略图(如果使用的话)的一个子文件夹。详情参见缩略图生成。

咱们打开thumbs文件夹,看看缩略图,下面有咱们设置的不同的尺寸。

澳门新浦京app下载 7澳门新浦京app下载 8

今天的分享就到这里,如果大家觉得还可以呀,记得打赏呦

澳门新浦京app下载 9

欢迎大家加我微信,和我进行交流。

You can leave a response, or trackback from your own site.

Leave a Reply

网站地图xml地图