scrapy框架图片爬取
2022/5/25 23:20:08
本文主要是介绍scrapy框架图片爬取,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
只需要将img的src的属性值进行解析,提交到管道,管道就会对图片的src进行请求发送获取图片的二进制类型的数据,且还会帮我们进行持久化存储
使用流程:
数据解析(图片的地址)
将存储图片地址的item提交到制定的管道类
import scrapy from imgPro.items import ImgproItem class ImgSpider(scrapy.Spider): name = 'img' # allowed_domains = ['www.xxx.com'] start_urls = ['http://pic.netbian.com/4kmeinv/'] def parse(self, response): div_list = response.xpath('//*[@id="main"]/div[3]/ul/li') for div in div_list: #注意:使用伪属性 src = 'http://pic.netbian.com' + div.xpath('./a/img/@src').extract_first() item = ImgproItem() item['src'] = src yield item
在管道文件中自定制一个基于ImagesPipeLine的一个管道类
get_media_request
file_path
item_completed
from scrapy.pipelines.images import ImagesPipeline import scrapy class ImgproPipeline(ImagesPipeline): #就是可以根据图片地址进行图片数据的请求 def get_media_requests(self, item, info): yield scrapy.Request(item['src']) #指定图片存储的路径 def file_path(self, request, response=None, info=None): imgName = request.url.split('/')[-1] return imgName def item_completed(self, results, item, info): return item #返回给下一个即将被执行的管道类
在配置文件中:
指定图片存储的目录:IMAGES_STORE = './imgs_tupian'
指定开启的管道:自定制的管道类
这篇关于scrapy框架图片爬取的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-15PingCAP 黄东旭参与 CCF 秀湖会议,共探开源教育未来
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升