管道模块

class moear_package_mobi.pipelines.MoEarImagesPipeline(store_uri, download_func=None, settings=None)[源代码]

基类:scrapy.pipelines.images.ImagesPipeline

实现图片定制化处理操作

item_completed(results, item, info)[源代码]

在正常图片本地化处理管道业务执行完毕后,使用缩略图路径替换原 result[path] 路径, 从而使最终打包时使用缩略图,并根据配置,对缩略图进行灰度处理

参数:item (MoearPackageMobiItem or dict) – 爬取到的数据模型
class moear_package_mobi.pipelines.PagePersistentPipeline[源代码]

基类:object

将爬取到的文章内容本地化到指定路径

process_item(item, spider)[源代码]

将从图片处理管道流过的数据模型中的缩略图链接更新到文章中的相应图片 URL 上, 并对其中的,已删除图片 item['image_urls_removed'] 进行处理, 使其显示内建的删除图标。

最终使用文章模板,对数据模型中的数据进行渲染并输出到指定路径中,完成本地化, 等待最终 mobi 打包

参数:
  • item (MoearPackageMobiItem or dict) – 爬取到的数据模型
  • spider (MobiSpider) – 当前爬虫对象