anaconda的scrapy爬虫笔记【2】

CrawlSpider

1.1 CrawlSpider简介:

**CrawlSpider: **CrawlSpider继承自Spider,是scrapy的一个模板。只不过是在之前的基础之上增加了新的功能,可以定义爬取的url的规则,以后scrapy碰到满足条件的url都进行爬取,而不用手动的yield Request。

1.2 CrawlSpider的生成:

之前创建爬虫的方式是通过

scrapy genspider [爬虫名字] [域名]

的方式创建的。如果想要创建CrawlSpider爬虫,那么cd到scrapy的项目根目录下后,应该通过以下命令创建:

scrapy genspider -t crawl [爬虫名字] [域名]

1.3 CrawlSpider解析:

Rule规则类:
定义爬虫的规则类。以下对这个类做一个简单的介绍:
例如:

    rules = (
        Rule(LinkExtractor(allow=r'.+mod=list&catid=2&page=\d'), follow=True),
        Rule(LinkExtractor(allow=r'.+article-.+\.html'), callback='parse_detail', follow=False),
    )
class scrapy.spiders.Rule(link_extractor, callback = None, cb_kwargs = None, follow = None, process_links = None, process_request = None)

主要参数讲解:
link_extractor:一个LinkExtractor对象,用于定义爬取规则。
callback 回调:满足这个规则的网址,应该要执行其中的某些函数。因为CrawlSpider使用了parse作为替代函数,因此不要覆盖parse作为替代函数自己的替代函数。
回调Ture大概意思是爬取一个详情页之后,返回数据给本机进行解析(判断该页面是否有获取的价值),callback=’parse_detail’,parse_detail为你要返回位置的函数名。
follow按照:指定根据该规则从response中提取的链接是否需要跟进。Ture大概意思是在爬取任何一页时,达到某一页时(比如第10页)继续跟进,解析其他详情页。换句话说,当你在爬取一个规则(link_extractor)的URL时,当这个URL发现相同规则的URL,是否跟进。当这个网页需要下载解析的时候一般时False,避免提取出重复的URL。或者说存在callback一般不存在follow=1。


图1

process_links:从link_extractor中获取到链接后会传递给这个函数,用作过滤不需要爬取的链接。

1.4 CrawlSpider实例:

第一步:settings.py文件进行设置

ROBOTSTXT_OBEY = False #注释:
DOWNLOAD_DELAY = 1 #注释:限制下载速度,避免被限制访问。
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
#注释:请求头设置。
ITEM_PIPELINES = {
   'wxapp.pipelines.WxappPipeline': 300,
}
#注释:开启Pipeline,也就是说运行运行pipelines.py,优先级设置为300

第二步:Item.py文件编写

import scrapy
class WxappItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    author = scrapy.Field()
    content = scrapy.Field()

第三步:scrapy爬虫文件编写

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from wx.wxapp.wxapp.items import  WxappItem
class WxappSpiderSpider(CrawlSpider):
    name = 'wxapp_spider'
    allowed_domains = ['wxapp-union.com']
    start_urls = ['http://www.wxapp-union.com/portal.php?mod=list&catid=2&page=1']
    rules = (
        Rule(LinkExtractor(allow=r'.+mod=list&catid=2&page=\d'), follow=True),
        Rule(LinkExtractor(allow=r'.+article-.+\.html'), callback='parse_detail', follow=False),
    )
    def parse_detail(self, response):
        title = response.xpath("//div[@class='cl']/h1[@class='ph']/text()").get()
        author = response.xpath("//p[@class='authors']/a/text()").get()
        article_content = response.xpath("//td[@id='article_content']//text()").getall()
        content = "".join(article_content).strip()
        print('title:%s\n author:%s \n content:%s' % (title,author,content))
        print('='*40)
        item = WxappItem(title=title,author=author,content=content)
        print('=' * 40)
        print('=' * 40)
        yield item

第五步:pipelines.py文件编写,将数据储存到json

# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.exporters import JsonLinesItemExporter
class WxappPipeline(object):
    def __init__(self):
        self.fp = open("wxjc.json",'wb')
        self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')
    def open_spider(self,spider):
        print('爬虫开始了……')
    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item
    def close_spider(self,spider):
        self.fp.close()
        print('爬虫结束了……')
        pass

运行效果:


图2
https://www.jianshu.com/p/e422e97209a1

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
Matplotlib
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论