爬虫进阶:Scrapy 抓取 boss 直聘、拉勾心得经验

阿里云双11来了!从本博客参与阿里云,服务器最低只要86元/年!

关于使用Scrapy的体会,最明显的感受就是这种模板化、工程化的脚手架体系,可以说是拿来即可开箱便用,大多仅需按一定的规则套路配置,剩下的就是专注于编写跟爬虫业务有关的代码。绝大多数的反反爬虫策略,大多有以下几种:

  • 忽略robots.txt协议
  • 添加随机请求头,如cookie、user-agent等
  • sleep休眠
  • 控制并发请求数、设置页面下载延迟
  • 验证码识别(靠谱)
  • 使用ip代理池(最靠谱)

文章的出发点是share本人使用scrapy爬取Boss和拉勾两个招聘网的一些实操总结经验。两个网站的网页结构不尽相同,好在需要及提取出的最终数据基本保持了一致,出于两个网站不同的反爬策略和请求配置(settings.py),因此对应实际的情况是两个Scrapy项目。

友情提醒,这里不介绍scrapy示例及完整代码(Tip: 下方贴有完整代码链接)。如文章标题描述的那样,由于拉勾和Boss都有各自不同的反爬策略,多少也限制了一些爬虫学习者的热情,包括我自身在内,不过多番尝试之后还是有收获的,跑的是定时计划,目前已入库的有近三万条数据。


Data

进入正题,下面分别介绍拉勾网以及Boss直聘网岗位招聘数据的爬取心得,不过网站的反爬策略和网页结构随时都有发生变动的可能,因此还是需要根据实际情况进行再调整。本次分享的内容截止到2018年09月28日,在实际运行项目中依然生效。

拉勾

  • 关闭默认cookie(否则会跟请求头中的Cookie冲突),自定义请求headers并添加随机Cookie属性
    • settings.py中找到并设置COOKIES_ENABLED = False
    • 可以在spider代码中为Request手动添加headers,或者修改settings.py中的DEFAULT_REQUEST_HEADERS属性,或者编写自定义的HeadersMiddleware(继承DefaultHeadersMiddleware,重写process_request方法,别忘了配置)

拉勾网的cookie,用uuid随机生成即可,参考如下:

    def random_cookie():
        args = (uuid.uuid4(),) * 5
        cookie = 'user_trace_token={}; LGUID={}; JSESSIONID={}; LGSID={}; LGRID={}'.format(*args)
        return cookie
  • 控制并发请求数及设置下载延迟

settings.py中找到并设置如下,因此理论上一天可抓60/2 * 2 * 60 * 24 =86400条数据:

    # 当并发数和下载延迟均设置为2时,没有出现反爬限制(可多次尝试)
    CONCURRENT_REQUESTS = 2
    DOWNLOAD_DELAY = 2

补充:上述说明中,请求Cookie是必须要加的,否则会重定向到登录页面;在未使用ip代理的情况下,并发数不宜设置过大,亲测是直接封了IP…

Boss直聘

对比拉勾网,感觉直聘网的反爬策略会更加严格,不过抓慢一点还是可以的(这样理论上一天是60/5 * 1 * 60 * 24 =17280条数据)

  • 设置随机User-Agent(可能非必需)

  • 控制并发请求数、下载延迟

    # 这么慢还是被限制...
    CONCURRENT_REQUESTS = 1
    DOWNLOAD_DELAY = 5
  • 加入验证码识别

事实上,这种情况下限制后是被重定向到一个验证码页面。本人目前的解决方案是编写自定义的CustomRedirectMiddleware(继承RedirectMiddleware,重写process_response方法进行验证码识别[第三方API])

小结

分享的都是比较曲中的解决方案,不差钱的建议直接上ip代理(实测过免费的,别指望了)。

相关代码 – 拉勾
相关代码 – boss
欢迎关注我的个人公众号:超级码里奥
如果这对您有帮助,欢迎点赞和分享,转载请注明出处

https://www.jianshu.com/p/bcff9ce3c9b3

Python量化投资网携手4326手游为资深游戏玩家推荐:《《王牌御史》:【夜部档案】泳装阎姐技能简介-让你们好好爽一爽!

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论