python 采集模块

下面的python 采集模块,我都尝试过,分享下自己的体验:

1 urllib,urllib2模块:采集单页面,或者数据量不大的数据。

2 requests模块:调用模式和相关模块比较简单,功能比较强大,适合模块调用。

3 scrapy框架:适合大量数据采集,结构化存储等,非常合适采集大量数据。

下面其他采集模块本人还没开始试用,下一步可以根据需要用上。

cola

demiurge

feedparser

grab

MechanicalSoup

portia

pyspider

robobrowser

https://www.jianshu.com/p/1836177f3067

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论