python爬虫实战:POST提交登录知乎

python爬虫实战:POST提交登录知乎

通过前几篇文章的学习,已经对爬虫有了初步的了解,接下来就要解决需要登录的内容了。这里用到的内容比如python爬虫学习计划中讲到的cookieslib、urllib2的build_opener等模块。 那么开始下一步模拟登录吧。这次我们选择知乎作为实战对象,   其实也实验了人人网的模拟登录,在分析post路径时老是找不对,只能找网上的其他朋...

python爬虫实战:每日采集申万指数之申万一级行业指数数据

python爬虫实战:每日采集申万指数之申万一级行业指数数据

什么是申万指数 说到申万指数,我想炒股的人应该都或多或少有了解,在这里重新解释一下:     申万一级行业指数是由申万研究所指定发布的股票指数。     理解什么申万一级行业指数,首先要指数什么是申万一级行业。申万研 究所是国内卖方研究机构实力最强的之一。     他们根据自己的研究方向...

python爬虫实战:抓取百度百科1000个分级基金的页面信息

python爬虫实战:抓取百度百科1000个分级基金的页面信息

在学习计划已经学习了爬虫主要的几个组成本分,接下来就要开始实战演练了。 首先要制定我们的抓取目标: - 百科标题 - 简介 - 页面内的url连接 根据抓去目标分析下百度百科的页面信息。以百科中{% link 分级基金 http://baike.baidu.com/view/2857537.htm %}页面为入口页面,   其标题位置如下: ...

python爬虫学习计划

python爬虫学习计划

学习计划 学习原因 python在web方面的相关信息都是为了用而学,没有系统的学习过。学到的东西非常零碎不系统,或者小小的需求变化都可能导致无从下手。 目标 - 能够完成在任意网站采集任意数据。 - 模拟登录。 - 模拟提交数据,如网站自动发站内信(知乎啊,微博啊)。 - 医院预约号自动完成什么的。 - 其...