day1-requests – Python量化投资

day1-requests

一、什么是requests

Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库。

相对于urllib库(自带,无需手动安装)而言,requests库的使用显得简单便捷(本质就是封装了urllib3)。

官方文档:http://cn.python-requests.org/zh_CN/latest/

二、requests的安装

1.电脑运行ctrl+R输入cmd(命令提示符)

2.运行pip install requests安装 

 

三、requests库的使用

在requests库中,我们常用的是requests.get()和requests.post()

post请求与get请求区别:

1.在客户端,Get方式在通过URL提交数据,数据在URL中可以看到;POST方式,数据放置在HTML HEADER内提交。

2.GET方式提交的数据最多只能有1024 Byte,而POST则没有此限制。

3.安全性问题。正如在(1)中提到,使用Get的时候,参数会显示在地址栏上,而Post不会。所以,如果这些数据是中文数据而且是非敏感数据,那么使用get;如果用户输入的数据不是中文字符而且包含敏感数据,那么还是使用post为好。

requests.get()


import requests

response = requests.get('http://www.baidu.com')   #获取百度的源码
response.encoding = response.apparent_encoding   #程序分析源码采用的编码格式
print(response.text)  #打印源码


其实,我们在使用过程中经常需要传递一些参数,如百度搜索python,这时我们就可以通过拼接构造URL的方式实现,那么数据会以键/值对的形式置于 URL 中,跟在一个问号的后面。

例如:http://www.baidu.com/s?wd=python中Requests 允许你使用 params 关键字参数,以一个字典来提供这些参数。


import requests

url = 'http://www.baidu.com/s'
params = {
    'wd':'python'
}
response = requests.get(url,params=params)  #传入参数
response.encoding = response.apparent_encoding
print(response.url)   #返回http://www.baidu.com/s?wd=python


当然,你也可以使用最简单的拼接


url = 'http://www.baidu.com/s?wd=' + 'python'
response = requests.get(url)
print(response.url)     #返回http://www.baidu.com/s?wd=python


拓展知识:

你还可以将一个列表作为值传入:


import requests
params = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=params)
print(r.url)
# 打印的结果是
#http://httpbin.org/get?key1=value1&key2=value2&key2=value3


requests.post()

 


import requests

data = {
    "name":"zhaofan",
    "age":23
}
response = requests.post("http://httpbin.org/post",data=data)
print(response.text)
'''
返回
{ "args": {}, "data": "", "files": {}, "form": { "age": "23", "name": "zhaofan" }, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "19", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "python-requests/2.20.0" }, "json": null, "origin":, "url": "https://httpbin.org/post" } '''


其他HTTP请求类型:PUT,DELETE,HEAD 以及 OPTIONS其实都是差不多的用法


r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')


四、定制请求头

网站建立的最终目的是让人来访问的,其实几乎每个网站都是拒绝爬虫的,因此引出各种各样的反爬手段,那么网站是靠什么来判定我们是爬虫的?

方法有很多,其中最普遍的是通过请求头来判断。

在发送HTTP请求的时候浏览器都会带上请求头信息等,如果我们的程序没有带上,或者带上的请求头信息是错误的,也就是不被服务器认可的,那么就会遭到服务器的拒绝!


import requests

url = 'http://www.baidu.com/s'
params = {
    'wd':'python'
}
#请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
}
response = requests.get(url,params=params,headers=headers)


此外,我们也可以通过fake_useragent来随机生成一个请求头


from fake_useragent import UserAgent

us = UserAgent()
print(us.random)  #打印随机生成的请求头


注意:我们只是加上了User-Agent信息就可以正常访问了,但是浏览器是发送了比我们更多的信息的。如果遇到加上请求头User-Agent信息也不成功的网站,可以尝试添加其他请求头信息。

五、响应状态码


import requests

url = 'http://www.baidu.com/'
response = requests.get(url)
print(response.status_code)    #返回200


相关的响应状态码请访问网友的博客:https://www.cnblogs.com/dekui/p/7801289.html

六、cookie

现在的网站中有这样的一种网站类型,也就是需要用户注册以后,并且登陆才能访问的网站,或者说在不登录的情况下不能访问自己的私有数据,例如微博,微信等。

网站记录用户信息的方式就是通过客户端的Cookie值。例如:当我们在浏览器中保存账号和密码的同时,浏览器在我们的电脑上保存了我们的用户信息,并且在下次访问这个页面的时候就会自动的为我们加载Cookie信息。

在需要登陆的网站中,浏览器将Cookie中的信息发送出去,服务器验证Cookie信息,确认登录。既然浏览器在发送请求的时候带有Cookie信息,那么我们的程序同样也要携带Cookie信息。

Cookie是当你访问某个站点或者特定页面的时候,留存在电脑里的一段文本,它用于跟踪记录网站访问者的相关数据信息,比如:搜索偏好、行为点击,账号,密码等内容。

通常Cookie值信息可以在浏览器中复制过来,放到headers中:


headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    'Content-Length': '26',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'Cookie': 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx', # 浏览器中复制
    'Host': 'www.lagou.com',
    'Origin': 'https://www.lagou.com',
    'Referer': 'https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36',
    'X-Anit-Forge-Code': '0',
    'X-Anit-Forge-Token': 'None',
    'X-Requested-With': 'XMLHttpRequest',
}


 

https://www.cnblogs.com/interpreter/p/python_requests.html

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论