python3的urllib 模块提供了获取页面的功能。
urllib.request.
urlopen
(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
- url: 需要打开的网址
- data:Post提交的数据
- timeout:设置网站的访问超时时间
直接用urllib.request模块的urlopen()获取页面,page的数据格式为bytes类型,需要decode()解码,转换成str类型。
import urllib.request # import json # import requests url="http://api.nnzhp.cn/api/user/stu_info?stu_name=xiaohei" req=urllib.request.urlopen(url) res=req.read().decode() print(res)
执行:
{
"error_code": 2, "msg": "无结果"}urllib 中实现post数据请求
urlopen()的data参数默认为None,当data参数不为空的时候,urlopen()提交方式为Post。
url1='http://api.nnzhp.cn/api/user/login ' data={ 'username':'niuhanyang', 'passwd':'aA123456' } #urlencode()主要作用就是将url附上要提交的数据。经过urlencode()转换后的data数据为?username=niuhanyang&passwd=aA123456, ## Post的数据必须是bytes或者iterable of bytes,不能是str,因此需要进行encode()编码 data=urllib.parse.urlencode(data).encode('utf-8') #最终提交的url是http://api.nnzhp.cn/api/user/login?username=niuhanyang?passwd=aA123456 req=urllib.request.Request(url1,data=data) page=urllib.request.urlopen(req).read() print(page.decode())
执行查看结果:
{
"error_code": 0, "login_info": { "login_time": "20180129202722", "sign": "7e4c46e5790ca7d5165eb32d0a895ab1", "userId": 1 }}我们看到使用urllib会比较麻烦,需要转码,赋值等操作,request模块可以更加简便的完成请求操作,如下:
1、首先需要安装Request模块
pip install requests
2、导入request模块
import requests
各种接口操作如下:
import requests import json #发送无参数的get请求 url='http://www.baidu.com' req=requests.get(url) print(req.text)#返回的字符串类型 #发送有参数的request请求 url1='http://api.nnzhp.cn/api/user/stu_info?stu_name=feifei' req1=requests.get(url1) print(req1.json())#返回的字典列表 #发送post请求 url2='http://api.nnzhp.cn/api/user/login ' data={ 'username':'niuhanyang', 'passwd':'aA123456' } req=requests.post(url2,data)#发送的post氢气,第一个参数是url,第二个参数是请求的数据 print(req.json()) #发送入参是json类型的post请求 url3='http://api.nnzhp.cn/api/user/add_stu' data={ 'name':'feifei', 'phone':'13121111112', 'grade':'1000' } req=requests.post(url3,json=data) print(req.json()) #发送带有cookie的post请求 #添加cookie url4='http://api.nnzhp.cn/api/user/gold_add' data={ 'stu_id':230, 'gold':88888 } cookies={ 'feifei':'a2b454c3830e20e7d9916f6b52d6a3a7'} req=requests.post(url4,data,cookies=cookies) print(req.json()) #发送带有Referer请求的post请求 # url5='http://api.nnzhp.cn/api/user/all_stu' data={ 'Referer':'http://api.nnzhp.cn/' } req=requests.get(url5,headers=data) print(req.json()) #下载文件请求 url6='https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1517138333609&di=327abc49fc6d63fed19124cdf826d130&imgtype=0&src=http%3A%2F%2Fimg4.duitang.com%2Fuploads%2Fitem%2F201510%2F17%2F20151017223821_ZSWBc.jpeg' r=requests.get(url6)#下载直接请求url然后进行保存 #print(r.status_code)#请求状态码是二进制 res=r.content#获取二进制格式 fw=open('feifei.jpg','wb') fw.write(res)#保存文件 fw.close() #上传文件 url7='http://api.nnzhp.cn/api/file/file_upload' f=open('E:\\besttest\\python\\besttest_code\\练习\\day7笔记\\api\\feifei.jpg','rb') r=requests.post(url7,files={ 'file':f}) print(r.json()) #
#下载页面 url='http://www.runoob.com/python/python-intro.html' r=requests.get(url) f=open('python.html','wb') f.write(r.content) f.close()