15.Python略有小成(内置模块Ⅰ)

Python(内置模块Ⅰ)

一、序列化模块(很重要)

序列化 : 将一种数据结构(,list,dict…),转化成一个特殊的字符串的过程

我们现在要解决的问题 : 如果有一种特殊的字符串,这个字符串可以与任何的数据结构互相转换.

序列化模块 : 将一种数据结构转化成特殊的序列(特殊的字符串,bytes)并且还可以翻转回去.

二、json与pickle模块

json模块 : 是所有语言公认的一种序列,但是支持的python数据结构有限(int str bool dict list (tuple),None float),
json模块是将满足条件的数据结构转化成特殊的字符串,并且也可以反序列化还原回去

json序列化 两对四个方法

  1. dumps loads : 主要用于网络传输

    import json
    dic = {'k1':'v1','k2':'v2','k3':'v3'}
    str_dic = json.dumps(dic)  #序列化:将一个字典转换成一个字符串
    print(type(str_dic),str_dic)  #<class 'str'> {"k3": "v3", "k1": "v1", "k2": "v2"}
    #注意,json转换完的字符串类型的字典中的字符串是由""表示的
    dic2 = json.loads(str_dic)  #反序列化:将一个字符串格式的字典转换成一个字典
    #注意,要用json的loads功能处理的字符串类型的字典中的字符串必须由""表示
    print(type(dic2),dic2)  #<class 'dict'> {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}
    list_dic = [1,['a','b','c'],3,{'k1':'v1','k2':'v2'}]
    str_dic = json.dumps(list_dic) #也可以处理嵌套的数据类型 
    print(type(str_dic),str_dic) #<class 'str'> [1, ["a", "b", "c"], 3, {"k1": "v1", "k2": "v2"}]
    list_dic2 = json.loads(str_dic)
    print(type(list_dic2),list_dic2) #<class 'list'> [1, ['a', 'b', 'c'], 3, {'k1': 'v1', 'k2': 'v2'}]
  2. dump load : 单个数据的存取文件

    import json
    f = open('json_file.json','w')
    dic = {'k1':'v1','k2':'v2','k3':'v3'}
    json.dump(dic,f)  #dump方法接收一个文件句柄,直接将字典转换成json字符串写入文件
    f.close()
    # json文件也是文件,就是专门存储json字符串的文件。
    f = open('json_file.json')
    dic2 = json.load(f)  #load方法接收一个文件句柄,直接将文件中的json字符串转换成数据结构返回
    f.close()
    print(type(dic2),dic2)

json序列化存储多个数据到同一个文件中

dic1 = {'name':'boy1'}
dic2 = {'name':'boy2'}
dic3 = {'name':'boy3'}
f = open('序列化',encoding='utf-8',mode='a')
str1 = json.dumps(dic1)
f.write(str1+'\n')
str2 = json.dumps(dic2)
f.write(str2+'\n')
str3 = json.dumps(dic3)
f.write(str3+'\n')
f.close()
f = open('序列化',encoding='utf-8')
for line in f:
    print(json.loads(line))

pickle模块 : pickle模块是将Python所有的数据结构以及对象等转化成bytes类型,然后还可以反序列化还原回去,只能python语言中使用的,支持所有的puthon数据类型以及模块
pickle序列化 两对四个方法

  1. dumps loads : 只能是网络传输

    import pickle
    dic = {'k1':'v1','k2':'v2','k3':'v3'}
    str_dic = pickle.dumps(dic)
    print(str_dic)  # bytes类型
    dic2 = pickle.loads(str_dic)
    print(dic2)    #字典
    # 还可以序列化对象
    import pickle
    def func():
        print(666)
    ret = pickle.dumps(func)
    print(ret,type(ret))  # b'\x80\x03c__main__\nfunc\nq\x00.' <class 'bytes'>
    f1 = pickle.loads(ret)  # f1得到 func函数的内存地址
    f1()  # 执行func函数
  2. dump load : 只能用于文件写读,用wb rb ab 来处理文件

    dic = {(1,2):'oldboy',1:True,'set':{1,2,3}}
    f = open('pick序列化',mode='wb')
    pickle.dump(dic,f)
    f.close()
    with open('pick序列化',mode='wb') as f1:
        pickle.dump(dic,f1)

pickle序列化存储多个数据到一个文件中

dic1 = {'name':'oldboy1'}
dic2 = {'name':'oldboy2'}
dic3 = {'name':'oldboy3'}
f = open('pick多数据',mode='wb')
pickle.dump(dic1,f)
pickle.dump(dic2,f)
pickle.dump(dic3,f)
f.close()
f = open('pick多数据',mode='rb')
while True:
    try:
        print(pickle.load(f))
    except EOFError:
        break
f.close()

三、os模块

目录 : 文件夹
工作目录,当前目录,父级目录

单独学习 : __ file __动态获取当前文件的绝对路径

  • 当前执行这个python文件的工作目录相关的工作路径

    os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径  ***
    os.chdir("dirname")  改变当前脚本工作目录;相当于shell下cd  **
    os.curdir  返回当前目录: ('.')  **
    os.pardir  获取当前目录的父目录字符串名:('..') **
  • 和文件夹相关

    os.makedirs() : 批量新建多级目录(文件)可生成多层递归目录***
    os.removedirs() : 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推***
    os.mkdir("abc") : 创建单级目录(文件)***
    os.rmdir("abc") : 删除单级的目录(文件),当文件内有其他内容时,不会删除***
    os.listdir(r"D:\s123") : 列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印**
  • path与路径相关***

    os.path.abspath(path) 返回path规范化的绝对路径  ***
    os.path.split(path) 将path分割成目录和文件名二元组返回 ***
    os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素  **
    os.path.basename(path) 返回path最后的文件名。如何path以/或\结尾,那么就会返回空值,即os.path.split(path)的第二个元素。 **
    os.path.exists(path)  如果path存在,返回True;如果path不存在,返回False  ***
    os.path.isabs(path)  如果path是绝对路径,返回True  **
    os.path.isfile(path)  如果path是一个存在的文件,返回True。否则返回False  ***
    os.path.isdir(path)  如果path是一个存在的目录,则返回True。否则返回False  ***
    os.path.join(path1[, path2[, ...]])  将多个路径组合后返回,第一个绝对路径之前的参数将被忽略 ***
    os.path.getatime(path)  返回path所指向的文件或者目录的最后访问时间  **
    os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间  **
    os.path.getsize(path) 返回path的大小 ***
  • 注意 : os.stat(‘path/filename’) 获取文件/目录信息 的结构说明

    stat 结构:
    st_mode: inode 保护模式
    st_ino: inode 节点号。
    st_dev: inode 驻留的设备。
    st_nlink: inode 的链接数。
    st_uid: 所有者的用户ID。
    st_gid: 所有者的组ID。
    st_size: 普通文件以字节为单位的大小;包含等待某些特殊文件的数据。
    st_atime: 上次访问的时间。
    st_mtime: 最后一次修改的时间。
    st_ctime: 由操作系统报告的"ctime"。在某些系统上(如Unix)是最新的元数据更改的时间,在其它系统上(如Windows)是创建时间(详细信息参见平台的文档)。

四、sys模块

  • sys模块是与python解释器交互的一个接口

    sys.argv           命令行参数List,第一个元素是程序本身路径
    sys.exit(n)        退出程序,正常退出时exit(0),错误退出sys.exit(1)
    sys.version        获取Python解释程序的版本信息
    sys.path           返回模块的搜索路径,初始化时使用PYTHONPATH环境变量的值  ***
    sys.platform       返回操作系统平台名称

五、hashlib模块

​ 此模块有人称为摘要算法,也叫做加密算法,或者是哈希算法,散列算法等等,它通过一个函数,把任意长度的数据按照一定规则转换为一个固定长度的数据串(通常用16进制的字符串表示),它是一堆加密的算法的集合

hashlib的特征以及使用要点:

  1. bytes类型数据 —> 通过hashlib算法 —> 固定长度的字符串
  2. 不同的bytes类型数据转化成的结果一定不同。
  3. 相同的bytes类型数据转化成的结果一定相同。
  4. 此转化过程不可逆。

hashlib的主要用途有两个:

  1. 密码的加密

    我们以常见的摘要算法MD5为例,计算出一个字符串的MD5值:

    import hashlib
    md5 = hashlib.md5()
    md5.update('123456'.encode('utf-8'))
    print(md5.hexdigest())
    # 计算结果如下:
    'e10adc3949ba59abbe56e057f20f883e'
    # 验证:相同的bytes数据转化的结果一定相同
    import hashlib
    md5 = hashlib.md5()
    md5.update('123456'.encode('utf-8'))
    print(md5.hexdigest())
    # 计算结果如下:
    'e10adc3949ba59abbe56e057f20f883e'
    # 验证:不相同的bytes数据转化的结果一定不相同
    import hashlib
    md5 = hashlib.md5()
    md5.update('12345'.encode('utf-8'))
    print(md5.hexdigest())
    # 计算结果如下:
    '827ccb0eea8a706c4c34a16891f84e7b'

    加盐加密

    • 固定的盐

      ret = hashlib.md5('xx流派'.encode('utf-8'))  # xx流派就是固定的盐
      ret.update('a'.encode('utf-8'))
      print(ret.hexdigest())
    • 动态的盐

      username = '九阴真经'
      ret = hashlib.md5(username[::2].encode('utf-8'))  # 针对于每个账户,每个账户的盐都不一样
      ret.update('a'.encode('utf-8'))
      print(ret.hexdigest())

    但是对安全要求比较高的企业,比如金融行业,MD5加密的方式就不够了,得需要加密方式更高的,比如sha系列sha1,sha224,sha512等等,数字越大,加密的方法越复杂,安全性越高,但是效率就会越慢。

    # sha系列 : 安全系数高,耗时高
    ret = hashlib.sha1()
    ret.update('jiuyinzhenjing'.encode('utf-8'))
    print(ret.hexdigest())
    #也可加盐
    ret = hashlib.sha384(b'asfdsa')
    ret.update('jiuyinzhenjing'.encode('utf-8'))
    print(ret.hexdigest())
    # 也可以加动态的盐
    ret = hashlib.sha384(b'asfdsa'[::2])
    ret.update('jiuyinzhenjing'.encode('utf-8'))
    print(ret.hexdigest())
  2. 文件一致性校验

    linux讲究:一切皆文件,我们普通的文件,是文件,视频,音频,图片,以及应用程序等都是文件.

    我们的网络世界是很不安全的,经常会遇到病毒,木马等,md5计算的就是bytes类型的数据的转换值,同一个bytes数据用同样的加密方式转化成的结果一定相同,如果不同的bytes数据(即使一个数据只是删除了一个空格)那么用同样的加密方式转化成的结果一定是不同的。所以,hashlib也是验证文件一致性的重要工具。

    运用所学过的函数知识,做一个可以检验文件md5的方式如下

    def file_check(file_path):
        with open(file_path,mode='rb') as f1:
            sha256 = hashlib.sha256()
            while 1:
                content = f1.read(1024)
                if content:
                    sha256.update(content)
                else:
                    return sha256.hexdigest()
    print(file_check('pycharm-professional-2019.1.1.exe'))

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
Python
Python