python持久化模块-pickle

2021/7/17 22:06:13

本文主要是介绍python持久化模块-pickle,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

python持久化模块-pickle

在机器学习中,我们常常需要把训练好的模型存储起来,这样在进行使用时直接将模型读出,而不需要重新训练模型,这样就大大节约了时间。Python提供的pickle模块就很好地解决了这个问题,使用它可以轻松序列化对象并保存到磁盘中,并在需要的时候读取出来,任何对象都可以执行序列化操作。

pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。

有人不禁要问了,python已经提供了文件的读写功能了,为什么还要pickle模块呢?
其实python从一个文件中读取字符串是非常简单的,但是如果想要读取出数值,那就有点不简单了,python中日常读取文件的方法比如read()或者readline()都是返回一个字符串类型,想要取出数值的话,可以使用int函数或者float函数把类似’123’或者’2.7’这样的字符串强制转换为数值类型,这样就很麻烦了。

另外,保存文件,通过write方法写入文件并保存的文件都是字符串的形式,如果你要保存类似列表,字典甚至是类的实例这样的更为复杂的数据类型的时候,普通的文件操作就好像有点力不从心了。当然你也可以把这些都以字符串的形式保存在文件中,但是当你要使用它而去读取的时候,从文件中回复到原来的数据对象,就变得异常麻烦了!!!

Python提供的标准模块-pickle就提供了这样的功能,使用这个模块,可以很方便的把列表,字典,或者类对象这类复杂数据类型存储为文件,并且读取的时候能从文件中回复到原来的对象,而不丢失其身份和类型等信息。

另外,它存储的文件类型也和一般的不一样,是二进制文件,它几乎可以把所有的python对象都传化成二进制形式的文件,这个过程称为pickling,从二进制转换回对象的过程称为unpickling。

pickle模块有两类主要的接口,即序列化(dump)和反序列化(load)
序列化方法pickle.dump()

ickle.dump(obj, file, protocol=None,*,fix_imports=True)

该方法实现的是将序列化后的对象obj以二进制形式写入文件file中,进行保存。关于参数file,有一点需要注意,必须是以二进制的形式进行操作(写入),如下图:
在这里插入图片描述

把这个列表保存起来,一定要以二进制的文件形式打开文件,这里的后缀名可以是随意的,不一定非要是’pkl’,但是使用的是pickle保存的,为了方便识别,建议直接使用’.pkl’文件格式。完成后记得把打开的文件关闭(close),这个和普通的文本文件一样。

在当前目录下就生成了一个data.pkl文件,打开之后是乱码(因为这是二进制文件),如下图:
在这里插入图片描述

反序列化方法pickle.load()

该方法的相关参数如下:

pickle.load(file, *,fix_imports=True, encoding=“ASCII”. errors=“strict”)

该方法实现的是将序列化的对象从文件file中读取出来,关于参数file,有一点需要注意,必须是以二进制的形式进行操作(读取)
在这里插入图片描述
可以直接获取我们的列表了,如下图:
在这里插入图片描述
如果是天气或者地图坐标文件,使用这个模块简直不要太方便。

Pickle模块可以保持任何你能想到的东西!!

序列化反序列化的衍生方法
序列化方法pickle.dumps()

pickle.dumps(obj, protocol=None,*,fix_imports=True)

pickle.dumps()方法跟pickle.dump()方法的区别在于,pickle.dumps()方法不需要写入文件中,它是直接返回一个序列化的bytes对象。

反序列化方法pickle.loads()

pickle.loads(bytes_object, *,fix_imports=True, encoding=“ASCII”. errors=“strict”)

pickle.loads()方法跟pickle.load()方法的区别在于,pickle.loads()方法是直接从bytes对象中读取序列化的信息,而非从文件中读取。

为什么使用二进制文件格式?
便于存储。序列化过程将文本信息转变为二进制数据流。这样就信息就容易存储在硬盘之中,当需要读取文件的时候,从硬盘中读取数据,然后再将其反序列化便可以得到原始的数据。

便于传输。当两个进程在进行远程通信时,彼此可以发送各种类型的数据。无论是何种类型的数据,都会以二进制序列的形式在网络上传送。发送方需要把這个对象转换为字节序列,在能在网络上传输;接收方则需要把字节序列在恢复为对象。

cPickle包

cPickle包的功能和用法与pickle包几乎完全相同 (其存在差别的地方实际上很少用到),不同在于cPickle是基于c语言编写的,速度是pickle包的1000倍,它具有更好的性能,对于大多数应用程序,推荐使用该模块。如果想使用cPickle包,我们都可以直接这样使用:import cPickle as pickle就可以了。



这篇关于python持久化模块-pickle的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程