hdf5优缺点

hdf5是美国超算中心开发的用于存储科学数据的自描述文件格式，与简单的二进制格式文件存储的最大区别是hdf5带有meta数据，这些元数据给出了数据的特征信息。hdf5有广泛的应用，matlab的文件就是以hdf5作为保存文件的默认格式。

hdf5能够在学术界和业界流行开来，主要是因为hdf5有两个杀手级特性：层次性分组和特征。hdf5文件以分组形式来管理所有的数据集，就像文件系统里的目录一样。hdf5允许在组和数据集上附加描述性的元数据，帮助数据的用户更好地理解数据的含义。

hdf5的另一个值得一说的优点在于支持子集分片和部分IO，hdf5文件大小可能多大几十G甚至TB规模，大多数机器不可能将如此大规模的数据集直接导入内存，切片操作会去寻找合适的数据并读入内存，并且因为做了底层优化而非常迅速。