了解Parquet
了解Parquet
Parquet是什么
Parquet是一种列式存储文件格式，主要用于大数据处理和分析。
关键特性
1. 列式存储格式
在大数据系统中数据都是以宽表的形式存在，有很多column，但是查询分析，一般只涉及少量列查询，这种情况下，Parquet可以仅读取所需的列，从而显著减少I/O并加快查询执行。
2. 高效压缩和编码
Parquet的列式存储格式允许更好的压缩比，因为同一列中的数据往往更加同质化。Parquet支持多种压缩算法，如Snappy、Gzip和LZO，此外，Parquet使用先进的编码技术，如RLE、bitpacking和dictionary-encoding，以进一步减少存储需求并提高查询性能。如果一列存储的数据，仅仅是二元数据，比如男女性别，那么可以用一个二进制串来存储，大大降息了存储所需的容量。
3. Schema演进支持
Parquet通过允许添加、删除或修改列而不影响现有数据来支持schema演进。
4. 支持复杂数据类型
Parquet支持丰富的数据类型集合，包括嵌套和重复结构，以及数组、映射（map）和结构（struct）等数据类型。此特性支持构建复杂的层次结构数据，并将其高效地存储在紧凑的二进制格式中。
格式布局
image.png
一个完整的Parquet文件包含数据和元数据信息。数据按行被切分为一到多个row group，每个row group中的每一列存储为一个连续的column chunk，每个column chunk切分为多个page。page是Parquet中的最小数据存储单元，一个page包含自身的元数据、实际数据值，和数据的嵌套层级信息。
Parquet将元数据放在文件末尾footer中，主要包含文件版本、schema，和每个row group中每个column chunk的位置、类型、编码方式、压缩方式、zone maps（page粒度统计指标，包含最大值、最小值、count）等信息。为了提高查询效率，Parquet还支持额外的Bloom Filter结构。Bloom Filter是一种空间效率很高的概率数据结构，用于快速判断某个值是否存在。Parquet支持为每个column chunk创建Bloom Filter，当查询的选取值很少时，系统通过预先检查Bloom Filter从而快速判断查询值是否存在于该columns chunk中，不存在时直接跳过该column chunk。另外，元数据中的zone maps也可以起到类似的过滤作用。
Schema Evolution
Parquet的datafile存储了数据的schema information，当一个查询读取新的Parquet datafile中的schema，已经删除的column可以跳过不读取，对于新增的column发现旧的Parquet datafile中并不存在，可以返回对应的默认值或者null
压缩算法(compression)和编码选项(encoding)
1. 压缩
Parquet支持几乎所有流行的压缩算法，包括Snappy、Gzip和LZO。Snappy在压缩比和速度之间提供了良好的平衡，使其成为常见的选择。Gzip提供更好的压缩比，但以较慢的压缩和解压速度作为代价。LZO优化了速度，但提供了较低的压缩比。高度压缩的数据可能需要更多的CPU资源来进行解压缩，影响查询性能。所以，根据具体的业务需求（是追求查询性能还是追求存储成本）选择一个平衡的压缩算法和压缩级别。
2. 编码
Parquet支持多种编码方案，如dict encoding, run-length encoding（RLE）和位打包（bit packing）。编码的选择取决于数据特征。例如，对于基数较低（不同值较少）的列，字典编码效果很好，而对于单调递增或递减值的列，增量编码更为合适。在绝大部分情况下，让Parquet自行选择就好，Parquet会根据column的数据类型和分布自动选择最高效的编码技术。
- 字典编码（Dictionary Encoding）：Parquet在所有类型的列上都首先应用了字典编码。字典编码通过构建一个字典，将原始值替换为更易于存储的形式（如从0开始的整数），从而减少数据量。Parquet根据原始值的出现顺序构建字典，当字典超过容量阈值（默认1MB）时，后续数据不再使用字典编码，直接存储为原始值。字典编码特别适用于重复值较多的数据列。
image.png
- RLE+Bitpacking：Parquet对经过字典映射后的值再进一步编码。如果一个值连续重复出现8次或以上（该值目前不可配置），Parquet将使用RLE对该column chunk编码，否则使用Bitpacking。RLE（Run-Length Encoding）和Bitpacking算法示意图如下：
image.png