0 序言
- 续接[数据存储] 浅谈大数据领域的数据存储格式：ORC / Avro / Parquet / Arrow- 博客园/千千寰宇，展开回顾一下 Hive 的数据存储格式。
1 概述： Hive
- Hive支持多种存储格式，选择合适的存储格式对于提升查询性能和存储效率至关重要。
- 常见的Hive存储格式包括TextFile、SequenceFile、RCFile、ORCFile和Parquet。
- 这些格式中，
TextFile是默认的存储格式，而SequenceFile、RCFile、ORCFile和Parquet则提供了更高效的数据压缩和查询性能。
TextFile存储格式
-
TextFile是Hive的默认存储格式，它将数据以纯文本形式存储，不进行任何压缩处理。
-
创建TextFile格式的Hive表时，可以直接使用LOAD DATA语句将数据加载到表中，这是因为TextFile不涉及数据压缩，因此加载速度快。
-
但是，TextFile格式的缺点是磁盘占用较大，且在查询时需要逐个字符判断分隔符，导致查询效率不高。
SequenceFile存储格式
- SequenceFile是Hadoop提供的一种二进制文件格式，支持数据的可分割和压缩。
- 它以键值对的形式存储数据，可以选择记录压缩或块压缩。
- SequenceFile格式的表不能直接从本地文件加载数据，需要先将数据导入到TextFile格式的表中，然后使用INSERT语句导入到SequenceFile格式的表中。
RCFile存储格式
- RCFile（Row Columnar File）是一种行列混合存储的文件格式，它先将数据按行分组，然后在每个行组内部进行列式存储。
- RCFile格式的表在查询时可以避免读取不必要的列，且同列数据类型一致，有利于数据压缩。
- 但是，RCFile在重建行数据时可能会有较大的开销，尤其是当数据分布在不同的HDFS块上时。
ORCFile存储格式
- ORCFile（Optimized Row Columnar File）是对RCFile的优化，提供了更高效的压缩和查询性能。
- ORCFile在每个文件中提供了多级索引，可以快速定位查询数据，减少不必要的磁盘和网络I/O。
- ORCFile支持ACID事务，允许对Hive表的单个记录进行修改。
- 创建支持ACID事务的ORCFile格式的Hive表时，需要将表设置为分桶表，并在表属性中添加'transactional'='true'。
Parquet存储格式
- Parquet是另一种高性能的列式存储格式，它将数据分成多个行组，每个行组内部再分成若干页。
- Parquet文件中包含了丰富的元数据信息，有助于提升数据读取效率。
- Parquet在嵌套式结构支持上表现更佳，而ORC在多层级嵌套表达上可能会有性能损失。
存储格式的选择
-
在选择Hive存储格式时，需要考虑数据的压缩比、查询速度和HDFS上的文件名。
- ORCFile通常提供最高的压缩比，而Parquet和ORCFile在查询速度上相近。
- 如果表中的数据需要压缩，可以选择SequenceFile、RCFile、ORCFile或Parquet格式。
- 对于大数据量的场景，选择支持切分的压缩格式如Parquet的Lzo压缩会更加合适。
-
在实际应用中，可以根据数据的特点和查询需求选择最合适的存储格式。
例如，对于需要频繁查询某几列数据的场景，列式存储格式如ORCFile或Parquet可能更优。
- 而对于需要经常全表扫描的场景，行式存储格式如TextFile可能更合适。
- 此外，还可以根据存储和查询的性能需求，对Hive表进行相应的配置优化，如设置压缩类型和大小、调整内存缓冲池大小等1。
Y 推荐文献
- [数据存储] 浅谈大数据领域的数据存储格式：ORC / Avro / Parquet / Arrow- 博客园/千千寰宇
