Apache Arrow 和数据的未来：开放标准推动人工智能发展

创作时间:

作者:

@小白创作中心

Apache Arrow 和数据的未来：开放标准推动人工智能发展

引用

CSDN

https://blog.csdn.net/miniopro/article/details/139852489

Apache Arrow是一种开源列式内存格式，适用于平面数据和分层数据。在现代数据湖中，开放数据格式（如Apache Arrow）位于现代对象存储的存储层中。这些格式成为对象存储中的对象。

在最新版本中，Apache Arrow宣布计划从Apache DataFusion（自2019年2月以来一直附加到Arrow的查询执行框架）中分离出来，并将这两个项目提升到Apache软件基金会的顶级水平。贡献者解释说，随着两个项目的发展，它们已经分化了，虽然DataFusion继续依赖Arrow，但反过来就不能说了。此举代表了Arrow的成熟度和在数据社区中的广泛采用。本博客旨在突出这些贡献。

了解 Apache Arrow

Arrow格式旨在优化各种数据系统的数据处理和分析操作。这意味着Arrow旨在与许多不同的处理引擎配合使用，这对于处理具有许多不同用例的大量复杂半结构化数据的数据湖至关重要。

Apache Arrow性能极高，这主要归功于其列式数据格式，最大限度地减少了对数据序列化和反序列化的需求。这种格式不仅有助于加快数据访问速度，还支持对数据湖进行实时分析。此外，Arrow使用内存映射允许数据集由磁盘缓存提供支持，该缓存经过内存映射，可快速检索数据。此功能在RAM有限的环境中特别有效，可以有效地处理大型数据集。这些属性使Arrow成为现代数据架构的基本组件，特别是在增强不同数据环境中的互操作性和计算效率方面。

Apache Arrow 的主要优势

开源：我们长期以来一直支持现代数据堆栈的开放性。很大程度上，因为开源催生了开源，因为协作推动了创新。对于像Apache Arrow这样的开放标准来说尤其如此，因为它们在加速数据生态系统内的创新方面发挥着至关重要的作用。通过提供互操作性的通用框架，开放标准使开发人员能够更有效地协作，并避免在重新发明解决方案时进行冗余工作。这反过来又培养了一种创新文化，在这种文化中，想法可以被分享和建立，从而推动不断的进步和发展。
性能：通过采用Arrow，组织可以在不同系统之间无缝交换数据，而不会产生与序列化和反序列化相关的性能成本。当然，没有什么比性能更能与性能相得益彰了。
简化集成：Arrow提供的标准化降低了集成不同工具的复杂性，使开发人员能够专注于构建强大的解决方案，而不是应对集成挑战。通过设计，云原生项目、框架和软件开箱即用地协同工作。

采用 Apache Arrow 的著名项目

Apache Arrow已在各种项目中得到广泛采用。我们已经写过一些，包括与Spark和R的集成，但还有更多，包括但不限于：

Polars：是Rust中一个速度极快的DataFrame库，它利用Arrow的列式存储格式进行高效的数据处理，增强了性能和可扩展性。Polars与Apache Arrow的集成巩固了现代数据湖基础设施的基础，可实现高速数据运维和分析。
DuckDB：与Apache Arrow无缝集成，实现高效的数据交换，实现快速的数据传输和分析。这种集成在现代数据湖基础设施中起着举足轻重的作用，有助于跨不同数据集进行快速数据处理和查询执行。
ClickHouse：是一个开源的分析数据库管理系统，以其在实时查询处理方面的高性能而闻名。它利用Apache Arrow来增强其操作的几个方面，主要侧重于数据导入和导出，以及启用直接查询功能。
PySpark：利用Apache Arrow的列式数据表示来实现高效的数据处理，增强性能和可伸缩性。PySpark与Apache Arrow的无缝集成为现代数据湖基础设施奠定了基础，使组织能够轻松构建强大且可扩展的数据处理管道。
Pandas：受益于Arrow高效的内存布局和互操作性，支持与现代数据湖堆栈中的其他系统和语言进行无缝数据交换。
Ray：是一个分布式计算框架，它利用Apache Arrow进行高效的数据序列化和分布式任务之间的传输。这种集成增强了Ray的性能和可扩展性，使用户能够轻松构建和部署分布式应用程序。
delta-rs：是一个开源的Rust库，为Delta Lake提供原生Rust实现。Delta-rs使用Arrow在内部存储和管理数据，从而可以快速、高效地对Delta Lake表进行操作，尤其是在处理大型数据集时。
iceberg-arrow：是一个Iceberg Table支持库，允许将Parquet读取到Arrow内存中。它的性能等于或优于默认的Parquet矢量化阅读器。
Hugging Face Datasets将Arrow用于其磁盘缓存系统，该系统允许将大型数据集本地存储在内存有限的系统上。磁盘上的缓存是内存映射的，以实现高效查找。
RAPIDS：是一套用于GPU加速数据科学和分析的开源库，它利用Apache Arrow实现GPU加速数据处理任务之间的互操作性。这种集成使RAPIDS能够利用Arrow高效的列式格式在GPU上进行高速数据处理。