Python之pyarrow：pyarrow的簡介、安裝、使用方法之詳細攻略?

?

?

?

目錄

pyarrow的簡介

1、項目的主要組成部分包括:

2、Arrow特點

pyarrow的安裝

pyarrow的使用方法

---

?

?

?

?

pyarrow的簡介

? ? ? ?用于Apache Arrow的Python庫。這個庫為Arrow c++庫提供的功能提供了Python API，以及用于與panda、NumPy和Python生態系統中的其他軟件進行箭頭集成和互操作性的工具。Apache Arrow是一個用于內存分析的開發平臺。它包含一組技術，使大數據系統能夠快速處理和移動數據。

?

?

1、項目的主要組成部分包括:

• The Arrow Columnar In-Memory Format: a standard and efficient in-memory representation of various datatypes, plain or nested
• The Arrow IPC Format: an efficient serialization of the Arrow format and associated metadata, for communication between processes and heterogeneous environments
• The Arrow Flight RPC protocol: based on the Arrow IPC format, a building block for remote services exchanging Arrow data with application-defined semantics (for example a storage server or a database)
• C++ libraries
• C bindings using GLib
• C# .NET libraries
• Gandiva: an?LLVM-based Arrow expression compiler, part of the C++ codebase
• Go libraries
• Java libraries
• JavaScript libraries
• Plasma Object Store: a shared-memory blob store, part of the C++ codebase
• Python libraries
• R libraries
• Ruby libraries
• Rust libraries

?

2、Arrow特點

• Format： Apache Arrow為平面和層次數據定義了一種與語言無關的柱狀內存格式，這種格式的組織用于在現代硬件(如cpu和gpu)上進行高效的分析操作。Arrow內存格式還支持零拷貝讀取，用于不需要序列化開銷的閃電般的數據訪問。
• Libraries： Arrow的庫實現了這種格式，并為一系列用例提供了構建塊，包括高性能分析。許多流行的項目使用箭頭有效地發送柱狀數據，或者作為分析引擎的基礎。庫可用于C、c++、c#、Go、Java、JavaScript、MATLAB、Python、R、Ruby和Rust。請參閱如何安裝和啟動。
• Ecosystem：Apache Arrow是由開發人員社區創建并為其服務的軟件。我們致力于開放、友好的溝通和協商一致的決策。我們的提交者來自不同的組織和背景，我們歡迎所有人與我們一起參與。

?

?

pyarrow的安裝

pip install --user -i https://pypi.tuna.tsinghua.edu.cn/simple pyarrow

?

?

pyarrow的使用方法

Join the mailing list: send an email to dev-subscribe@arrow.apache.org. Share your ideas and use cases for the project. Follow our activity on JIRA Learn the format Contribute code to one of the reference implementations

?

?

?

?

?

?

?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的Python之pyarrow：pyarrow的简介、安装、使用方法之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。