これはApache Arrowのメモリ内クエリエンジンDataFusionにバインドするPythonライブラリです。

DataFusionのPythonバインディングは、Pythonで新しいデータシステムを構築するための基盤として利用できます。以下はいくつかの例です:

• Dask SQLはSQLの解析やクエリにDataFusionのPythonバインディングを使用しています 計画および論理計画の最適化を行い、その後、論理計画をDask演算に変換して実行します。
• DataFusion Ballistaは分散SQLクエリエンジンで、 DataFusionの分散用途向けのPythonバインディング。
• DataFusion Rayは、別の分散クエリエンジンで、 DataFusionのPythonバインディング。

特徴

• CSV、Parquet、JSONデータソースに対してSQLまたはDataFrameを用いたクエリを実行します。
• クエリはDataFusionのクエリオプティマイザーを用いて最適化されます。
• SQLからユーザー定義のPythonコードを実行。
• PandasやPyArrowをサポートする他のDataFrameライブラリとデータを交換すること。
• サブストラット形式でのクエリ計画のシリアライズおよびデシリアライズ。
• Polars、Pandas、cuDFを用いたSQLクエリをDataFrame呼び出しにトランスパイルする実験的なサポート。

並列性のチューニングに関するヒントは、こちらをご覧ください CPU使用率の最大化 設定ガイドに記載されています。

使用例

DataFusion in Python

This is a Python library that binds to Apache Arrow in-memory query engine DataFusion.

DataFusion’s Python bindings can be used as a foundation for building new data systems in Python. Here are some examples:

• Dask SQL uses DataFusion’s Python bindings for SQL parsing, query planning, and logical plan optimizations, and then transpiles the logical plan to Dask operations for execution.
• DataFusion Ballista is a distributed SQL query engine that extends DataFusion’s Python bindings for distributed use cases.
• DataFusion Ray is another distributed query engine that uses DataFusion’s Python bindings.

Features

• Execute queries using SQL or DataFrames against CSV, Parquet, and JSON data sources.
• Queries are optimized using DataFusion’s query optimizer.
• Execute user-defined Python code from SQL.
• Exchange data with Pandas and other DataFrame libraries that support PyArrow.
• Serialize and deserialize query plans in Substrait format.
• Experimental support for transpiling SQL queries to DataFrame calls with Polars, Pandas, and cuDF.

For tips on tuning parallelism, see Maximizing CPU Usage in the configuration guide.

Example Usage

The following example demonstrates running a SQL query against a Parquet file using DataFusion, storing the results in a Pandas DataFrame, and then plotting a chart.

The Parquet file used in this example can be downloaded from the following page:

• https://www.nyc.gov/site/tlc/about/tlc-trip-record-data.page

from datafusion import SessionContext