이 라이브러리는 Apache Arrow의 메모리 내 쿼리 엔진 DataFusion에 바인딩됩니다.

DataFusion의 Python 바인딩은 Python에서 새로운 데이터 시스템을 구축하는 데 기반이 될 수 있습니다. 다음은 몇 가지 예시입니다:

• Dask SQL은 DataFusion의 Python 바인딩을 사용하여 SQL 파싱과 쿼리를 수행합니다 그리고 논리적 계획 최적화를 수행한 후, 논리적 계획을 Dask 연산으로 변환하여 실행합니다.
• DataFusion Ballista는 확장 기능을 제공하는 분산 SQL 쿼리 엔진입니다. DataFusion의 분산 사용 사례용 Python 바인딩.
• DataFusion Ray는 또 다른 분산 쿼리 엔진으로, DataFusion의 파이썬 바인딩.

특징

• CSV, Parquet, JSON 데이터 소스에 대해 SQL 또는 DataFrame을 사용하여 쿼리를 실행합니다.
• 쿼리는 DataFusion의 쿼리 옵티마이저를 사용하여 최적화됩니다.
• SQL에서 사용자 정의 Python 코드를 실행합니다.
• Pandas 및 PyArrow를 지원하는 다른 DataFrame 라이브러리와 데이터를 교환합니다.
• 서브스트레이트 형식으로 쿼리 계획을 직렬화하고 역직렬화합니다.
• Polars, Pandas, cuDF를 이용한 데이터 프레임 호출로 SQL 쿼리를 변환하는 실험적 지원.

병렬성 튜닝에 대한 팁은 다음을 참조하세요 CPU 사용 극대화 구성 가이드에 있습니다.

예시 사용

DataFusion in Python

This is a Python library that binds to Apache Arrow in-memory query engine DataFusion.

DataFusion’s Python bindings can be used as a foundation for building new data systems in Python. Here are some examples:

• Dask SQL uses DataFusion’s Python bindings for SQL parsing, query planning, and logical plan optimizations, and then transpiles the logical plan to Dask operations for execution.
• DataFusion Ballista is a distributed SQL query engine that extends DataFusion’s Python bindings for distributed use cases.
• DataFusion Ray is another distributed query engine that uses DataFusion’s Python bindings.

Features

• Execute queries using SQL or DataFrames against CSV, Parquet, and JSON data sources.
• Queries are optimized using DataFusion’s query optimizer.
• Execute user-defined Python code from SQL.
• Exchange data with Pandas and other DataFrame libraries that support PyArrow.
• Serialize and deserialize query plans in Substrait format.
• Experimental support for transpiling SQL queries to DataFrame calls with Polars, Pandas, and cuDF.

For tips on tuning parallelism, see Maximizing CPU Usage in the configuration guide.

Example Usage

The following example demonstrates running a SQL query against a Parquet file using DataFusion, storing the results in a Pandas DataFrame, and then plotting a chart.

The Parquet file used in this example can be downloaded from the following page:

• https://www.nyc.gov/site/tlc/about/tlc-trip-record-data.page

from datafusion import SessionContext