Pandasql - 使用 SQL 查询 DataFrame 的优秀 Python 包
- Name
- Viktor Zinchenko
Updated on
Pandasql 是一个强大的 Python 包，它允许你使用 SQL 语法来查询 Pandas DataFrame。它提供了一种简单而高效的方式来操作和分析数据，对数据科学家和数据分析师来说都是非常有价值的工具。本文将从安装、使用到性能优化，全方位介绍 Pandasql 的方方面面。
维护说明（2025 年 11 月）：pandasql 目前更新有限，主要仍针对 SQLite 场景。若需要积极维护的 DataFrame 上运行 SQL 的方案，可考虑 DuckDB (opens in a new tab)（
duckdb.query_df）、Polars SQL (opens in a new tab)，或使用原生的pandas.DataFrame.query。
想要在不写代码的情况下，从 Python Pandas DataFrame 快速创建数据可视化？
PyGWalker 是一个用于带可视化的探索性数据分析的 Python 库。PyGWalker (opens in a new tab) 可以将你的 Jupyter Notebook 中的数据分析与可视化流程大幅简化，把 pandas dataframe（以及 polars dataframe）转变为类似 tableau 的可视化探索界面。
What is Pandasql?
Pandasql 是一个为 pandas 提供 SQL 接口的 Python 库。pandas 是 Python 中非常流行的数据处理库。通过 Pandasql，你可以在 pandas DataFrame 上直接运行 SQL 查询，对于熟悉 SQL 的用户来说通常更直观、更高效。Pandasql 使用 SQLite 语法，因此你可以在操作数据时使用大部分熟悉的 SQL 语句。
Pandasql 的强大之处在于它结合了两方面的优势：一方面是 pandas 在数据处理上的灵活性和强大功能，另一方面是 SQL 在数据查询方面的简洁与熟悉。不论是执行数据清洗任务，还是进行复杂的数据分析，Pandasql 都能让整个流程更顺畅、更高效。
How to Install Pandasql using pip?
得益于 Python 的包管理器 pip，安装 Pandasql 十分简单。你可以按照以下步骤在系统中安装 Pandasql：
- 打开终端或命令行窗口。
- 输入如下命令并回车：
pip install pandasql - 等待安装过程完成。
安装完成后，你可以在 Python 脚本中通过如下代码导入 Pandasql 模块：import pandasql。
需要注意的是，Pandasql 是构建在 pandas 和 SQLite 之上的，因此你的系统中也需要安装这些包。如果尚未安装，在你通过 pip 安装 Pandasql 时，pip 会自动将它们一并安装。
Does Pandasql use SQLite?
是的，Pandasql 在底层使用 SQLite。SQLite 是一个 C 语言编写的轻量级嵌入式数据库，它允许开发者使用 SQL 语法与数据库交互。当你通过 Pandasql 运行 SQL 查询时，Pandasql 会先把 pandas DataFrame 转换为 SQLite 表，在该表上执行 SQL 查询，然后再将结果返回为一个新的 DataFrame。
这意味着，当你使用 Pandasql 对 DataFrame 进行查询时，可以使用 SQLite 支持的大多数 SQL 语句和函数。无论是提取数据、分组、排序，还是连接多张数据表，都可以通过 SQL 查询在 Pandasql 中完成。
How to Use Pandasql?
使用 Pandasql 的方式就像写一条 SQL 查询语句一样简单。Pandasql 模块提供的主要函数是 sqldf()。该函数接收一个字符串形式的 SQL 查询和一组 DataFrame 作为参数，并将查询结果以新的 DataFrame 形式返回。
下面是一个使用 Pandasql 的简单示例：
import pandas as pd
import pandasql as ps
# Create a simple DataFrame
data = {'Name': ['John', 'Anna', 'Peter'], 'Age': [28, 24, 33
]}
df = pd.DataFrame(data)
# Define a SQL query
query = "SELECT * FROM df WHERE Age > 25"
# Execute the query using pandasql
result = ps.sqldf(query)
print(result)在这个示例中，我们首先导入所需模块并创建一个 DataFrame。然后定义一条 SQL 查询语句，从 DataFrame 中选取年龄大于 25 的所有行。我们将这条查询语句传给 sqldf() 函数，由它执行查询并返回一个新的 DataFrame 作为结果。
这只是一个基础示例。Pandasql 支持更复杂的查询和操作，包括 JOIN、聚合以及子查询等。对于更习惯于使用 SQL 语法的人来说，它是一个能显著简化数据处理和分析任务的强大工具。
Pandasql vs. Other Packages
在 Python 中用于数据处理与查询的包有很多，比如 pandas、sqldf、SQLAlchemy 等，不过 Pandasql 在某些方面具有明显优势。
首先，Pandasql 允许你在 pandas DataFrame 上直接使用 SQL 语法。如果你已经熟悉 SQL，这会是一个非常大的优势：在处理复杂查询时，代码通常更易读，也更容易调试。
其次，Pandasql 底层依赖功能丰富且稳定的 SQLite 引擎。这意味着你可以使用 SQLite 支持的大量 SQL 功能和函数，为数据处理和分析提供非常广泛的工具箱。
最后，Pandasql 的安装和使用都很简单。它可以与 pandas 无缝集成，对于已经使用 pandas 进行数据处理的用户来说，是一个自然的选择。
如果你对 SQLite 的能力有更高要求，可以考虑切换到 DuckDB 来进行基于内存的 SQL 分析，或者通过使用 DataFrame.query / eval 的方式留在 pandas 内部，避免 DataFrame 与 SQLite 表之间的转换开销。
Pandasql Performance Optimization Techniques
虽然 Pandasql 很强大，但需要注意的是，在 Python 中做数据处理时，它并不总是最快的方案。这是因为你每运行一次查询，Pandasql 都需要将 DataFrame 转换为 SQLite 表，对于大型 DataFrame，这个过程会比较耗时。
不过，你可以通过以下技巧来优化 Pandasql 查询的性能：
-
限制返回行数： 如果你只关心数据的一部分，可以在 SQL 查询中使用
LIMIT子句，减少返回的行数。 -
使用索引： 如果你经常基于某一列进行查询，可以考虑在该列上创建索引，以提高查询速度。
-
预先过滤数据： 如果可以的话，先用 pandas 对 DataFrame 做一轮过滤，再把结果传给 Pandasql。这样可以减少需要转换成 SQLite 表的数据量。
通过合理使用这些技巧，即便在处理大数据集时，你也能尽可能发挥 Pandasql 的性能。
FAQs
What is Pandasql?
Pandasql 是一个为 pandas 提供 SQL 接口的 Python 库。它允许你在 pandas DataFrame 上运行 SQL 查询，对于熟悉 SQL 的用户来说，这种方式通常更加直观、高效。
How to install Pandasql?
你可以使用 Python 的包管理工具 pip 来安装 Pandasql。只需打开终端或命令行，输入 pip install pandasql 并回车即可。
Does Pandasql use SQLite?
是的，Pandasql 在底层使用 SQLite。当你用 Pandasql 运行 SQL 查询时，它会将 pandas DataFrame 转换成 SQLite 表，在该表上执行 SQL 查询，然后把查询结果再转换为新的 DataFrame 返回。