Python 向量数据库：空间数据与生成式 AI 的最佳数据库与工具
Updated on
更新（2025 年 11 月）：现代技术栈通常会将 pandas 用于特征预处理，并与 Chroma、LanceDB、pgvector/Postgres、Qdrant, Weaviate, Milvus 或 Elasticsearch/OpenSearch 的向量功能等向量存储组合使用。DocArray v2 存在不向后兼容的 API 变更——如果你在使用它，请查阅最新版文档。
向量数据库是管理和处理空间数据的强大工具。它们提供了一种独特的数据存储和检索方式，非常适合用于地理信息系统（GIS）、生成式 AI、图像与视频搜索以及自然语言处理等领域的应用。在本文中，我们将探索向量数据库的世界，重点介绍它们在 Python 中的使用，以及来自 Jina AI 的创新工具 DocArray。
想要在不用写代码的情况下，从 Python Pandas DataFrame 快速创建数据可视化？
PyGWalker 是一个用于可视化探索性数据分析的 Python 库。PyGWalker (opens in a new tab) 可以简化你在 Jupyter Notebook 中的数据分析与可视化流程，将 pandas dataframe（以及 polars dataframe）转换为类似 Tableau 的用户界面，用于交互式可视化探索。
什么是向量数据库？
向量数据库是一类基于向量空间模型存储数据的数据库。在这种模型中，数据被表示为多维空间中的点，各个维度对应数据的不同特征。空间中各点之间的距离可用于衡量数据项之间的相似度，常用度量包括余弦相似度等。由于能够高效度量相似度，向量数据库特别适用于“找相似项”的任务，例如图像或视频搜索，以及文档检索等自然语言处理任务。
向量数据库的示例包括 PostGIS、GeoPackage、SQLite、GeoServer 和 MapServer。这些数据库常用于 GIS 应用中，用来存储和处理地图等空间数据。然而，向量数据库并不局限于空间数据——它们同样可以应用在包括生成式 AI 在内的广泛场景中。
向量数据库在 Python 中如何工作？
Python 之所以成为使用向量数据库的热门语言，是因为它具备强大的数据处理能力，并拥有大量用于处理向量数据的库。其中之一是来自 Jina AI 的 DocArray，它为在 Python 中操作向量数据库提供了高层接口。
借助 DocArray，你可以在 Python 中轻松创建、查询和操作向量数据库。它支持多种向量操作，包括添加、删除、更新向量，以及通过查询数据库查找相似向量。DocArray 还能与其他 Python 库无缝集成，使你可以轻松地在现有 Python 工作流中加入向量数据库相关操作。
向量数据库在生成式 AI 中的应用
向量数据库在生成式 AI 领域有着广泛的应用。许多生成式 AI 模型（例如 Generative Adversarial Networks，GAN）都是在高维向量空间中运行的，因此向量数据库非常适合用来存储和管理这些模型所使用的数据。
例如，一个 GAN 可能通过将高维向量空间中的点映射为图像来生成图像。向量数据库可以用来存储这些点，使 GAN 能够快速、高效地检索生成新图像所需的向量点。这可以大幅提升生成过程的速度，从而更容易在实际生产环境中使用 GAN。
除了在 GAN 中的应用之外，向量数据库还可以用于其他类型的生成式 AI 模型。例如，它们可以用来存储与检索语言模型所使用的 embedding，从而更容易生成与给定输入相似的文本。
开源向量数据库
目前有许多开源向量数据库可供使用，为希望在应用中引入向量数据库功能的开发者提供了大量选择。一些最受欢迎的开源向量数据库包括 Pinecone、Milvus.io、Weaviate、Vespa、Vald 和 GSI。
以 Pinecone 为例，它是面向机器学习应用的向量数据库，支持大规模向量搜索并提供简洁、Python 风格的 API，非常适合在 Python 中从事机器学习开发的用户。
Milvus.io 则是一个功能强大的开源向量数据库，支持丰富的向量操作，为管理和搜索大规模向量数据提供了灵活高效的解决方案。
Weaviate 是一个基于 GraphQL 和 RESTful API 的开源实时向量搜索引擎，专为扩展机器学习模型而设计。Vespa、Vald 和 GSI 也是同样强大的向量数据库，它们各自拥有独特的特性与能力。
这些开源向量数据库为开发者提供了多样化的选择，可以根据自身的具体需求，从中挑选最合适的向量数据库。
使用向量数据库进行图像与视频搜索
向量数据库特别适合用于图像或视频搜索等“相似项查找”任务。这是因为它们采用向量空间模型存储数据，可以通过点与点之间的距离来衡量数据项之间的相似性。
以图像搜索应用为例：应用可以使用向量数据库，存储表示每张图像特征的向量。当用户上传一张图片进行搜索时，应用可以把该图片转换为一个向量，然后查询向量数据库，找出向量最相似的那些图像。
与传统图像检索方法（往往需要将搜索图片与数据库中每一张图片一一对比）相比，这种方法效率高得多。借助向量数据库，应用可以迅速将候选范围收缩到少量相似图像，大幅加速搜索过程。
在自然语言处理中的向量数据库优势
自然语言处理（NLP）领域同样是向量数据库大显身手的舞台。在 NLP 中，文本数据通常通过 word embeddings 或基于 transformer 的模型被表示为高维向量。这些向量刻画了文本的语义信息，向量之间的距离反映对应文本片段之间的语义相似度。
向量数据库可以存储这些文本向量，并提供高效的相似度搜索能力。对于文档检索等任务，这尤其有用，因为其目标就是找到与查询文档在语义上相似的文档。
例如，考虑一个文档检索系统，它使用基于 transformer 的模型将文档表示成向量。系统可以使用向量数据库存储这些文档向量。当用户提交查询时，系统会将查询转换为向量，然后利用向量数据库寻找与其最相似的文档向量。
下面是一个使用 DocArray 库在 Python 中实现这一过程的简单示例：
from jina import Document, DocumentArray
# Create a DocumentArray (a vector database)
docs = DocumentArray()
# Add documents to the DocumentArray
for text in texts:
doc = Document(text=text)
docs.append(doc)
# Query the DocumentArray
query = Document(text="example query")
results = docs.query(query, top_k=10)在这个示例中，texts 是要加入数据库的文本列表，而 "example query" 是用于查询的文本。query 方法会返回与查询文本最相似的前 10 个文档。
不同向量数据库的性能对比
在选择向量数据库时，性能是一个重要考量因素。不同向量数据库在性能表现上可能存在显著差异，这取决于数据库规模、向量维度以及你所需执行的具体操作等因素。
例如，有些向量数据库针对高维向量和超大规模数据进行了优化，而另一些可能更适合较低维度或小规模数据集。有的数据库可能在查询速度上表现更佳，而有的则优先优化写入性能。
下面是一个简单的基准测试示例，用于比较 DocArray 和 Milvus.io 在查询性能上的表现：
import time
from jina import Document, DocumentArray
from milvus import Milvus, DataType
# Create a DocumentArray and a Milvus client
docs = DocumentArray()
milvus = Milvus()
# Add documents to both databases
for text in texts:
doc = Document(text=text)
docs.append(doc)
milvus.insert([doc.embedding])
# Query both databases and measure the time taken
query = Document(text="example query")
start = time.time()
docs_results = docs.query(query, top_k=10)
end = time.time()
docs_time = end - start
start = time.time()
milvus_results = milvus.search([query.embedding], top_k=10)
end = time.time()
milvus_time = end - start
print(f"DocArray query time: {docs_time}")
print(f"Milvus query time: {milvus_time}")在这个示例中，texts 是要加入数据库的文本列表，而 "example query" 是用于查询的文本。脚本会分别测量在两个数据库中执行查询所耗费的时间，从而为性能对比提供一个直观参考。
常见问题（FAQs）
什么是向量数据库？
向量数据库是一类基于向量空间模型存储数据的数据库。在这种模型中，数据被表示为多维空间中的点，各维度对应数据的不同特征。空间中各点之间的距离可用于衡量数据项之间的相似度，常用度量包括余弦相似度等。由于能够高效度量相似度，向量数据库特别适用于“找相似项”的任务，例如图像或视频搜索，以及文档检索等自然语言处理任务。
向量数据库在 Python 中如何工作？
由于 Python 具有强大的数据处理能力，并提供了丰富的向量数据处理库，因此成为操作向量数据库的热门语言。其中一个典型库是来自 Jina AI 的 DocArray，它为在 Python 中使用向量数据库提供了高层接口。通过 DocArray，你可以在 Python 中轻松创建、查询和操作向量数据库。
在自然语言处理场景中使用向量数据库有什么优势？
在自然语言处理（NLP）中，文本通常通过 word embeddings 或基于 transformer 的模型被表示为高维向量。这些向量捕捉了文本的语义含义，向量之间的距离表示对应文本之间的语义相似度。向量数据库可以存储这些文本向量，并提供高效的相似度搜索能力，在文档检索等应用中尤其有用。