PGvector

本节将引导您设置 PGvector VectorStore 来存储文档 Embedding 并执行相似度搜索。

PGvector 是 PostgreSQL 的一个开源扩展，用于存储和搜索机器学习生成的 Embedding。它提供了不同的功能，使用户能够查找精确和近似的最近邻。它旨在与 PostgreSQL 的其他功能（包括索引和查询）无缝协作。

先决条件

首先，您需要访问启用了 vector、hstore 和 uuid-ossp 扩展的 PostgreSQL 实例。

您可以通过 Docker Compose 或 Testcontainers 将 PGvector 数据库作为 Spring Boot 开发服务运行。或者，在 本地设置 Postgres/PGVector 数据库 附录中展示了如何使用 Docker 容器在本地设置数据库。

在启动时，PgVectorStore 将尝试安装所需的数据库扩展，并在不存在时创建带有索引的必需表 vector_store。

或者，您可以手动执行此操作，如下所示：

CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS hstore;
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";

CREATE TABLE IF NOT EXISTS vector_store (
	id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
	content text,
	metadata json,
	embedding vector(1536) // 1536 is the default embedding dimension
);

CREATE INDEX ON vector_store USING HNSW (embedding vector_cosine_ops);
如果您使用的是不同的 Embedding 维度，请将 1536 替换为实际维度。PGvector 的 HNSW 索引最多支持 2000 个维度。

接下来，如果需要，需要为 EmbeddingModel 提供一个 API 密钥，以生成由 PgVectorStore 存储的 Embedding。

自动配置

Spring AI 自动配置、starter 模块的 artifact 名称发生了重大变化。有关更多信息，请参阅升级说明。

然后将 PgVectorStore boot starter 依赖项添加到您的项目中

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-starter-vector-store-pgvector</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-vector-store-pgvector'
}

向量存储实现可以为您初始化所需的 schema，但您必须通过在适当的构造函数中指定 initializeSchema 布尔值，或在 application.properties 文件中设置 …​initialize-schema=true 来选择启用此功能。

这是一个破坏性变更！在早期版本的 Spring AI 中，此 schema 初始化是默认发生的。

向量存储还需要一个 EmbeddingModel 实例来计算文档的 Embedding。您可以选择其中一种可用的 EmbeddingModel 实现。

例如，要使用 OpenAI EmbeddingModel，请将以下依赖项添加到您的项目中

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}
有关将 Spring AI BOM 添加到构建文件的信息，请参阅依赖管理部分。有关将 Maven Central 和/或 Snapshot 仓库添加到构建文件的信息，请参阅仓库部分。

要连接和配置 PgVectorStore，您需要提供实例的访问详细信息。可以通过 Spring Boot 的 application.yml 文件提供简单的配置。

spring:
  datasource:
    url: jdbc:postgresql://localhost:5432/postgres
    username: postgres
    password: postgres
  ai:
	vectorstore:
	  pgvector:
		index-type: HNSW
		distance-type: COSINE_DISTANCE
		dimensions: 1536
		max-document-batch-size: 10000 # Optional: Maximum number of documents per batch
如果您通过 Docker Compose 或 Testcontainers 将 PGvector 作为 Spring Boot 开发服务运行，则无需配置 URL、用户名和密码，因为它们由 Spring Boot 自动配置。
请查看配置参数列表，了解默认值和配置选项。

现在您可以在应用程序中自动注入 VectorStore 并使用它

@Autowired VectorStore vectorStore;

// ...

List<Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to PGVector
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());

配置属性

您可以在 Spring Boot 配置中使用以下属性来自定义 PGVector 向量存储。

属性 描述 默认值

spring.ai.vectorstore.pgvector.index-type

最近邻搜索索引类型。选项包括 NONE - 精确最近邻搜索，IVFFlat - 索引将向量分成列表，然后搜索最接近查询向量的列表子集。它具有更快的构建时间并使用更少的内存，但查询性能（在速度-召回权衡方面）低于 HNSW。HNSW - 创建一个多层图。它构建时间较慢，使用内存较多，但查询性能（在速度-召回权衡方面）优于 IVFFlat。与 IVFFlat 不同，它没有训练步骤，因此可以在表中没有任何数据的情况下创建索引。

HNSW

spring.ai.vectorstore.pgvector.distance-type

搜索距离类型。默认为 COSINE_DISTANCE。但如果向量被归一化到长度 1，您可以使用 EUCLIDEAN_DISTANCE 或 NEGATIVE_INNER_PRODUCT 以获得最佳性能。

COSINE_DISTANCE

spring.ai.vectorstore.pgvector.dimensions

Embedding 维度。如果未明确指定，PgVectorStore 将从提供的 EmbeddingModel 中检索维度。维度在表创建时设置到 embedding 列上。如果您更改维度，则也必须重新创建 vector_store 表。

-

spring.ai.vectorstore.pgvector.remove-existing-vector-store-table

启动时删除现有的 vector_store 表。

false

spring.ai.vectorstore.pgvector.initialize-schema

是否初始化所需的 schema

false

spring.ai.vectorstore.pgvector.schema-name

向量存储 schema 名称

public

spring.ai.vectorstore.pgvector.table-name

向量存储表名称

vector_store

spring.ai.vectorstore.pgvector.schema-validation

启用 schema 和表名称验证，以确保它们是有效且存在的对象。

false

spring.ai.vectorstore.pgvector.max-document-batch-size

单批处理的最大文档数量。

10000
如果您配置了自定义 schema 和/或表名称，请考虑通过设置 spring.ai.vectorstore.pgvector.schema-validation=true 来启用 schema 验证。这可以确保名称的正确性并降低 SQL 注入攻击的风险。

元数据过滤

您可以将通用的、可移植的元数据过滤器与 PgVector 存储一起使用。

例如，您可以使用文本表达式语言

vectorStore.similaritySearch(
    SearchRequest.builder()
    .query("The World")
    .topK(TOP_K)
    .similarityThreshold(SIMILARITY_THRESHOLD)
    .filterExpression("author in ['john', 'jill'] && article_type == 'blog'").build());

或使用 Filter.Expression DSL 进行编程配置

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.builder()
    .query("The World")
    .topK(TOP_K)
    .similarityThreshold(SIMILARITY_THRESHOLD)
    .filterExpression(b.and(
        b.in("author","john", "jill"),
        b.eq("article_type", "blog")).build()).build());
这些过滤器表达式被转换为 PostgreSQL JSON path 表达式，以便进行高效的元数据过滤。

手动配置

除了使用 Spring Boot 自动配置之外，您还可以手动配置 PgVectorStore。为此，您需要将 PostgreSQL 连接和 JdbcTemplate 自动配置依赖项添加到您的项目中

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
	<groupId>org.postgresql</groupId>
	<artifactId>postgresql</artifactId>
	<scope>runtime</scope>
</dependency>

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-pgvector-store</artifactId>
</dependency>
有关将 Spring AI BOM 添加到构建文件的信息，请参阅依赖管理部分。

要在您的应用程序中配置 PgVector，可以使用以下设置：

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingModel embeddingModel) {
    return PgVectorStore.builder(jdbcTemplate, embeddingModel)
        .dimensions(1536)                    // Optional: defaults to model dimensions or 1536
        .distanceType(COSINE_DISTANCE)       // Optional: defaults to COSINE_DISTANCE
        .indexType(HNSW)                     // Optional: defaults to HNSW
        .initializeSchema(true)              // Optional: defaults to false
        .schemaName("public")                // Optional: defaults to "public"
        .vectorTableName("vector_store")     // Optional: defaults to "vector_store"
        .maxDocumentBatchSize(10000)         // Optional: defaults to 10000
        .build();
}

在本地运行 Postgres & PGVector 数据库

docker run -it --rm --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres pgvector/pgvector

您可以像这样连接到此服务器

psql -U postgres -h localhost -p 5432

访问原生客户端

PGVector 存储实现通过 getNativeClient() 方法提供了对底层原生 JDBC 客户端 (JdbcTemplate) 的访问

PgVectorStore vectorStore = context.getBean(PgVectorStore.class);
Optional<JdbcTemplate> nativeClient = vectorStore.getNativeClient();

if (nativeClient.isPresent()) {
    JdbcTemplate jdbc = nativeClient.get();
    // Use the native client for PostgreSQL-specific operations
}

原生客户端使您可以访问可能未通过 VectorStore 接口公开的 PostgreSQL 特有功能和操作。