PGvector

本节将指导你设置 PGvector VectorStore 来存储文档嵌入并执行相似性搜索。

PGvector 是 PostgreSQL 的开源扩展，用于存储和搜索机器学习生成的嵌入。它提供了不同的功能，使用户能够识别精确和近似的最近邻。它被设计为与其他 PostgreSQL 特性无缝协作，包括索引和查询。

先决条件

首先，你需要访问启用了 vector、hstore 和 uuid-ossp 扩展的 PostgreSQL 实例。

附录 在本地设置 Postgres/PGVector 展示了如何使用 Docker 容器在本地设置数据库。

启动时，PgVectorStore 将尝试安装所需的数据库扩展并创建具有索引的必需的 vector_store 表。

或者，您可以手动执行以下操作

CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS hstore;
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";

CREATE TABLE IF NOT EXISTS vector_store (
	id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
	content text,
	metadata json,
	embedding vector(1536) // 1536 is the default embedding dimension
);

CREATE INDEX ON vector_store USING HNSW (embedding vector_cosine_ops);
如果您使用的是其他维度，请将 1536 替换为实际嵌入维度。

接下来，如果需要，为 EmbeddingModel 提供一个 API 密钥，以便生成由 PgVectorStore 存储的嵌入。

自动配置

然后将 PgVectorStore 引导启动器依赖项添加到您的项目

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-pgvector-store-spring-boot-starter</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-pgvector-store-spring-boot-starter'
}

向量存储实现可以为您初始化必需的架构，但您必须通过在适当的构造函数中指定 initializeSchema 布尔值或在 application.properties 文件中设置 …​initialize-schema=true 来选择加入。

这是一个重大更改！在 Spring AI 的早期版本中，此架构初始化默认发生。

向量存储还要求 EmbeddingModel 实例为文档计算嵌入。您可以选择其中一个可用的 EmbeddingModel 实现。

例如，要使用 OpenAI EmbeddingModel，请将以下依赖项添加到您的项目

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
请参阅 依赖项管理 部分，以将 Spring AI BOM 添加到您的构建文件。请参阅 存储库 部分，以将里程碑和/或快照存储库添加到您的构建文件。

要连接并配置 PgVectorStore，您需要提供实例的访问详细信息。可以通过 Spring Boot 的 application.yml 提供一个简单的配置

spring:
  datasource:
    url: jdbc:postgresql://127.0.0.1:5432/postgres
    username: postgres
    password: postgres
  ai:
	vectorstore:
	  pgvector:
		index-type: HNSW
		distance-type: COSINE_DISTANCE
		dimensions: 1536
查看 配置参数 列表，了解默认值和配置选项。

现在，您可以在应用程序中自动装入 PgVector 存储并使用它

@Autowired VectorStore vectorStore;

// ...

List <Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to PGVector
vectorStore.add(List.of(document));

// Retrieve documents similar to a query
List<Document> results = vectorStore.similaritySearch(SearchRequest.query("Spring").withTopK(5));

配置属性

您可以在 Spring Boot 配置中使用以下属性来自定义 PGVector 向量存储。

属性 说明 默认值

spring.ai.vectorstore.pgvector.index-type

最近邻搜索索引类型。选项为：NONE - 精确最近邻搜索，IVFFlat - 索引将向量划分为列表，然后搜索最接近查询向量的那些列表的子集。它的构建时间更快，并且比 HNSW 使用的内存更少，但查询性能较低（在速度召回权衡方面）。HNSW - 创建多层图。它的构建时间较慢，并且比 IVFFlat 使用的内存更多，但查询性能更好（在速度召回权衡方面）。没有像 IVFFlat 这样的训练步骤，因此可以在表中没有任何数据的情况下创建索引。

HNSW

spring.ai.vectorstore.pgvector.distance-type

搜索距离类型。默认为 COSINE_DISTANCE。但是，如果将向量归一化为长度 1，则可以使用 EUCLIDEAN_DISTANCE 或 NEGATIVE_INNER_PRODUCT 以获得最佳性能。

COSINE_DISTANCE

spring.ai.vectorstore.pgvector.dimensions

嵌入维度。如果没有明确指定，PgVectorStore 将从提供的 EmbeddingModel 中检索维度。在创建表时，维度被设置为嵌入列。如果您更改维度，则还必须重新创建 vector_store 表。

-

spring.ai.vectorstore.pgvector.remove-existing-vector-store-table

在启动时删除现有的 vector_store 表。

false

spring.ai.vectorstore.pgvector.initialize-schema

是否初始化所需架构

false

元数据筛选

您可以使用通用、可移植的 元数据筛选器 与 PgVector 存储。

例如，您可以使用文本表达式语言

vectorStore.similaritySearch(
    SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression("author in ['john', 'jill'] && article_type == 'blog'"));

或使用 Filter.Expression DSL 以编程方式

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression(b.and(
        b.in("author","john", "jill"),
        b.eq("article_type", "blog")).build()));
这些筛选器表达式被转换为等效的 PgVector 筛选器。

手动配置

您可以手动配置 PgVectorStore，而不是使用 Spring Boot 自动配置。为此，您需要将 PostgreSQL 连接和 JdbcTemplate 自动配置依赖项添加到您的项目中

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
	<groupId>org.postgresql</groupId>
	<artifactId>postgresql</artifactId>
	<scope>runtime</scope>
</dependency>

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-pgvector-store</artifactId>
</dependency>
请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。

要在您的应用程序中配置 PgVector，您可以使用以下设置

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingModel embeddingModel) {
	return new PgVectorStore(jdbcTemplate, embeddingModel);
}

在本地运行 Postgres & PGVector DB

docker run -it --rm --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres ankane/pgvector

您可以这样连接到此服务器

psql -U postgres -h localhost -p 5432