Weaviate
本节将引导您设置 Weaviate VectorStore 以存储文档嵌入并执行相似性搜索。
Weaviate 是一个开源向量数据库,允许您存储数据对象和来自您偏好的 ML 模型向量嵌入,并无缝扩展到数十亿个数据对象。它提供了存储文档嵌入、内容和元数据以及搜索这些嵌入的工具,包括元数据过滤功能。
先决条件
-
正在运行的 Weaviate 实例。以下选项可用
-
Weaviate 云服务(需要创建账户和 API 密钥)
-
-
如果需要,EmbeddingModel 的 API 密钥用于生成由
WeaviateVectorStore
存储的嵌入。
依赖
Spring AI 自动配置、starter 模块的 artifact 名称发生了重大变化。有关更多信息,请参阅升级说明。 |
将 Weaviate Vector Store 依赖添加到您的项目
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-weaviate-store</artifactId>
</dependency>
或添加到您的 Gradle build.gradle
构建文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-weaviate-store'
}
请参阅依赖管理章节,将 Spring AI BOM 添加到您的构建文件。 |
配置
要连接到 Weaviate 并使用 WeaviateVectorStore
,您需要提供实例的访问详细信息。可以通过 Spring Boot 的 application.properties 提供简单的配置,
spring.ai.vectorstore.weaviate.host=<host_of_your_weaviate_instance>
spring.ai.vectorstore.weaviate.scheme=<http_or_https>
spring.ai.vectorstore.weaviate.api-key=<your_api_key>
# API key if needed, e.g. OpenAI
spring.ai.openai.api-key=<api-key>
环境变量,
export SPRING_AI_VECTORSTORE_WEAVIATE_HOST=<host_of_your_weaviate_instance>
export SPRING_AI_VECTORSTORE_WEAVIATE_SCHEME=<http_or_https>
export SPRING_AI_VECTORSTORE_WEAVIATE_API_KEY=<your_api_key>
# API key if needed, e.g. OpenAI
export SPRING_AI_OPENAI_API_KEY=<api-key>
或者可以混合使用。
如果您选择创建一个 shell 脚本以便于将来的工作,请务必在启动应用程序之前通过“source”文件来运行它,例如 source <您的脚本名称>.sh 。 |
自动配置
Spring AI 为 Weaviate Vector Store 提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到您的项目的 Maven pom.xml
文件中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-vector-store-weaviate</artifactId>
</dependency>
或添加到您的 Gradle build.gradle
构建文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-vector-store-weaviate'
}
请参阅依赖管理章节,将 Spring AI BOM 添加到您的构建文件。 |
请查看向量存储的配置参数列表,了解默认值和配置选项。
请参阅仓库章节,将 Maven Central 和/或 Snapshot 仓库添加到您的构建文件。 |
此外,您还需要一个配置好的 EmbeddingModel
bean。有关更多信息,请参阅EmbeddingModel章节。
以下是所需 bean 的示例
@Bean
public EmbeddingModel embeddingModel() {
// Can be any other Embeddingmodel implementation.
return new OpenAiEmbeddingModel(new OpenAiApi(System.getenv("SPRING_AI_OPENAI_API_KEY")));
}
现在您可以在应用程序中将 WeaviateVectorStore
自动注入为向量存储。
手动配置
您可以使用 builder 模式手动配置 WeaviateVectorStore
,而不是使用 Spring Boot 自动配置
@Bean
public WeaviateClient weaviateClient() {
return new WeaviateClient(new Config("http", "localhost:8080"));
}
@Bean
public VectorStore vectorStore(WeaviateClient weaviateClient, EmbeddingModel embeddingModel) {
return WeaviateVectorStore.builder(weaviateClient, embeddingModel)
.objectClass("CustomClass") // Optional: defaults to "SpringAiWeaviate"
.consistencyLevel(ConsistentLevel.QUORUM) // Optional: defaults to ConsistentLevel.ONE
.filterMetadataFields(List.of( // Optional: fields that can be used in filters
MetadataField.text("country"),
MetadataField.number("year")))
.build();
}
元数据过滤
您也可以在 Weaviate 存储中使用通用、可移植的元数据过滤器。
例如,您可以使用文本表达式语言
vectorStore.similaritySearch(
SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression("country in ['UK', 'NL'] && year >= 2020").build());
或使用 Filter.Expression
DSL 以编程方式实现
FilterExpressionBuilder b = new FilterExpressionBuilder();
vectorStore.similaritySearch(SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression(b.and(
b.in("country", "UK", "NL"),
b.gte("year", 2020)).build()).build());
这些(可移植的)过滤器表达式会自动转换为 Weaviate 专有的where 过滤器。 |
例如,这个可移植的过滤器表达式
country in ['UK', 'NL'] && year >= 2020
被转换为 Weaviate 专有的 GraphQL 过滤器格式
operator: And
operands:
[{
operator: Or
operands:
[{
path: ["meta_country"]
operator: Equal
valueText: "UK"
},
{
path: ["meta_country"]
operator: Equal
valueText: "NL"
}]
},
{
path: ["meta_year"]
operator: GreaterThanEqual
valueNumber: 2020
}]
在 Docker 中运行 Weaviate
要快速启动本地 Weaviate 实例,您可以在 Docker 中运行它
docker run -it --rm --name weaviate \
-e AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=true \
-e PERSISTENCE_DATA_PATH=/var/lib/weaviate \
-e QUERY_DEFAULTS_LIMIT=25 \
-e DEFAULT_VECTORIZER_MODULE=none \
-e CLUSTER_HOSTNAME=node1 \
-p 8080:8080 \
semitechnologies/weaviate:1.22.4
这将启动一个可通过 localhost:8080 访问的 Weaviate 实例。
WeaviateVectorStore 属性
您可以在 Spring Boot 配置中使用以下属性来自定义 Weaviate 向量存储。
属性 | 描述 | 默认值 |
---|---|---|
|
Weaviate 服务器的主机 |
localhost:8080 |
|
连接 schema |
http |
|
用于认证的 API 密钥 |
|
|
spring.ai.vectorstore.weaviate.object-class |
用于存储文档的类名 |
|
一致性与速度之间的预期权衡 |
ConsistentLevel.ONE |
|
配置可在过滤器中使用的元数据字段。格式:spring.ai.vectorstore.weaviate.filter-field.<字段名>=<字段类型> |
访问原生客户端
Weaviate Vector Store 实现通过 getNativeClient()
方法提供对底层原生 Weaviate 客户端 (WeaviateClient
) 的访问
WeaviateVectorStore vectorStore = context.getBean(WeaviateVectorStore.class);
Optional<WeaviateClient> nativeClient = vectorStore.getNativeClient();
if (nativeClient.isPresent()) {
WeaviateClient client = nativeClient.get();
// Use the native client for Weaviate-specific operations
}
原生客户端允许您访问 Weaviate 特定的功能和操作,这些功能和操作可能不会通过 VectorStore
接口暴露。