Ollama 嵌入

使用 Ollama，您可以在本地运行各种大型语言模型 (LLM) 并从它们生成嵌入。Spring AI 支持使用 OllamaEmbeddingModel 的 Ollama 文本嵌入。

嵌入是浮点数的向量（列表）。两个向量之间的距离衡量它们的关联性。较小的距离表示较高的关联性，较大的距离表示较低的关联性。

先决条件

您首先需要在本地机器上运行 Ollama。

请参考官方 Ollama 项目的 README，开始在本地机器上运行模型。

安装 ollama run llama3 将下载一个 4.7GB 的模型文件。

添加仓库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 仓库中。请参考 仓库 部分，将这些仓库添加到您的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了 BOM（物料清单），以确保在整个项目中使用一致版本的 Spring AI。请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI 为 Azure Ollama Embedding Client 提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到您的 Maven pom.xml 文件中

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'
}
请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。

spring.ai.ollama.embedding.options.* 属性用于配置所有嵌入请求使用的默认选项。（它用作 OllamaEmbeddingModel#withDefaultOptions() 实例）。

嵌入属性

前缀 spring.ai.ollama 是用于配置与 Ollama 连接的属性前缀。

属性 描述 默认值

spring.ai.ollama.base-url

Ollama API 服务器运行的基地址。

localhost:11434

前缀 spring.ai.ollama.embedding.options 是用于配置 Ollama 的 EmbeddingModel 实现的属性前缀。

属性 描述 默认值

spring.ai.ollama.embedding.enabled

启用 Ollama 嵌入模型。

true

spring.ai.ollama.embedding.options.model

要使用的 支持模型 的名称。

mistral

其余的 options 属性基于 Ollama 有效参数和值 和 Ollama 类型。默认值基于：Ollama 类型默认值。

属性

描述

默认值

spring.ai.ollama.embedding.options.numa

是否使用 NUMA。

false

spring.ai.ollama.embedding.options.num-ctx

设置用于生成下一个标记的上下文窗口大小。

2048

spring.ai.ollama.embedding.options.num-batch

???

-

spring.ai.ollama.embedding.options.num-gqa

Transformer 层中 GQA 组的数量。某些模型需要此参数，例如 llama2:70b 的值为 8。

-

spring.ai.ollama.embedding.options.num-gpu

发送到 GPU 的层数。在 macOS 上，默认值为 1 以启用 Metal 支持，0 表示禁用。

-

spring.ai.ollama.embedding.options.main-gpu

???

-

spring.ai.ollama.embedding.options.low-vram

???

-

spring.ai.ollama.embedding.options.f16-kv

???

-

spring.ai.ollama.embedding.options.logits-all

???

-

spring.ai.ollama.embedding.options.vocab-only

???

-

spring.ai.ollama.embedding.options.use-mmap

???

-

spring.ai.ollama.embedding.options.use-mlock

???

-

spring.ai.ollama.embedding.options.num-thread

设置计算过程中使用的线程数。默认情况下，Ollama 会自动检测以获得最佳性能。建议将此值设置为系统中物理 CPU 内核的数量（而不是逻辑内核数量）。

-

spring.ai.ollama.embedding.options.num-keep

???

-

spring.ai.ollama.embedding.options.seed

设置用于生成的随机数种子。将此值设置为特定数字将使模型对相同的提示生成相同的文本。

0

spring.ai.ollama.embedding.options.num-predict

生成文本时预测的最大标记数。（默认值：128，-1 = 无限生成，-2 = 填充上下文）

128

spring.ai.ollama.embedding.options.top-k

降低生成无意义内容的概率。较高的值（例如 100）将提供更多样化的答案，而较低的值（例如 10）将更加保守。

40

spring.ai.ollama.embedding.options.top-p

与 top-k 协同工作。较高的值（例如 0.95）将导致更丰富的文本，而较低的值（例如 0.5）将生成更集中和保守的文本。

0.9

spring.ai.ollama.embedding.options.tfs-z

无尾采样用于减少输出中不太可能出现的标记的影响。较高的值（例如 2.0）将更多地减少影响，而值为 1.0 将禁用此设置。

1

spring.ai.ollama.embedding.options.typical-p

???

-

spring.ai.ollama.embedding.options.repeat-last-n

设置模型回溯以防止重复的范围。（默认值：64，0 = 禁用，-1 = num_ctx）

64

spring.ai.ollama.embedding.options.temperature

模型的温度。提高温度将使模型更具创造性地回答。

0.8

spring.ai.ollama.embedding.options.repeat-penalty

设置对重复的惩罚强度。较高的值（例如 1.5）将更强烈地惩罚重复，而较低的值（例如 0.9）将更加宽容。

1.1

spring.ai.ollama.embedding.options.presence-penalty

???

-

spring.ai.ollama.embedding.options.frequency-penalty

???

-

spring.ai.ollama.embedding.options.mirostat

启用 Mirostat 采样以控制困惑度。（默认值：0，0 = 禁用，1 = Mirostat，2 = Mirostat 2.0）

0

spring.ai.ollama.embedding.options.mirostat-tau

控制输出的连贯性和多样性之间的平衡。较低的值将导致更集中和连贯的文本。

5.0

spring.ai.ollama.embedding.options.mirostat-eta

影响算法对生成文本反馈的响应速度。较低的学习率将导致更慢的调整，而较高的学习率将使算法更具响应性。

0.1

spring.ai.ollama.embedding.options.penalize-newline

???

-

spring.ai.ollama.embedding.options.stop

设置要使用的停止序列。当遇到此模式时，LLM 将停止生成文本并返回。可以通过在模型文件中指定多个单独的停止参数来设置多个停止模式。

-
所有以 spring.ai.ollama.embedding.options 为前缀的属性都可以在运行时通过向 EmbeddingRequest 调用添加特定于请求的 运行时选项 来覆盖。

运行时选项

该 OllamaOptions.java 提供了 Ollama 配置，例如要使用的模型、低级 GPU 和 CPU 调整等。

默认选项也可以使用 spring.ai.ollama.embedding.options 属性进行配置。

在启动时，使用 OllamaEmbeddingModel#withDefaultOptions() 来配置用于所有嵌入请求的默认选项。在运行时，您可以使用 OllamaOptions 实例作为 EmbeddingRequest 的一部分来覆盖默认选项。

例如，要覆盖特定请求的默认模型名称

EmbeddingResponse embeddingResponse = embeddingModel.call(
    new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
        OllamaOptions.create()
            .withModel("Different-Embedding-Model-Deployment-Name"));

示例控制器

这将创建一个 EmbeddingModel 实现，您可以将其注入到您的类中。这是一个使用 EmbeddingModel 实现的简单 @Controller 类的示例。

@RestController
public class EmbeddingController {

    private final EmbeddingModel embeddingModel;

    @Autowired
    public EmbeddingController(EmbeddingModel embeddingModel) {
        this.embeddingModel = embeddingModel;
    }

    @GetMapping("/ai/embedding")
    public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
        return Map.of("embedding", embeddingResponse);
    }
}

手动配置

如果您没有使用 Spring Boot，则可以手动配置 OllamaEmbeddingModel。为此，请将 spring-ai-ollama 依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama'
}
请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。
spring-ai-ollama 依赖项还提供对 OllamaChatModel 的访问。有关 OllamaChatModel 的更多信息，请参阅 Ollama Chat 客户端 部分。

接下来，创建一个 OllamaEmbeddingModel 实例并使用它来计算两个输入文本之间的相似度

var ollamaApi = new OllamaApi();

var embeddingModel = new OllamaEmbeddingModel(ollamaApi)
    .withDefaultOptions(OllamaOptions.create()
			.withModel(OllamaOptions.DEFAULT_MODEL)
            .toMap());

EmbeddingResponse embeddingResponse = embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

OllamaOptions 提供所有嵌入请求的配置信息。