当前位置：首页 > article >正文

【Spring AI集成实战】基于NVIDIA LLM API构建智能聊天应用：从配置到函数调用全解析

article 2025/8/21 1:29:39

【Spring AI集成实战】基于NVIDIA LLM API构建智能聊天应用：从配置到函数调用全解析

在这里插入图片描述

前言

在人工智能应用开发领域，大语言模型（LLM）的集成能力至关重要。NVIDIA作为全球领先的GPU厂商，其LLM API提供了对Meta Llama-3.1-70b-instruct等高性能模型的访问，而Spring AI框架则通过重用OpenAI客户端实现了便捷的模型集成。本文将详细介绍如何通过Spring AI与NVIDIA LLM API结合，快速构建支持函数调用的智能聊天应用，涵盖环境配置、参数调优及实战案例。

一、集成前提条件

创建NVIDIA账户
访问NVIDIA LLM API平台，注册账户并确保账户中有足够积分以调用模型。
选择LLM模型
目前支持的模型包括meta/llama-3.1-70b-instruct、mistral/mixtral-8x7b-32k-instruct等。在模型详情页获取API Key，后续配置需用到。

在这里插入图片描述

二、Spring AI配置与依赖管理

2.1 添加依赖

Maven

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
<!-- 可选：添加Spring Boot依赖 -->
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId>
</dependency>

Gradle

dependencies {implementation 'org.springframework.ai:spring-ai-starter-model-openai'implementation 'org.springframework.boot:spring-boot-starter'
}

2.2 核心配置属性

Spring AI通过spring.ai.openai前缀配置NVIDIA LLM API连接，关键属性如下：

属性	说明	必填项
`spring.ai.openai.base-url`	固定为`https://integrate.api.nvidia.com`	✅
`spring.ai.openai.api-key`	从NVIDIA获取的API密钥	✅
`spring.ai.openai.chat.options.model`	目标模型（如`meta/llama-3.1-70b-instruct`）	✅
`spring.ai.openai.chat.options.max-tokens`	生成的最大Token数（NVIDIA强制要求，否则返回500错误）	✅
`spring.ai.openai.embedding.enabled`	禁用嵌入功能（NVIDIA暂不支持）	❌（建议设为false）

示例配置（application.properties）：

spring.ai.openai.api-key=your-nvidia-api-key
spring.ai.openai.base-url=https://integrate.api.nvidia.com
spring.ai.openai.chat.options.model=meta/llama-3.1-70b-instruct
spring.ai.openai.chat.options.max-tokens=2048
spring.ai.openai.embedding.enabled=false

三、聊天属性与高级配置

3.1 重试策略配置（前缀：`spring.ai.retry`）

属性	说明	默认值
`max-attempts`	最大重试次数	10
`backoff.initial-interval`	初始退避时间（秒）	2
`backoff.multiplier`	退避倍数	5
`backoff.max-interval`	最大退避时间（秒）	180

3.2 生成参数调优（前缀：`spring.ai.openai.chat.options`）

属性	说明	示例值
`temperature`	采样温度（0.0~1.0，越高越随机）	0.8
`frequencyPenalty`	重复惩罚（-2.0~2.0，抑制重复内容）	0.0
`presencePenalty`	存在惩罚（-2.0~2.0，鼓励新主题）	0.0
`stop`	终止序列（最多4个，如`["end"]`）	-

四、函数调用实战：集成外部工具

NVIDIA LLM API支持通过函数调用连接外部服务，以下是一个获取天气数据的示例。

4.1 定义函数Bean

@Bean
@Description("Get the weather in location")
public Function<WeatherRequest, WeatherResponse> weatherFunction() {return request -> {double temp = "Amsterdam".equals(request.location()) ? 20 : 25;return new WeatherResponse(temp, request.unit());};
}// 请求/响应模型
public record WeatherRequest(String location, String unit) {}
public record WeatherResponse(double temp, String unit) {}

4.2 触发函数调用

@Bean
CommandLineRunner runner(ChatClient.Builder chatClientBuilder) {return args -> {ChatResponse response = chatClientBuilder.build().prompt().user("What is the weather in Amsterdam and Paris?").functions("weatherFunction") // 引用Bean名称.call();System.out.println(response.getContent()); // 输出：阿姆斯特丹20℃，巴黎25℃};
}

关键逻辑：

模型检测到需要天气数据时，自动生成函数调用JSON参数
Spring AI将参数绑定到WeatherRequest并调用Bean
返回结果整合到自然语言响应中

五、创建REST控制器

5.1 文本生成端点

@RestController
public class ChatController {private final OpenAiChatModel chatModel;@Autowiredpublic ChatController(OpenAiChatModel chatModel) {this.chatModel = chatModel;}@GetMapping("/ai/generate")public Map<String, String> generate(@RequestParam String message) {return Map.of("result", chatModel.call(message));}@GetMapping("/ai/generateStream")public Flux<ChatResponse> generateStream(@RequestParam String message) {return chatModel.stream(new Prompt(new UserMessage(message)));}
}