使用 Spring AI 调用本地 模型实现

在本篇博客中，我们将学习如何使用 Spring AI 框架调用本地的 PyTorch 模型，并通过 Spring Boot 提供一个预测接口。Spring AI 是一个用于将人工智能应用集成到 Spring 生态系统中的框架，它支持多种 AI 模型和数据源的集成，帮助开发者将 AI 模型无缝地集成到 Java 应用中。

1. 准备 PyTorch 模型

首先，我们需要训练并保存一个 PyTorch 模型。这里我们使用一个简单的神经网络模型作为示例。训练并保存模型后，我们会将其转换为 TorchScript 格式，TorchScript 是 PyTorch 提供的一种中间表示格式，可以在 C++ 和 Java 环境中使用。

以下是一个简单的 PyTorch 模型示例：

import torch
import torch.nn as nn

# 示例模型（简单的神经网络）
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc = nn.Linear(10, 1)

    def forward(self, x):
        return self.fc(x)

# 加载模型
model = SimpleModel()
model.load_state_dict(torch.load('model.pth'))
model.eval()

# 保存模型为 TorchScript 格式（可用于 Java）
traced_model = torch.jit.trace(model, torch.randn(1, 10))
traced_model.save("model_traced.pt")

运行这段代码，你将得到一个 model_traced.pt 文件，该文件将用于后续的 Spring AI 集成。

2. 集成 PyTorch 模型到 Spring Boot 项目

2.1. 配置 Maven 依赖

在你的 pom.xml 文件中添加必要的依赖项，确保你可以使用 Spring AI 和 PyTorch 的 Java 接口：

<dependencies>
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-core</artifactId>
        <version>1.0.0</version> <!-- 根据版本调整 -->
    </dependency>
    <dependency>
        <groupId>org.pytorch</groupId>
        <artifactId>pytorch_android</artifactId>
        <version>1.10.0</version> <!-- 使用合适的版本 -->
    </dependency>
</dependencies>

2.2. 创建 Spring 配置类

我们需要创建一个 Spring 配置类来加载 TorchScript 格式的 PyTorch 模型，并定义一个 AIModel Bean。Spring AI 会利用这个 AIModel Bean 来执行模型的预测。

import org.pytorch.Module;
import org.pytorch.Tensor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.ai.core.AIModel;
import org.springframework.ai.core.AIModelLoader;

@Configuration
public class AIConfig {

    @Bean
    public AIModel pytorchModel() {
        // 加载 TorchScript 模型
        Module module = Module.load("model_traced.pt");
        return new AIModel() {
            @Override
            public Tensor predict(Tensor input) {
                return module.forward(input);
            }
        };
    }
}

2.3. 创建服务类进行模型预测

创建一个服务类，用于将输入数据传递给模型并获取预测结果。

import org.pytorch.Tensor;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@Service
public class ModelService {

    @Autowired
    private AIModel model;

    public float predict(float[] inputData) {
        // 将输入数据转换为 Tensor
        Tensor inputTensor = Tensor.fromBlob(inputData, new long[]{1, inputData.length});
        
        // 获取预测结果
        Tensor outputTensor = model.predict(inputTensor);

        // 从 Tensor 中获取结果并返回
        float[] output = outputTensor.getDataAsFloatArray();
        return output[0];
    }
}

2.4. 创建控制器

为了方便地通过 Web 接口访问模型预测功能，我们需要创建一个 RESTful 控制器。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class PredictionController {

    @Autowired
    private ModelService modelService;

    @GetMapping("/predict")
    public float predict(@RequestParam float[] input) {
        return modelService.predict(input);
    }
}

3. 启动 Spring Boot 应用

在完成上述步骤后，你的 Spring Boot 项目应该已经准备好接收预测请求。启动应用后，可以通过以下接口调用本地模型进行预测：

GET http://localhost:8080/predict?input=1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0

请求参数 input 是一个包含 10 个浮动数值的数组，模型将返回预测结果。

4. 总结

本篇博客展示了如何使用 Spring AI 框架集成本地的 PyTorch 模型，并通过 Spring Boot 提供一个 Web 接口来进行预测。我们使用了 TorchScript 格式来将 PyTorch 模型转换为可在 Java 环境中使用的格式，并通过简单的 Spring 配置和控制器使其能够在 Web 应用中提供服务。

希望这个示例对你集成和调用本地 PyTorch 模型有所帮助。如果你对 Spring AI 或 PyTorch 的其他集成有疑问，欢迎在评论区留言，我们一起讨论。