Spring AI 接入OpenAI大模型实现同步和流式对话

发布于：2024-06-28 ⋅ 阅读:(19) ⋅ 点赞:(0)

接入前准备

第一，准备OpenAI API Key，如果你可以科学上网，可以参照[# 如何获得Open ai key]这篇文章在 OpenAI 官方网站上获取 OpenAI API Key。

第二，如果不能科学上网，我们可以通过一些代理商获取OpenAI API Key，以下三个都可以获取到OpenAI API Key

这三个代理大家自行选择，这里我不做任何评价，大家可以都使用一下，从价格、稳定性等几个方面选择最适合自己的代理，下面我就以第一个代理为例说明使用过程：

第一步：使用手机号注册账号，注册完成执行第二步

第二步：[gpt.zhizengzeng.com/#/login]登录系统，登录进去系统执行第三步

第三步：点击添加应用按钮，添加一个应用。【列表展示默认应用是我已经添加过的】 默认会送7000左右个tokens免费使用

20240602143517238.png

第四步：我们就获取到了OpenAI API Key，下面就可以演示 Spring AI 如何接入 OpenAI

接入Open AI

创建项目

首先要创建一个Spring Boot项目，我们可以使用IDEA创建，也可以使用[start.spring.io/] 创建。创建过程我们就不再演示，想必大家不陌生。

注意：Spring AI要求的JDK版本最低为JDK17

引入依赖

需要引入Spring AI依赖包和Spring Web依赖包

<properties>
    <maven.compiler.source>17</maven.compiler.source>
    <maven.compiler.target>17</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
</properties>

<dependencies>
    <!--Spring Web 依赖包-->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!--Spring openAI 依赖包-->
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
    </dependency>
</dependencies>

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>${spring-ai.version}</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

application.yml

image.png

如上图所示，可以获取到api-key和base-url，直接配置在yaml文件中

spring:
  ai:
    openai:
      api-key: xxxx
      base-url: xxxx

代码实现

package com.ivy.controller;

import org.springframework.ai.openai.OpenAiChatModel;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

@RestController
public class ChatController {

    private final OpenAiChatModel openAiChatModel;

    public ChatController(OpenAiChatModel openAiChatModel) {
        this.openAiChatModel = openAiChatModel;
    }

    /**
     * 同步方式实现聊天功能
     *
     * @param prompt 提示词
     * @return 聊天结果
     */
    @GetMapping("/chat")
    public String chat(String prompt) {
        return openAiChatModel.call(prompt);
    }

    /***
     * 流式方式实现聊天功能
     * @param prompt 提示词
     * @return 聊天结果流
     */
    @GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(String prompt) {
        return openAiChatModel.stream(prompt);
    }
}

在ChatController中实现了如下两种方式；

  • chat()： 同步方式实现对话，一次性返回结果，当网络阻塞、输入文本以及返回文本较大时，返回比较慢，用户体验极差，在对话式应用中一般不采用此种方式。
  • stream()：流式方式实现对话，多次返回结果，像打字一样将结果依次展示。对于对话式的应用场景，主流的调用方式基本采用的是流式对话。

Spring AI中流式对话接口采用的是Spring WebFlux异步网络框架实现的，WebFlux底层默认采用Netty，因此，如果需要了解Spring AI流式对话底层的实现，则需要对异步网络编程有一定的了解。最好能对WebFlux的使用、Flux、Mono等概念了解，当然对于简单的调用并没有什么影响。

测试结果

启动Spring Boot项目，然后使用Postman进行接口测试

image.png 经过测试成功返回了结果，说明已经完成了使用Spring AI 接入 OpenAI 大模型。

下面我们在测试一下流式的方式

image.png

至此我们就完成了Spring AI 接入 OpenAI 大模型。您是不是感觉是如此的So easy！这都归功于Spring AI 将大模型的接入进行了抽象，完成了复杂接入流程的屏蔽。

虽然接入简单，但是如果想用好大模型还是有一定的难度的，比如怎么使用提示词工程激发大模型的能力，让回答更准确，如何给大模型执行一个角色以及如何让大模型具有上下文记忆能力等等。后续文章我们一一进行分析实践，敬请期待。

Spring AI 支持的大模型

支持的大模型以及需要引入的依赖包，大家根据需求自行进行选择所需要的大模型，实现对话功能。

  • [Azure OpenAI Chat]

  • [Ollama Chat]

使用 Ollama，您可以在本地运行各种大型语言模型 （LLMs） 并从中生成文本。Spring AI 支持使用 OllamaChatModel Ollama 文本生成。

  • [Amazon Bedrock]

Amazon Bedrock 是一项托管服务，可通过统一的 API 提供来自各种 AI 提供商的基础模型。其支持多种大模型，比如托管 Anthropic 3、Anthropic 2、Llama、Cohere、Titan 和 Jurassic-2

  • [HuggingFace Chat]

Huggingface是一个自然语言处理(NLP)领域的开源软件库和平台。它提供了丰富的预训练模型和工具,用于文本生成、文本分类、问答系统等多个NLP任务。通过Huggingface平台，开发者可以快速的搭建和训练自己的模型。

  • [Google VertexAI]

  • [Mistral AI Chat]

  • [ZhiPu AI Chat]

清华智普大模型ChatGLB

  • [watsonx.ai Chat]

使用 watsonx.ai，您可以在本地运行各种大型语言模型 （LLMs） 并从中生成文本。Spring AI 支持使用 watsonx.ai WatsonxAiChatModel 文本生成。

  • [MiniMax Chat]

MiniMax Chat 是一种基于Minimax算法的对话系统，它通常用于游戏和决策场景中。

示例代码

[github.com/fangjieDevp…]

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

网站公告

今日签到

点亮在社区的每一天
去签到

热门文章

最新发布