[云上玩转Qwen3系列之四]PAI-LangStudio x AI搜索开放平台 x ElasticSearch: 构建AI Search RAG全栈应用

发布于:2025-07-04 ⋅ 阅读:(17) ⋅ 点赞:(0)

本文详细介绍了如何使用 PAI-LangStudio 和 Qwen3 构建基于AI搜索开放平台 x ElasticSearch 的 AI Search RAG 智能检索应用。该应用通过使用 AI 搜索开放平台、ElasticSearch 全文检索+向量检索引擎的混合检索技术配合阿里云最新发布的 Qwen3 推理模型编排在一个 Agentic Workflow 中,为客户提供了业内领先的 AI Search RAG 检索应用能力,使用 NLP 自然语言即可实现 AI Search 的精准查询可靠效果。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。

实践背景

本文是基于 PAI-LangStudio x AI 搜索开放平台 x ElasticSearch 来构建业内领先且功能强大的一站式 AI Search 智能混合检索 RAG 智能应用方案。下面介绍如何完成场景实操:

前提条件

  • 已创建专有网络 VPC、交换机和安全组。具体操作请参见搭建IPv4专有网络创建安全组
  • 登录 PAI 控制台,在左侧导航栏单击工作空间列表(如无 已有工作空间列表)。在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。如您尚未创建工作空间,请创建工作空间
  • 登录AI搜索开放平台,获取 Endoint 和 API-Key。
  • 登录 Elasticsearch控制台,创建 Elasticsearch 实例,并进行安全访问配置(如可打开“使用HTTPS协议”选项以增强安全性)。

场景部署步骤

步骤一:在PAI-LangStudio中添加模型服务连接:

1. 通过 PAI控制台 > 进入PAI-LangStudio > 连接 > 模型服务 > 新建连接

2. 选择 “AI搜索开放平台 Embedding 模型服务”,并填入从AI搜索开放平台获取到的 Endpoint 和api_key,创建模型服务连接:

3. 创建好后,可以在列表页看到刚刚创建的AI搜索开放平台Embedding模型服务连接:

步骤二:在PAI-LangStudio中新建数据库连接

  1. 在PAI-LangStudio中,选择“连接” -> “数据库” 标签页后,点击“新建连接”:

2. 填入在Elasticsearch控制台中查看到的Elasticsearch实例的地址和用户名、密码(注意如果Elasticsearch未开启HTTPS连接,此处url需要填写 http:// 头)后,点击确定:

此时在连接列表中可以看到刚刚添加的数据库连接:

步骤三:新建PAI-LangStudio运行时相关信息

1. "运行时"设置确认。在PAI-LangStudio中选择“运行时”标签页,点击“新建运行时”,填入必要的信息如:运行时工作路径(选择OSSbucket中一个目录)、专有网络、安全组与交换机信息(需要跟Elasticsearch所在网络畅通)后点击“确定”:

2. 之后可以在运行时列表中看到该运行时。

步骤四:在PAI-LangStudio中创建知识库

1. 在PAI-LangStudio中,选择“知识库”标签页,并点击“新建知识库”,选择文档所在OSS路径作为“数据源OSS路径”,并选择一个“输出OSS路径”用来保存文档解析处理中间结果和索引相关信息:

2. 选择 “AI搜索开放平台 Embedding 模型服务”标签,并选择步骤一中创建的模型服务连接后,可以选择具体支持的Embedding模型(其中 001模型 和 002模型维度不同,可用于不同场景选择);选择步骤二中创建的向量数据库连接,并填入一个向量数据库索引名,选择步骤5中创建的运行时后,点击确定:

3. 之后可以在知识库列表中看到刚刚创建的知识库。点击知识库名称后,可以查看知识库概览、文档查看,以及进行召回测试:

4. 在“文档”标签页,可以通过拖拽方式将本地文件上传至OSS中:

5. 在文档上传后,点击“更新索引”按钮,在弹出的浮窗中选择网络和安全组资源配置后,点击“确定”,即可开始进行知识库索引的更新:

此时可以看到有一个索引创建的任务在运行中(也可以通过知识库->操作记录查看任务):

等待几分钟后,索引构建完毕。此时刷新文档标签页,可以看到文档从“未索引”状态 变为“已索引”。点击列表中的文档名称,可以看到该文档的分块情况,以及每个文档块的使能与否。通过点击文档分块中的✅ 标记,也可以对该文档块进行enable/disable操作。当文档分块被disable后,进行召回时将忽略该文档块:

6. 在PAI-LangStudio的新版知识库中,选择“召回测试”标签,输入问题,设置检索条件(建议score阈值在0.5-0.6之间)后,点击“测试”,可以在右侧看到召回结果:

步骤五:在应用流中使用RAG知识库

1. 在PAI-LangStudio的“应用流”标签点击“新建应用流”,选择“从模板新建” -> “RAG”模板,创建应用流:

之后自动跳转至应用流界面:

2. 点击“知识库检索”节点,配置检索参数(选择知识库索引,设置filter):

2. 点击“大模型”节点,配置“模型设置”(选择模型、配置参数、开启/关闭思考):

3. 点击“运行”按钮,输入检索问题后,可以工作流中的运行框获取检索信息:

由于ElasticSearch的混合检索能力,检索准确率大大提升。

步骤六:通过 PAI-LangStudio部署EAS模型服务,支持API调用知识库能力

应用流开发调试完成后,单击右上角的部署,根据需要选择合适的机型以及专有网络,注意EAS实例需要使用与应用流中其他服务实例相同的VPC,以保证安全和网络连通。点击确定 > 跳转到PAI-EAS模型服务 查看部署任务。

场景方案价值 - ES + RAG Agent应用

在PAI- LangStudio 中, 使用AI搜索开放平台提供原子化Embeding/Rerank模型能力和Elasticsearch向量数据库,高效地处理大规模数据,结合大模型LLM分析能力,以快速构建一站式AI Search RAG增强搜索/混合检索的全栈应用能力。将AI智能信息检索与智能问答效率与准确率大大提升。

通过以上步骤,您可快速使用PAI-LangStudio构建基于 AI搜索开放平台Elasticsearch引擎优势实现AI Search RAG应用,满足专业知识库场景AI Search需求。

更多介绍

Qwen3

作为Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。基于广泛的训练,Qwen3 在推理、指令跟随、代理能力和多语言支持方面取得了突破性的进展,具有以下关键特性:

  • 独特支持在思考模式(用于复杂逻辑推理、数学和编码)和 非思考模式(用于高效通用对话)之间无缝切换,确保在各种场景下的最佳性能。
  • 显著增强的推理能力,在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ (在思考模式下)和 Qwen2.5 指令模型(在非思考模式下)。
  • 擅长 Agent 能力,可以在思考和非思考模式下精确集成外部工具,在复杂的基于代理的任务中在开源模型中表现领先。可与PAI-LangStudio 大模型开发平台无缝集成:结合MCP Server服务,增强智能数据分析能力
  • 支持 100 多种语言和方言,具有强大的多语言理解、推理、指令跟随和生成能力。

PAI-LangStudio - 大模型Agent应用开发平台

大模型&Agent应用开发平台(PAI-LangStudio)是依托阿里云PAI产品核心能力构建的面向企业级用户的一站式大模型应用开发平台。简化了企业级大模型应用的开发流程,同时提供了灵活的可编程能力、实时调试能力与链路追踪的能力,帮助开发者快速构建端到端的AI应用。原生兼容支持通义系列Qwen系列大模型。PAI-LangStudio专注于提供LLM全链路开发部署能力,可支持发布有状态、多Agent的复杂工作流发布部署成PAI-EAS模型服务,并在生产环境提供API应用服务。

参考:大模型应用开发LangStudio_人工智能平台 PAI(PAI)-阿里云帮助中心

AI搜索开放平台

AI搜索开放平台围绕智能搜索及RAG场景,将AI搜索链路中用到的算法服务以组件化形式提供,内置文档解析、文档切片、文本向量化、查询分析、召回、排序、效果评估以及LLM模型服务,开发者根据自身情况灵活选择组件服务进行搜索业务开发。

AI搜索开放平台-联网搜索

AI搜索开放平台提供联网搜索功能,支持直接调用联网搜索API或调用内容生成服务时启用联网搜索

ElasticSearch混合检索

阿里云检索服务Elasticsearch版(简称ES)结合了AI搜索开放平台的组件化模型能力,提供全文检索+向量检索引擎的混合检索技术, 可用于构建高效、精准的复杂语义搜索系统。通过搭建AI语义搜索的方法,带用户体验AI技术如何提升搜索的准确性和用户体验。

RAG 检索增强 简介

随着AI技术的飞速发展,生成式人工智能在文本生成、图像生成等领域展现出了令人瞩目的成就。然而,在广泛应用大语言模型(LLM)的过程中,以下固有局限性问题逐渐显现:

  • 领域知识局限:大语言模型通常基于大规模通用数据集训练而成,难以针对专业垂直领域提供深入和针对性处理。
  • 信息更新滞后:由于模型训练所依赖的数据集具有静态特性,大模型无法实时获取和学习最新的信息与知识进展。
  • 模型误导性输出:受制于数据偏差、模型内在缺陷等因素,大语言模型可能会出现看似合理实则错误的输出,即所谓的“大模型幻觉”。

为克服这些挑战,并进一步强化大模型的功能性和准确性,检索增强生成技术RAG(Retrieval-Augmented Generation)应运而生。这一技术通过整合外部知识库,能够显著减少大模型虚构的问题,并提升其获取及应用最新知识的能力,从而实现更个性化和精准化的LLM定制。

相关链接


网站公告

今日签到

点亮在社区的每一天
去签到