OpenSearch 3.0 提升向量数据库性能、搜索基础设施与可扩展性,以满足 AI 时代的需求

发布于:2025-06-09 ⋅ 阅读:(18) ⋅ 点赞:(0)

 点击下方“JavaEdge”,选择“设为星标”

第一时间关注技术干货!

免责声明~

任何文章不要过度深思!

万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」

不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人

怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的大道」




























































前言

OpenSearch 软件基金会,致力于搜索、分析、可观测性和向量数据库软件的发展。由 Linux 基金会托管,得到 AWS、SAP 和 Uber 等核心成员的支持,携手社区维护者、开发者及会员组织,共同推动 OpenSearch 项目的持续发展。

最新版进一步加强开放、可扩展、社区驱动的搜索与分析平台,助力可持续创新。就在上个月OpenSearch 3.0 正式发布。相比 OpenSearch 1.3 性能提升高达 9.5 倍,而此前的基准测试数据显示,早期版本的 OpenSearch 比业内最接近的竞争产品快 1.6 倍。

如今的 AI 应用——如生成式 AI、混合搜索、RAG和推荐引擎——都高度依赖向量数据库来在庞大复杂的数据集中寻找模式。然而,随着向量数量激增至数十亿,许多组织在速度、成本和扩展性方面面临挑战。Forrester 强调,传统数据库已无法满足生成式 AI 的增长需求,因为它们在支持现代向量多维数据和执行相似度搜索方面存在局限。

OpenSearch 3.0 正是为了解决这一挑战,通过新增的数据管理、AI 代理和向量搜索功能,帮助用户提升效率、实现更优性能并加快 AI 应用的开发。同时,引入如 GPU 加速等功能,还能将成本降低达 3.75 倍。

“随着 AI 的快速发展,企业搜索市场正迅速增长,预计到 2030 年将达到 89 亿美元,”OpenSearch 软件基金会理事会主席、亚马逊云科技(AWS)产品管理总监 Carl Meadows 表示。“OpenSearch 3.0 是我们为社区提供一个开放、可扩展平台的重要一步,旨在推动搜索与分析的未来发展。这也体现了我们对开放协作与创新的承诺,推动实际影响。”

向量引擎创新:提升处理速度与效率

为支撑其大规模搜索平台和海量向量数据管理,OpenSearch 引入了基于 GPU 的加速,利用 NVIDIA cuVS 提高索引效率。全新向量引擎功能包括:

  • GPU 加速向量引擎: 为大规模向量工作负载提供更优性能,同时显著降低运营成本,缩短索引构建时间。该实验性功能通过部署 GPU,可将索引构建速度提升至原来的 9.3 倍,加速数据密集型任务。

  • 模型上下文协议(MCP)支持: 原生支持 MCP 协议,使 AI 代理能更便捷地与 OpenSearch 交互,实现更全面、可定制的 AI 解决方案。

  • 派生数据源: 通过去除冗余的向量数据源、仅利用主数据在需要时重建源文档,用于重新索引或调用原始数据,从而降低三分之一的存储消耗。

数据管理新特性:优化资源、增强灵活性、推动可扩展性

OpenSearch 3.0 在数据的摄取、传输与管理方面取得重大进展,包括:

  • 支持 gRPC 协议: 实验性功能,为 OpenSearch 部署带来更快速、高效的数据传输与处理。实现客户端、服务端及节点间更高效的通信机制。

  • 基于拉取的数据摄取方式: 实验性功能,通过将数据源与数据消费者解耦,增强数据摄取效率,让 OpenSearch 对数据流的获取拥有更多控制权。支持从 Apache Kafka、Amazon Kinesis 等流处理系统中拉取数据。

  • 读写分离: 通过将索引和搜索工作负载分别配置,确保两者在高效状态下独立运行,避免彼此影响,提升整体系统性能。

  • 集成 Apache Calcite: 将查询构建器集成进 OpenSearch SQL 和 PPL,简化安全、可观测性与日志分析的使用场景,支持更直观、迭代式的查询构建。

  • 索引类型检测: 可自动识别索引是否包含日志相关数据,加快日志分析功能的应用配置,提高生产力。

核心升级

让 OpenSearch 的搜索与分析平台更具前瞻性。

平台在搜索基础设施方面的优化——如移除旧代码、采用模块化架构、对齐最新 Java 标准——进一步增强了维护性、性能潜力与效率。关键更新包括:

  • 升级至 Lucene 10: 现代化搜索基础设施,提升索引与搜索能力,提高并行任务执行性能,为长期创新打下基础。

  • 最低支持 Java 21 运行时: 利用现代语言特性与性能改进。

  • 支持 Java 平台模块系统: 改善组织结构,移除顶级包冲突,为将单体服务器模块重构为可拆分库奠定基础。


总结

OpenSearch 3.0 现已正式发布。请查看官方发布博客获取更多信息,以及完整发布说明。

本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!

  • 🚀 魔都架构师 | 全网30W技术追随者

  • 🔧 大厂分布式系统/数据中台实战专家

  • 🏆 主导交易系统百万级流量调优 & 车联网平台架构

  • 🧠 AIGC应用开发先行者 | 区块链落地实践者

  • 🌍 以技术驱动创新,我们的征途是改变世界!

  • 👉 实战干货:编程严选网

加我好友,一起AI探索交流!

写在最后

编程严选网http://www.javaedge.cn/

专注分享AI时代下软件开发全场景最新最佳实践,点击文末【阅读原文】即可直达~