点击下方“JavaEdge”,选择“设为星标”
第一时间关注技术干货!
免责声明~
任何文章不要过度深思!
万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」;
不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。
怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的大道」
前言
OpenSearch 软件基金会,致力于搜索、分析、可观测性和向量数据库软件的发展。由 Linux 基金会托管,得到 AWS、SAP 和 Uber 等核心成员的支持,携手社区维护者、开发者及会员组织,共同推动 OpenSearch 项目的持续发展。
最新版进一步加强开放、可扩展、社区驱动的搜索与分析平台,助力可持续创新。就在上个月OpenSearch 3.0 正式发布。相比 OpenSearch 1.3 性能提升高达 9.5 倍,而此前的基准测试数据显示,早期版本的 OpenSearch 比业内最接近的竞争产品快 1.6 倍。
如今的 AI 应用——如生成式 AI、混合搜索、RAG和推荐引擎——都高度依赖向量数据库来在庞大复杂的数据集中寻找模式。然而,随着向量数量激增至数十亿,许多组织在速度、成本和扩展性方面面临挑战。Forrester 强调,传统数据库已无法满足生成式 AI 的增长需求,因为它们在支持现代向量多维数据和执行相似度搜索方面存在局限。
OpenSearch 3.0 正是为了解决这一挑战,通过新增的数据管理、AI 代理和向量搜索功能,帮助用户提升效率、实现更优性能并加快 AI 应用的开发。同时,引入如 GPU 加速等功能,还能将成本降低达 3.75 倍。
“随着 AI 的快速发展,企业搜索市场正迅速增长,预计到 2030 年将达到 89 亿美元,”OpenSearch 软件基金会理事会主席、亚马逊云科技(AWS)产品管理总监 Carl Meadows 表示。“OpenSearch 3.0 是我们为社区提供一个开放、可扩展平台的重要一步,旨在推动搜索与分析的未来发展。这也体现了我们对开放协作与创新的承诺,推动实际影响。”
向量引擎创新:提升处理速度与效率
为支撑其大规模搜索平台和海量向量数据管理,OpenSearch 引入了基于 GPU 的加速,利用 NVIDIA cuVS 提高索引效率。全新向量引擎功能包括:
GPU 加速向量引擎: 为大规模向量工作负载提供更优性能,同时显著降低运营成本,缩短索引构建时间。该实验性功能通过部署 GPU,可将索引构建速度提升至原来的 9.3 倍,加速数据密集型任务。
模型上下文协议(MCP)支持: 原生支持 MCP 协议,使 AI 代理能更便捷地与 OpenSearch 交互,实现更全面、可定制的 AI 解决方案。
派生数据源: 通过去除冗余的向量数据源、仅利用主数据在需要时重建源文档,用于重新索引或调用原始数据,从而降低三分之一的存储消耗。
数据管理新特性:优化资源、增强灵活性、推动可扩展性
OpenSearch 3.0 在数据的摄取、传输与管理方面取得重大进展,包括:
支持 gRPC 协议: 实验性功能,为 OpenSearch 部署带来更快速、高效的数据传输与处理。实现客户端、服务端及节点间更高效的通信机制。
基于拉取的数据摄取方式: 实验性功能,通过将数据源与数据消费者解耦,增强数据摄取效率,让 OpenSearch 对数据流的获取拥有更多控制权。支持从 Apache Kafka、Amazon Kinesis 等流处理系统中拉取数据。
读写分离: 通过将索引和搜索工作负载分别配置,确保两者在高效状态下独立运行,避免彼此影响,提升整体系统性能。
集成 Apache Calcite: 将查询构建器集成进 OpenSearch SQL 和 PPL,简化安全、可观测性与日志分析的使用场景,支持更直观、迭代式的查询构建。
索引类型检测: 可自动识别索引是否包含日志相关数据,加快日志分析功能的应用配置,提高生产力。
核心升级
让 OpenSearch 的搜索与分析平台更具前瞻性。
平台在搜索基础设施方面的优化——如移除旧代码、采用模块化架构、对齐最新 Java 标准——进一步增强了维护性、性能潜力与效率。关键更新包括:
升级至 Lucene 10: 现代化搜索基础设施,提升索引与搜索能力,提高并行任务执行性能,为长期创新打下基础。
最低支持 Java 21 运行时: 利用现代语言特性与性能改进。
支持 Java 平台模块系统: 改善组织结构,移除顶级包冲突,为将单体服务器模块重构为可拆分库奠定基础。
总结
OpenSearch 3.0 现已正式发布。请查看官方发布博客获取更多信息,以及完整发布说明。
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!
🚀 魔都架构师 | 全网30W技术追随者
🔧 大厂分布式系统/数据中台实战专家
🏆 主导交易系统百万级流量调优 & 车联网平台架构
🧠 AIGC应用开发先行者 | 区块链落地实践者
🌍 以技术驱动创新,我们的征途是改变世界!
👉 实战干货:编程严选网
加我好友,一起AI探索交流!
写在最后
编程严选网:
http://www.javaedge.cn/
专注分享AI时代下软件开发全场景最新最佳实践,点击文末【阅读原文】即可直达~