APIPark 新增 AI模型负载均衡,APIKey 资源池以及 AI Token 消耗统计等重磅功能!

发布于:2025-02-13 ⋅ 阅读:(16) ⋅ 点赞:(0)

开发者们好!APIPark V1.4 功能更新给大家带来「负载均衡」、「APIKey 资源池」以及「Token 消耗统计」等重要功能,看看是否能帮助到大家更好地使用 AI 大模型~

V1.4 版本说明

新功能

[❤️新增] 新增支持 AI 模型负载均衡:同时接入多款大模型,当原定的 AI 服务商无法访问时,实现平滑的故障转移,让您的客户不会受到 AI 服务商的异常影响。

[❤️新增] 新增支持 AI APIKey 资源池:可针对同一 AI 服务商录入多个APIKey,系统自动调度可用的APIKEY,摆脱原厂的各种限制。

[❤️新增] 新增 AI token 消耗统计:可查看指定时间范围内,调用各 AI 服务的 API 所消耗的 token数量。

点击跳转Github 仓


🚀 负载均衡

AI 模型负载均衡是一种智能调度机制,旨在确保 AI 服务的高可用性和稳定性。

当主要的 AI 供应商服务出现故障时,负载均衡能够自动将请求切换到备用的 AI 供应商上。

负载均衡能有效避免因供应商问题导致的服务中断,保障 AI 应用的连续运行,提升用户体验。

负载优先级

APIPark 负载均衡支持对供应商进行优先级排序,确保在异常情况下,能够按照预设的优先级顺序进行切换,进一步优化资源利用和响应速度。

开源不易,点亮 Star 是对我们最大的支持~(´▽`ʃ♡ƪ) 跪谢 !!!

APIKey 资源池

APIKey 资源池是一个集中管理和调配 APIKey 的功能,为 AI 服务的稳定运行提供有力支持。

在资源池中,您可以查看和管理各个供应商的 APIKey,包括其状态(如正常、超额、过期等)和调用优先级。

只需要通过拖拉操作,您就可以轻松调整 APIKey 的优先级顺序,以适应不同的业务需求。

当某个 APIKey 出现超额或过期等问题时,系统自动按优先级启用其他 APIKey,确保 AI 服务的持续可用。

当然,您也可以使用 AI APIKey 资源池对 AI 调用资源额度进行统一再分配。

📊AI API 管理

AI API 管理用于集中展示和管理调用各个 AI 供应商的 API。您可以在 APIPark 上查看所有调用的 AI API 的详细信息以及 token 的消耗情况。

APIPark 支持在选定时间范围内查看调用了该模型供应商能力的所有 API,以及每一个API 的调用的模型和使用的 token 数量。

这一功能方便您对该模型的资源消耗进行成本管控。

此外,您还可以在 API 列表中查看特定 API 的路由配置以及该 API 的 Prompt 信息。

🔗更详细使用教程可以查看APIPark 产品使用文档

记得 Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验!