在 Promptic 中，异常处理主要通过与 tenacity 库结合来实现，用于处理诸如 API 限流、临时故障等问题。以下是实现异常处理的具体方法和步骤：
1. 使用 tenacity 实现重试机制
tenacity 是一个强大的 Python 库，用于实现重试逻辑，可以帮助处理诸如网络问题、API 限流等暂时性错误。Promptic 与 tenacity 结合使用，可以为 LLM 调用提供弹性。
示例代码
from tenacity import retry, wait_exponential, retry_if_exception_type
from promptic import llm
from litellm.exceptions import RateLimitError # 引入 RateLimitError 异常
@retry(
wait=wait_exponential(multiplier=1, min=4, max=10), # 指数退避策略
retry=retry_if_exception_type(RateLimitError) # 只重试 RateLimitError
)
@llm
def generate_summary(text):
"""Summarize this text in 2-3 sentences: {text}"""
# 调用函数
generate_summary("Long article text here...")
2. 异常处理机制
在上述代码中，tenacity 的 retry 装饰器用于包装 Promptic 的 @llm 装饰器，从而实现异常处理逻辑：
wait_exponential：定义了重试的等待策略，使用指数退避算法。例如，multiplier=1, min=4, max=10表示初始等待时间为 4 秒，最大等待时间为 10 秒。retry_if_exception_type：指定只在特定异常（如RateLimitError）发生时触发重试。
3. 常见异常类型
在使用 Promptic 时，可能遇到的异常类型包括但不限于：
RateLimitError：当 API 调用超过速率限制时抛出。APIError：当 API 调用失败时抛出（例如网络问题或服务器错误）。
4. 自定义异常处理
如果需要处理其他类型的异常，可以通过扩展 retry_if_exception_type 来添加更多异常类型。例如：
from tenacity import retry_if_exception_type
from litellm.exceptions import APIError # 假设 APIError 是一个自定义异常
@retry(
wait=wait_exponential(multiplier=1, min=4, max=10),
retry=retry_if_exception_type((RateLimitError, APIError)) # 处理多种异常
)
@llm
def generate_summary(text):
"""Summarize this text in 2-3 sentences: {text}"""
5. 注意事项
- 重试次数限制：虽然重试机制可以提高系统的弹性，但过多的重试可能会导致资源浪费。建议根据实际需求设置合理的重试次数。
- 日志记录：在重试逻辑中添加日志记录，可以帮助开发者更好地了解异常发生的原因和频率。
通过上述方法，Promptic 可以有效地处理异常情况，提高系统的稳定性和可靠性。