使用 Scikit-LLM 进行零样本和少样本分类
使用 Scikit-LLM 进行零样本和少样本分类
在本文中，您将学习：
- Scikit-LLM如何将OpenAI的GPT等大型语言模型与Scikit-learn框架集成以进行文本分析。
- 零样本和少样本分类之间的区别以及如何使用Scikit-LLM实现它们。
- 一个指南，介绍如何配置 Scikit-LLM 并使用 OpenAI API 密钥，以及如何将其应用于一个示例文本分类任务。
介绍
Scikit-LLM 是一个旨在将大型语言模型（LLMs）如 OpenAI 的 GPT-3.5 和 GPT-4 与 Scikit-learn 机器学习框架集成的 Python 库。它提供了一个简单的接口，可以使用自然语言提示将 LLM 作为零样本或少样本分类器使用，使其非常适合下游文本分析任务，如分类、情感分析和主题标记。
本文重点介绍 Scikit-LLM的零样本和少样本分类能力，并展示了如何将其与Scikit-learn工作流程结合以完成这些任务。
在我们开始操作之前，让我们先弄清楚零样本分类和少样本分类之间的区别。
- 零样本分类： LLM类在没有来自数据集的任何先验标记示例的情况下对文本进行分类；它仅根据可能的类别标签进行提示。
- 少样本分类： 在提示中提供了一小组带标签的示例——通常是每个可能类别几组示例——以引导LLM的推理符合所请求的分类。
逐步过程
是时候尝试这两个使用案例了，主角是我们的文章中介绍的库：Scikit-LLM。我们首先安装它：
!pip install scikit-llm
我们现在需要导入以下两个类：
from skllm.config import SKLLMConfig
from skllm import ZeroShotGPTClassifier
由于使用OpenAI的模型需要一个API密钥，我们将需要进行配置。如果需要，请访问并注册 OpenAI平台 以创建一个新的API密钥。请注意，如果您没有付费计划，您在下面示例中使用模型的选项可能会有限制。
SKLLMConfig.set_openai_key("API_KEY_GOES_HERE")
让我们考虑这个小型示例数据集，包含一些用户评论及其相关的感情标签：
X = [
"I love this product! It works great and exceeded my expectations.",
"This is the worst service I have ever received.",
"The movie was okay, not bad but not great either.",
"Excellent customer support and very quick response.",
"I am disappointed with the quality of this item."
]
y = [
"positive",
"negative",
"neutral",
"positive",
"negative"
]
我们创建一个零样本分类器的实例如下：
clf = ZeroShotGPTClassifier()
正如其名字所示，Scikit-LLM 强烈依赖于 Scikit-learn。因此，如果您对 Scikit-learn 生态系统有经验，那么训练和评估模型的过程将非常熟悉：
clf.fit(X, y)
labels = clf.predict(X)
print(labels)
但是这里正是零样本分类真正发挥作用的地方：不需要训练数据。分类器可以仅使用可能的标签进行“拟合”。换句话说，可以做到类似这样的事情：
clf_empty = ZeroShotGPTClassifier()
clf_empty.fit(None, ["positive", "negative", "neutral"])
labels = clf_empty.predict(X)
这仍然有效！这是真正的零样本分类的本质。
关于少样本分类，这个过程非常类似于我们提供训练数据的第一个零样本分类示例。事实上，fit()该方法是将少量标记示例传递给模型的正确方法。
from skllm import FewShotGPTClassifier
clf = FewShotGPTClassifier()
# Fit uses few-shot examples to build part of the prompt
clf.fit(X, y)
test_samples = [
"The new update is fantastic and really smooth.",
"I'm not happy with the experience at all.",
"Meh, it was neither exciting nor terrible."
]
predictions = clf.predict(test_samples)
print(predictions)
这听起来可能有些奇怪，但在少样本分类的特定使用案例中，fit() 和 predict() 方法都是推理过程的一部分。fit() 提供了 prompt 的标记示例，而 predict() 提供了要分类的新文本。它们一起构成了发送到 LLM 的完整 prompt。
总结
本文展示了使用新发布的Scikit-llm库的两种文本分类用例：零样本和少样本分类。使用类似于Scikit-learn的方法，这两种技术在利用示例数据进行推理的提示策略上略有不同。
零样本 分类不需要带标签的示例，并且仅依赖于加载的模型的普遍理解来分配标签。同时，少样本 分类将一小组带标签的示例纳入提示中，以更准确地引导模型的推理。