基于大语言模型的多代理下一代制造系统能灵活动态管理制造资源的高效调度方法

摘要

论文地址：https://arxiv.org/pdf/2405.16887
随着生产率的提高，客户对多品种、小批量生产的需求也在不断增加，这反过来又对制造系统提出了更高的要求。由于这种需求，当生产任务频繁变化时，传统的制造系统往往无法做出快速反应。为解决这一问题，作者提出了一种多代理制造系统。然而，由于技术上的限制，这种系统中的代理之间的协商是根据预先确定的启发式规则实现的，不够智能，无法应对多品种小批量生产。

本研究为智能车间提出了一种基于大规模语言模型（LLM）的多代理制造系统。该系统定义了各种代理，并规定了它们的合作方式。代理角色包括机器服务器代理（MSA）、投标邀请代理（BIA）、投标代理（BA）、思考代理（TA）和决策代理（DA）。在 LLM 的支持下，TA 和 DA 可以分析车间情况。BA 和 BIA 之间的谈判是连接制造资源的最重要步骤，在 TA 和 DA 的支持下，BIA 根据每台机器返回的信息最终分配订单。在 TA 和 DA 的支持下，BIA 根据每台机器返回的信息最终完成订单分配。该系统旨在通过代理的合作来分配和传送工件，这是它有别于其他排程方法的一个特点。为验证该系统的性能，还进行了对比实验。

介绍

随着生产率的提高，客户对独特产品的要求也越来越频繁。这种多品种、小批量生产的需求要求频繁更换制造资源，并对制造系统的能力提出了更高的要求。制造系统的作用是在车间和更大范围内组织制造资源，以实现高效生产。

传统的生产方法要求生产调度员根据经验和车间的实时情况来协调工件。人工排产需要与多台机器和多个部门协作，制定长期计划，通常不能灵活改变。这种僵化的排产方式很难应对不断变化的生产需求。传统制造适合大规模生产，并侧重于统一的标准化工件。然而，个性化定制产品的生产需要多品种小批量生产，建立专用生产线既不经济也不高效。

在这方面，柔性制造正成为更合适的替代方案。柔性制造根据多种调度方法组织产品加工，从而能够生产复杂多变的产品。目前，柔性制造中的排产方法主要采用启发式规则、元启发式算法和深度强化学习（DRL）算法。

启发式规则由人工智能设计，反应迅速，但与后续方法相比性能较差。元启发式算法考虑到当前的生产订单和制造资源，利用计算生成排程解决方案。然而，这种方法需要反复耗费时间，而且当订单或资源发生变化时，通常协调性较差；而 DRL 算法提供了一种更有效的方法，可快速找到排程解决方案并处理动态干扰。元启发式算法和 DRL 算法在调度小型生产资源时表现出色，但随着生产资源的增加，这些算法的复杂性迅速增加，性能也随之下降。

在这种情况下，作者提出了一种新方法：利用大规模语言模型（LLMs）的多代理制造系统。该系统并不依赖于传统的启发式规则或元启发式算法，而是利用 LLM 的自然语言处理能力来实现更复杂的协商机制；通过利用 LLM，代理之间的协商可以更加灵活和智能，并可实现多产品、小批量生产，从而为多品种、小批量生产选择最佳机器。通过利用 LLM，代理之间的协商可以更加灵活和智能，并可实现多产品、小批量生产，从而为多品种、小批量生产优化机器选择。

相关研究

LLM 的多模式能力为制造系统引入了新的智能。目前的调度方法主要基于元启发式算法和 DRL 算法。本节将介绍现有的调度方法研究以及 LLM 在制造系统中的应用。

制造系统的调度方法。

• 元启发式算法：精确度高，但求解速度慢，适用于静态调度问题。
  • 例如：Liu 等人开发了一种灵活的作业车间双资源批量调度数学模型，并在实际场景中测试了其有效性。
• 深度强化学习 (DRL) 算法：需要预训练才能处理动态调度问题。
  • 例如，Zhou 等人介绍了一种基于人工智能的智能工厂动态调度系统，该系统使用复合奖励函数来改善多目标性能指标。
• 其他方法：多代理制造系统处理速度快，且无需预先培训，因此对制造系统的迁移和扩展非常有效。
  • 例如，Qin 等人提出了自组织制造网络的综合概念，并将其定位为下一代制造自动化技术。

法律硕士申请

• 生物学：研究人员正在利用 LLM 在生物学领域取得重大进展。
  • 例如：Boiko 等人在 GPT-4 的基础上开发了 Coscientist 人工智能系统，用于自动设计、规划和执行复杂的实验。
• 化学：使用 LLM 理解并快速应用化学任务。
  • 例如，Jablonka 等人对 GPT-3 进行了微调，以开发一个能正确回答自然语言中化学问题的模型。
• 机器人技术和制造业：在机器人技术和制造业领域实施 LLM 也很重要。
  • 例如，Ichter 等人将低级技能与 LLM 结合起来，提供高级知识，从而提高了机器人执行复杂程序的性能。

研究空白

• 目前，LLM 的应用在各个领域都取得了进展，但应用还很少，尤其是在制造系统中。
• 柔性制造资源调度主要基于元启发式算法和 DRL 算法。
• 传统的多代理制造系统依赖于单一的启发式规则，无法根据实时条件选择机器。

基于 LLM 的多代理制造框架

拟议的基于 LLM 的多代理制造系统由 LLM 引擎层、协商层和物理资源层组成，如图 1 所示。该系统的特点和各层的作用如下。

LLM 引擎层

LLM 引擎层提供 LLM 引擎；虽然 LLM 的推理和训练需要大型 GPU，但工厂不可能使用这些 GPU。因此，制造系统与部署在拥有多个 GPU 的计算机中心的 LLM 之间的通信是通过应用程序接口（API）建立的，从而使车间的制造资源代理能够更有效地运行。

对于对数据安全非常敏感的应用场景，开源 LLM（如大型语言模型元人工智能（LLaMA））不失为一种选择。不过，这无疑会对代理的性能产生影响。

谈判职位

这一层是 LLM 与制造资源交互的关键中间件。车间里有许多不同类型的制造资源，它们可以有效地抽象和解释为机器。例如，传统上用于运送订单的原材料仓库就可以被概念化为零处理时间的机器。

如图 2 所示，代理人之间的谈判过程包括以下步骤

1. 事件触发：每台机器都配有机器服务器代理（MSA），负责监控机器。当做出处理决定时，MSA 会启动以下步骤并激活 BIA（投标邀请代理）。
2. 投标准备：由 MSA 触发，BIA 准备下一台可用机器所需的工件信息。
3. 邀请投标人：BIA 邀请可用的 BA（投标代理），并通知他们要处理的工件。
4. 准备投标：当 BA 收到邀请时，就会准备一份投标文件，其中包括相关机器的信息和对工件的分析。
5. 递交投标文件：所有 BA 将投标文件递交给最初的 BIA。
6. 生成问题文档：BIA 从 BA 处接收文档，并通过整合车间信息和优化目标生成问题文档。
7. 发送问题文件：BIA 将生成的问题文件发送给与 LLM 合作的 TA（思考代理）。
8. 生成建议：TA 利用 LLM 的多模式功能，生成问题文件的综合解决方案。
9. 发送建议：TA 将生成的建议发送给决策代理 (DA)。
10. 决策生成：DA 根据 TA 的建议做出最终决定。
11. 决定传送：DA 向 BIA 发送最终决定，然后 BIA 触发 MSA 实现工件加工。

物理资源层

这一层包含车间内的所有物理实体。在这一层，每个制造资源都与制造系统相连；通过 IIOT（工业物联网），这一层与协商层相连；MSA 中的事件触发器会激活协商层，当制造资源需要决策时就会启动协商流程。同样，决策触发器将决策从协商层返回给相关的制造资源。

图 3 详细介绍了基于 LLM 的多代理制造系统中代理之间的协商过程。这一过程允许代理根据实时条件和高效调度选择最合适的机器。

制造系统中的谈判代理

本节将详细介绍代理如何实现其谈判能力。图 3 举例说明了代理在制造系统中进行协商的具体情况。

1. 机器服务器代理（MSA）

   • MSA 是实体制造资源与其他代理之间的桥梁。它是连接智能制造系统的纽带。
   • 示例：MSA 示例代码使用 C# 编程，控制一台铣床。每个 MSA 对应一个制造资源，MSA 之间的合作可检测决策时间的到来。

2. 招标代理（BIA）

   • BIA 直接参与投标过程并与 MSA 合作。在其他代理的帮助下，它为当前工件指定下一台加工设备。
   • 示例：收到事件触发后，BIA 筛选出完成以下流程所需的 BA 并进行招标。

3. 招标代理 (BA)

   • BA 生成投标文件并与 MSA 合作。投标文件中包含有关机器状况和工件分析的信息。
   • 例如：收到邀请函后，BA 从 MSA 处获取相关机器状态，准备投标文件并将其发回 BIA。

4. 思维代理（TA）

   • TA 向其他代理提供情报，并使用 LLM 做出决策；TA 根据从 BIA 收到的问题文件选择最合适的 BA。
   • 示例：使用 Markdown 格式从多个角度定义 LLM 行为。使用排序链逐步引导决策过程。

5. 决策代理（DA）

   • DA 做出最终决定，并根据 TA 的分析结果做出最佳决定。决定结果将转交内务部，并由管理事务局执行。
   • 例如：DA 收到 TA 的分析文件，提取最终决定并传达给 BIA。

图 4 显示了 "思考代理 "和 "决策代理 "的详细信息，并说明了如何使用 Markdown 格式来定义代理的特征、目标、知识、答案和限制条件。

试验

本研究进行了多项实验，以验证所提出的基于 LLM 的多代理制造系统的性能。实验是在灵活作业车间调度问题（FJSP）上进行的。

验证测试

选定的测试实例用于检查系统的适用性。在这些实例中，机器数量从 5 到 15 不等，订单数量从 10 到 30 不等。

作为比较，引入了以下方法作为基准

• 最短机器处理时间 (SMPT)：选择运行处理时间最短的机器
• 队列中的工作 (WINQ)：选择工作量最小的机器
• 随机：随机选择机器。
• 先入先出 (FIFO)、先进后出 (FILO) 和最短处理时间 (SPT) 作为启发式规则。

测试实例的比较结果见表 1、表 2 和表 3。这些表格显示，拟议系统在大多数情况下都优于其他方法。

• 表 1：使用先进先出设备的测试实例的跨度

• 表 2：使用 FILO 的测试实例的制作跨度

• 表 3：使用 SPT 的测试实例的跨度

图 5(a)和 5(b)显示了带有先进先出机制的 mk01 的甘特图，表明拟议系统的工作量分布均匀。

图 6(a)和 6(b)显示了使用 FILO 的 mk15 的甘特图，说明建议的系统可以有效地处理大型问题。

基于 LLM 的多代理制造系统的应用

• 为了测试所提系统的实用性，该系统在无锡的一个智能制造工厂实验室进行了测试。在该实验室中，利用 MSA 实现了对制造资源的自动控制。

• 图 7 显示了一个智能工厂测试平台，用于在实际案例研究中评估 LLM 调度器的性能。

• 图 8 显示了不同调度方法的间隔时间，说明拟议系统优于其他方法。

图 7 和图 8 显示，建议的系统可以适应不同的工件选择方法。特别是图 7 和图 8 显示，WINQ 的结果总是比随机结果差，这表明单一的启发式规则很难适应不同的问题，但在拟议的系统中不会出现这个问题。

结论

大规模语言模型（LLM）的快速发展为多代理制造系统开辟了新的可能性，为了将 LLM 的强大功能融入制造系统，本研究提出了一种基于 LLM 的智能车间多代理制造系统。该框架为物理车间的制造资源定义了代理，并支持从控制到决策的整个过程。

提议的系统为车间和工厂配备了多个代理，并定义了代理之间的合作方式。定义的代理包括机器服务器代理（MSA）、投标邀请代理（BIA）、投标代理（BA）、思考代理（TA）和决策代理（DA）；TA 和 DA 直接与 LLM 连接，可与多个代理一起使用。BA 和 BIA 相互协作，实现不同制造资源之间的信息交换；MSA 直接管理这些机器，并为所有代理提供全面支持。

代理的本质不是针对每个个体的抽象概念，而是生产关系的集合。代理之间的合作使基于 LLM 的制造系统能够自主协商生产。在合作过程中，该系统的信息使用自然语言，这大大降低了拟议系统的维护和修改成本。

我们在多个测试实例上进行了实验，以验证拟议系统的性能。这些实验证实，建议的系统比其他方法性能更好。该系统还在物理智能制造工厂实验室进行了测试，以验证其实用性。

未来研究的目标是将该系统应用于更真实的制造环境，并将进行更多优化，以提高系统的灵活性和效率。