论文题目《SCALING LARGE LANGUAGE MODEL-BASED MULTI-AGENT COLLABORATION》
这篇发表于 ICLR 2025 的论文聚焦于基于大型语言模型（LLM）的多智能体协作缩放问题，提出了名为MACNET（多智能体协作网络） 的框架，探索了协作智能体数量增加对性能的影响及潜在规律。以下是核心内容总结：
研究背景与动机
受神经缩放定律（增加神经元数量可提升模型性能）启发，研究团队思考：持续增加协作智能体数量是否能带来类似性能提升？现有多智能体研究多局限于 10 个以内智能体，缺乏对大规模协作的探索。因此，论文旨在构建可扩展的多智能体协作框架，揭示协作缩放规律，推动 LLM 系统在推理阶段的高效扩展，避免资源密集型的重训练。
核心方法：MACNET 框架设计
MACNET 通过有向无环图（DAG）组织智能体，实现拓扑化的交互式推理，支持大规模协作。其核心设计包括三部分：
实验与关键发现
性能超越基线
在 MMLU（逻辑推理）、HumanEval（代码生成）、SRDD（软件开发）、CommonGen-Hard（文本生成）等数据集上，MACNET 的链结构平均性能优于 COT、AutoGPT、GPTSWARM 等基线方法，主要得益于工件的持续迭代优化。拓扑结构的影响
- 不规则拓扑更优：随机拓扑等不规则结构性能优于规则结构（如链、树），因随机连接缩短信息路径，减少长距离工件 “不可见性”，且耗时比密集网格拓扑少 51.92%。
- 密度与形状权衡：高交互密度（如网格）通常提升性能，但过密可能导致信息过载；发散拓扑（子节点多于父节点）优于收敛拓扑，因 artifact 聚合难度更低。
- 方向敏感性：反转拓扑方向会显著降低性能，需优先选择最大化发散、最小化收敛的结构。
协作缩放定律
性能随智能体数量增加呈逻辑增长（S 型曲线），约 100 个智能体时达到饱和。与神经缩放定律（需数十亿参数和海量训练）不同，协作涌现更早，因智能体可利用 LLM 预训练知识，无需从头学习，通过交互传播多维度知识即可实现性能跃升。协作涌现的机制
结论与意义
MACNET 有效支持超千个智能体协作，揭示了协作缩放定律：性能随智能体数量呈逻辑增长，协作涌现早于神经涌现。这一研究将传统缩放从训练阶段扩展到推理阶段，为资源受限场景下提升 LLM 性能提供了 “捷径”—— 通过优化智能体协作拓扑和交互机制，而非单纯增大模型规模。未来可进一步结合角色、工具和通信协议，实现更精准的缩放规律刻画。
- 代码开源于：https://github.com/OpenBMB/ChatDev/tree/macnet 。
- 论文地址：https://openreview.net/forum?id=K3n5jPkrU6