麻省理工学院研究:多智能体辩论显著提高语言模型的准确性和推理能力
麻省理工学院研究:多智能体辩论显著提高语言模型的准确性和推理能力.麻省理工学院(MIT)的研究人员发现,相较于仅使用单个AI系统,让多个AI系统辩论问题的答案可以显著提高响应的准确性和推理能力。这一研究成果出现在题为《通过多智能体辩论提高语言模型的真实性和推理能力》的论文中。该研究还得到了Google DeepMind研究员Igor Mordatch的合作。研究人员将这一方法命名为“多智能体社会(Multiagent Society)”,并发现它可以减少生成输出中的幻觉。最令人兴奋的是,这一方法甚至可以应用于像的*这样的现有黑盒模型。
这一方法的实施包括多轮回的响应生成和评论。模型首先生成对给定问题的答案,然后整合来自其他智能体的反馈,以更新自己的响应。研究人员发现,这一过程可以改善最终的输出,因为它类似于团队讨论的结果,各个智能体共同贡献答案以达成统一的结论。
此外,这一方法还可以用于结合不同的语言模型,比如将ChatGPT与Google Bard进行对比。虽然这两个模型在示例提示下都生成了不正确的答案,但它们之间可以生成正确的最终答案。
通过多智能体社会方法,MIT团队能够在自然语言处理、数学和解谜等各种基准测试中取得卓越的成绩。例如,在流行的MMLU基准测试中,使用多个智能体的模型准确度得分为71,而仅使用单个智能体的得分为**。
主要研究人员之一,MIT博士生Yilun Du表示:“我们的方法使用了多个AI模型,每个模型都带来了独特的见解来解决问题。尽管它们的初始响应可能会显得缩短或包含错误,但这些模型可以通过审查其同行提供的响应来提炼和改进自己的答案。”
这一研究成果为AI领域的进一步发展提供了新的思路和方法,有望改进现有的语言模型,并提高其真实性和推理能力。|