AI沟通难题破解：姚顺雨揭秘人话理解之道
8
1
腾讯与复旦联合发布《CL-bench》论文，揭示AI学习难题
快科技2月4日报道，近日，腾讯混元团队与复旦大学联合团队共同发布了一篇名为《CL-bench》的论文。值得注意的是，这是腾讯首席AI科学家姚顺雨加入公司后首次以作者身份发表的研究论文。 在论文中，姚顺雨指出，当前AI与真正智能之间的差距，并非在于知识的多少，而在于学习的能力。一个知识丰富却无法学习的AI，就像一个背了整本字典却不会写作的人，看似博学，实则僵化。 人类并非仅仅依赖多年前的死知识，而是实时地从眼前的上下文中学习。研究团队在论文中指出，大模型在上下文利用上，仍然存在显著的能力短板。 为了衡量现有模型距离真正的“上下文学习者”还有多远，研究团队构建了CL-bench。这是一个专门用于评估语言模型能否从上下文中学习新知识并正确应用的基准。 CL-bench包含由资深领域专家精心制作的500个复杂上下文、1899个任务和31607个验证标准。CL-bench的唯一要求是：“解决每个任务要求模型必须从上下文中学习到模型预训练中不存在的新知识，并正确应用。” 实验结果显示，世界上排名前十的语言模型在CL-bench上的任务解决率平均只有17.2%。这意味着即使是如今最强的语言模型，在上下文的利用方面仍然做得不好，甚至可以说是还不会利用上下文进行学习。 这也为大语言模型后续的迭代指出了一个可能的方向，即强化模型从上下文中进行学习的能力。CL-bench基准测试揭示AI学习困境
近日，腾讯混元团队与复旦大学联合团队发布了一篇名为《CL-bench》的论文，旨在揭示AI在学习过程中的困境。 论文指出，AI与真正智能之间的差距，并非在于知识的多少，而在于学习的能力。一个知识丰富却无法学习的AI，就像一个背了整本字典却不会写作的人，看似博学，实则僵化。 人类并非仅仅依赖多年前的死知识，而是实时地从眼前的上下文中学习。大模型在上下文利用上，仍然存在显著的能力短板。 为了衡量现有模型距离真正的“上下文学习者”还有多远，研究团队构建了CL-bench。这是一个专门用于评估语言模型能否从上下文中学习新知识并正确应用的基准。 CL-bench包含由资深领域专家精心制作的500个复杂上下文、1899个任务和31607个验证标准。CL-bench的唯一要求是：“解决每个任务要求模型必须从上下文中学习到模型预训练中不存在的新知识，并正确应用。” 实验结果显示，世界上排名前十的语言模型在CL-bench上的任务解决率平均只有17.2%。这意味着即使是如今最强的语言模型，在上下文的利用方面仍然做得不好，甚至可以说是还不会利用上下文进行学习。 这也为大语言模型后续的迭代指出了一个可能的方向，即强化模型从上下文中进行学习的能力。