大模型能比人类更快的概述一篇长文，因此很多用户和企业尝试用它去概述冗长的文档以方便阅读。澳大利亚证券和投资委员会(ASIC)对此展开了研究，他们测试了开源大模型 Llama2-70B，发现它提供的概述相比人类提供的差很多。Llama2-70B 不是目前最先进的大模型，这一结果不太能够推广到最先进大模型的概述能力。尽管如此，研究表明，大型组织在将大模型的输出集成到现有工作流前需要三思。ASIC 发现，大模型生成的概述太笼统，还常常包含不正确的信息，语法正确，但幻觉无法避免。对比测试发现，AI 的平均得分为 7/15，而人类是 12.2/15。

https://arstechnica.com/ai/2024/09/australian-government-trial-finds-ai-is-much-worse-than-humans-at-summarizing/