在本项研究中，论文第一作者和共同通讯作者、德国汉堡-埃彭多夫大学医学中心 James W. A. Strachan与同事及合作者一起，选择能测试心理理论不同方面的任务，包括发现错误想法、理解间接言语以及识别失礼。他们随后比较了1907人与两个热门大语言模型家族(GPT和LLaMA2模型)完成任务的能力。他们发现，GPT模型在识别间接要求、错误想法和误导的表现能达到有时甚至超越人类平均水平，而LLaMA2的表现逊于人类水平；在识别失礼方面，LLaMA2强于人类但GPT表现不佳。

蘑菇tv视频官网入口该论文介绍，心智理论对人类社交互动十分重要，是人类沟通交流和产生共鸣的关键。之前的研究表明，大语言模型这类人工智能可以解决复杂的认知任务，如多选决策。不过，人们一直不清楚大语言模型在被认为是人类独有能力的心智理论任务中的表现是否也能比肩人类。

论文作者指出，LLaMA2的成功被证明是因为回答的偏见程度较低而不是因为真的对失礼敏感，而GPT看起来的失利其实是因为对坚持结论的超保守态度而不是因为推理错误。

论文作者提醒说，人工智能大语言模型在心智理论任务上的表现堪比人类不等于它们具有人类般的能力，也不意味着它们能掌握心智理论。