财联社 9 月 24 日讯 (编辑 史正丞)作为 AI 产业过去一年迅猛发展的验证,最新研究显示,去年一众 AI 大模型难以逾越的高难度金融专业测试,现在已经成为顶尖 AI 模型的入门标准。
纽约大学斯特恩商学院与金融科技公司 GoodFin 最新发布的研究成果显示,包括 Gemini 2.5 Pro、Claude Opus 4 等尖端推理模型,都能在原生状态下仅用数分钟就轻松通过 CFA 三级考试。部分顶尖模型的准确率已经远远超过通过这项考试的要求。
(AI 模型进入绿色区域为达到最低准确率要求)
而人类考生要通过这个级别的金融行业考试,通常需要数百至一千个小时的学习。
作为对比,摩根大通和加拿大女王大学在去年的一项研究中发现,当时领先的 AI 大模型已经能够通过 CFA 一级和二级考试,但无法通过三级考试——特别是在三级考试的论述题中表现不佳。
最新的研究也发现,大多数一线模型都能在选择题上表现良好,所以需要综合逻辑推理的论述题成为拉开区分度的分水岭。研究人员也发现,使用链式思维提示 (CoT prompting)——即要求模型推理并给出思路,能够将论述题的准确率提高 15 个百分点。
对于这项研究的成果,各方也一致认为,AI 的确展现出 「答对考试题」 的能力,但未必就能完全取代专业金融工作者。
CFA 协会教育常务董事 Chris Wiese 回应称:「在不了解该研究具体如何进行的情况下,我们只能指出,CFA 协会仍然认为,在金融市场中,信任、人际关系、健全的道德判断和专业精神依然至关重要。」
特恩商学院教授 Srikanth Jagabathula 也指出,现在很难预测这些 AI 模型会发展出哪些能力。但他提及另一项正在进行的研究,要求用户分别与 AI 模型和一名人类就理财建议进行互动。
Jagabathula 表示:「我们的发现是,AI 模型对那些有明确答案的具体问题通常能给出非常精准的回答。但它们在捕捉用户没有明确表述的上下文时往往会困难,有些情况下甚至都做不到。因此,终端用户有点难以信任这些系统。」