AI 幻觉指数出炉：Claude 3.5 Sonnet 荣登榜首，大型语言模型准确性显著提升

Galileo 最新发布的 AI 幻觉指数显示，顶级大型语言模型的幻觉现象较一年前显著减少，Claude 3.5 Sonnet 在测试中表现最佳。这意味着 AI 正在变得更加准确，但在对准确性要求极高的领域，仍需谨慎使用。

幕后故事： AI 幻觉，指的是大型语言模型编造信息或输出与事实不符内容的现象。为了评估 AI 模型的幻觉程度，Galileo 平台创建了一个名为“AI 幻觉指数”的评估标准。该指数通过检索增强生成 (RAG) 技术对 22 个开放和封闭的大型语言模型进行测试，为模型提供不同长度的文档信息（短：<5k tokens，中：5-25k tokens，长：40-100k tokens），并评估其准确性。

重要性：

• AI 准确性显著提升： 与 2023 年的研究相比，今年顶级模型的幻觉现象大幅减少。例如，2023 年排名第一的 GPT-4 得分为 0.76，而今年 Claude 3.5 Sonnet 的得分高达 0.97。这表明 AI 技术正在快速发展，其可靠性也得到显著提升。

• 不同模型表现各异： Claude 3.5 Sonnet 在处理长短文本方面均表现出色，而 Gemini Flash 1.5 则在中等长度文本上得分最高，并在准确性与成本方面取得了良好的平衡。

• 文本长度影响模型表现： 研究发现，模型在处理中等长度文本时，幻觉现象最少。这表明为 AI 提供适量的信息可以提高其准确性，而信息过少或过多都可能导致幻觉增加。

我们在想：

• 虽然 AI 幻觉现象有所减少，但在医疗、法律等对准确性要求极高的领域，仍需谨慎使用 AI 工具，并辅以人工核查。

• 未来，随着 AI 技术的不断发展，我们可以期待 AI 模型的准确性和可靠性进一步提升，并在更多领域发挥重要作用。

实用建议：

• 使用 AI 工具时，尽量提供中等长度的文本信息 (例如相当于一本书中典型章节的长度)，以减少 AI 幻觉的可能性。

• 在关键决策中，不要完全依赖 AI 生成的内容，务必进行人工核查和确认。