Anthropic 比其他人工智能公司花费更多时间和金钱的一个利基市场称为机械可解释性，这意味着深入研究人工智能模型的复杂数学，以了解为什么它会产生一种特定的输出，而不是另一种。这是很复杂的事情；有数百万个数据点可能对任何结果都有贡献，而费力地浏览它们可能看起来更像是文字沙拉，而不是任何有用的东西。这也是有争议的。用借用心理学和神经科学的术语来描述人工智能模型，可以使它们的行为看起来比我们想象的更加复杂。
这就是为什么当 Anthropic 上周宣布它找到了一个了解模型“内部思想”的新窗口，因为他们通过答案进行推理时，我必须与一位同事交谈。高级编辑威尔·道格拉斯·天堂 (Will Douglas Heaven) 除了拥有计算机科学博士学位外，还花费了大量时间来深入研究人工智能模型如何工作。我和他讨论了我们应该从 Anthropic 的新（而且可以预见的古怪）研究中得到什么。
Anthropic 到底在这里学到了什么？
几年来，Anthropic 一直在尝试了解大型语言模型 (LLM) 的工作原理。 Anthropic 并不是唯一一家关注这一问题的公司，但我认为该公司比大多数公司都将其作为其核心使命的一部分。 Anthropic 的首席执行官 Dario Amodei 表示，除非我们更多地了解法学硕士的运作方式，否则我们将无法完全控制法学硕士。
所以这项新研究就是在这种背景下进行的。它比以往任何时候都更深入地探讨了法学硕士内部的奇怪机制。 Anthropic 了解到，LLM 内部有一个空间（Anthropic 称之为 J 空间），其中充满了未出现在其输出中但似乎会影响他们解决问题的方式的单词。所有这一切都被隐藏起来，直到 Anthropic 开发出一种新技术来探测其模型克劳德，所以这是一个真正的发现。
有时，这些单词会跟踪法学硕士在特定任务中的进展情况，有时它们看起来更像是识别的闪光（例如，当您只向法学硕士提供蛋白质序列的字母时，“蛋白质”可能会弹出），有时它们代表了对模型决策的一种内部评论。在我最喜欢的例子中，当“恐慌”一词出现时，克劳德决定在编码测试中作弊。
Anthropic 还发现法学硕士能够描述和操纵这个空间中的单词。所以他们似乎在某种程度上利用了它。
让我们退后一步。我不认为大型语言模型是 简单的，但它们也不是魔法。有很多数学可以学习单词之间的关系，对吗？那么，为什么“窥探”法学硕士以了解发生了什么如此困难呢？
#Anthropic #的最新人工智能发现展示了什么以及没有展示什么