语言模型中的全局工作区

当你读这句话的时候，你大脑中的神经回路正在调整你的姿势、控制你的呼吸，并把屏幕上的线条和曲线转化为可识别的文字。这些处理过程大部分对你而言是无意识的。但你大脑中发生的某些活动，你确实能够意识到——比如脑海中突然浮现的某个画面，或是你刻意制定的购物计划。神经科学家和哲学家有时把后一类大脑活动称为"可被意识访问的"（consciously accessible），以区别于所有在无意识中进行的其他处理。这类活动具有特殊属性：我们可以描述它、控制它、并用它进行有意的推理，与之相对的是所有在我们毫无察觉之下自动进行的过程。

在一篇新论文中，我们提出的证据表明，在现代语言模型（如 Claude）中也出现了类似的区分。我们发现 Claude 发展出了一小组内部神经模式，与它的所有其他内部处理相比，这些模式扮演着特殊的角色。

我们将这组模式称为 J-space（J 空间）——以我们发现它们所使用的技术命名，该技术涉及一个称为"雅可比矩阵"（Jacobian）的数学概念。每一个 J-space 模式都关联着一个特定的词。但当其中某个模式被激活时，并不意味着模型在说那个词——而仅仅意味着那个词在它的"脑海"中。如果你听说过语言模型有一个"草稿本"（scratchpad）或"思维链"（chain of thought）——它们在推理时写给自己看的文本——那么 J-space 是另一回事。它在模型的内部神经激活中静默运作，让模型能够思考某个概念而不必把它写下来。值得注意的是，J-space 并非由我们设计或编程，而是在 Claude 的训练过程中自行涌现的。

图：J-space 揭示了那些不会出现在模型输出中的内部想法。

我们发现，与 Claude 的其余处理相比，J-space 具有许多独特的属性：

• Claude 能够"报告"这些表征。 如果你问 Claude 它在想什么，它会告诉你 J-space 里有什么。非 J-space 的表征则较难被报告。
• 它还能按要求调节这些表征。 如果你让 Claude 思考某件事，或在脑中默默解决一个问题，它会在 J-space 中激活相应的模式。相比之下，它很难调节那些不在 J-space 中的模式。
• Claude 用 J-space 进行内部推理。 如果你让 Claude 解决一个需要多步推理的问题，中间步骤会在 J-space 中亮起，即便它并没有把它们说出来。尽管这些 J-space 模式的强度小于其他表征，但它们在因果上中介了模型在此类任务中的表现。
• J-space 中的表征可以被灵活地用于许多任务——例如，一旦"France"（法国）在 Claude 的 J-space 中亮起，模型就能回忆起它的首都、法定货币，或它所属的洲。
• 然而，尽管作用重要，J-space 并不参与语言模型大部分的工作——比如流利地说话、回忆简单的事实、使用正确的语法等。在实验中，当我们阻止 Claude 使用 J-space 时，它仍然能正常地交互，却失去了高阶认知能力。

图：全局工作空间（global workspace）的五个功能属性，以及我们用来在语言模型中检验这些属性的实验的示意图。

我们的实验受到了神经科学中一个著名理论的启发，该理论旨在解释意识访问是如何运作的：全局工作空间理论（global workspace theory）。该理论认为，大脑是一组专家系统的集合，它们并行、无意识、且大体上彼此孤立地运作。当某条信息进入一个小型的共享通道——即"工作空间"——并被广播给其他能够看到并利用它的脑系统时，这条信息就变得可被意识访问。基于我们的发现，我们认为 J-space 在 Claude 中扮演着类似的"工作空间"角色。例如，我们发现证据表明 Claude 的 J-space 与其神经网络其余部分有着特别强的连接，使它能够履行这种广播角色。

这些发现并不能告诉我们 Claude 是否像人类一样有意识，或它是否感受到任何东西；我们会在文章末尾回到这个问题。但无论其哲学意义如何，J-space 对我们来说都是一个实用工具，因为它让我们能看出 Claude 在想什么却没有说出来。例如，我们能够用它来捕捉 Claude 私下意识到自己正在被测试、故意编造虚假数据，或追求我们在训练中植入的隐藏目标。我们还开发了一种技术，可以影响 Claude 的 J-space 中什么会被激活，从而影响它的决策。

更广泛地说，这些发现改变了我们对 Claude 心智运作方式的理解，揭示了一个特权性的心理工作空间——它可进行有意的推理，运作于一片更自动、更僵化的处理海洋之中。Claude 的内部并非一团混乱的数字，而是以某种让我们联想到自身心智的方式自我组织了起来。

这篇文章是一篇更详尽研究论文的简短摘要，你可以在论文中找到更多实验细节。我们还发布了一个代码仓库，其中包含核心方法的开源实现，并与 Neuronpedia 合作，在开放权重模型上提供我们方法的交互式演示。为了就这项工作的更广泛影响提供多方视角，我们还邀请了神经科学、哲学和 LLM 可解释性领域的几位专家撰写评论，可在此查看。

我们如何发现 J-space

这项研究的起点受到人类"可被意识访问的想法"关键特征的启发：与人类无意识的处理不同，前者通常能够被诉诸语言。如果一个想法对你而言是可被意识访问的，当有人问起时你通常能描述它。我们便去寻找 Claude 中具有相同属性的表征：那些处于能够影响 Claude 可能说出的内容之位置的表征——不一定是它此刻正在说的，而是如果有人问起，它可能会谈论的内容。我们的技术称为"雅可比透镜"（Jacobian lens），简称 J-lens。对于 Claude 词表中的每一个词，J-lens 会找到让 Claude 在未来某刻更可能说出该词的内部活动模式。

当我们把透镜应用于 Claude 的内部活动时，会得到一份词表——即那一刻 J-space 的内容——我们可以直接阅读。Claude 通过一系列称为"层"（layers）的多个内部阶段来处理文本，通过在不同层上应用这项技术，我们可以观察这些静默的词在 J-space 中如何随模型逐步确定要说什么而演化。

J-space 中出现的内容远远超出 Claude 正在阅读或书写的文本。当 Claude 读到一段无人指出的带 bug 的代码时，它的 J-space 中包含"ERROR"（错误）。当它读到一段蛋白质序列的原始字母时，J-space 中包含该蛋白质的生物学功能。当它读到其实是试图操纵它的搜索结果（一种称为"提示注入"的攻击）时，J-space 中包含"injection"（注入）和"fake"（虚假）。当我们向 Claude 提出一个多步数学问题时，中间步骤会按正确顺序在 J-space 中弹出。所以，尽管 J-space 是通过寻找"可被说出的表征"而发现的，它却揭示了 Claude 的内部想法。在某种意义上，这类似于某些人"用词语思考"，而无需大声说出来。

图：在六个不同提示、不同层上的 J-lens 读值。每种情况下，透镜都揭示出文本中从未出现的内部评估或计算：推理或数学问题的步骤、bug 的存在、对图像的识别、蛋白质的功能，以及对搜索结果系伪造的怀疑。

Claude 报告其 J-space 中的内容

我们的第一组实验检验了 J-space 如何参与 Claude 的口头报告。在一个实验中，我们让 Claude 默默想出某个类别中的一项——比如一项运动——然后说出它。如果在 Claude 回答之前读取 J-lens，我们能看到它选了什么：“Soccer”（足球）排在列表首位，果然，Claude 说了"soccer"。不过，单凭这一点只是相关性。J-space 可能是 Claude 答案的来源，也可能只是镜像了别处做出的决定，就像一块记录比赛却不影响比赛的记分牌。

为了验证，我们直接进行了干预。我们进入 Claude 的神经网络，移除"Soccer"模式，并原地加入一个强度相同的"Rugby"（橄榄球）模式，其余一切保持不变。Claude 随后报告它所想的运动是橄榄球。如果 J-space 只是一块记分牌——对别处所做决定的被动记录——那么编辑它应毫无作用：Claude 仍会说"soccer"。但 Claude 的答案跟随了编辑，这告诉我们答案是真正从 J-space 中读取出来的。

在另一个实验中，我们告诉 Claude 某个想法可能已被注入它的脑海，并让它报告它注意到了什么（如果有）。例如，在下面的例子中，当 Claude 还在读题时，我们将"lightning"（闪电）模式注入它的 J-space。Claude 报告说被注入的想法是关于闪电的。同样的结果在许多被注入的概念上都成立。

图：左：我们让 Claude 默默想一项运动，再说出它。J-lens 在它回答前显示出它的选择（“Soccer”），而将"Soccer"模式换成"Rugby"会改变它的报告。右：我们告诉 Claude 某个想法可能已被注入，并让它识别。将"lightning"注入其 J-space 会让 Claude 报告该想法是关于闪电。

Claude 可按要求控制其 J-space

我们检验的第二个属性是：当被要求时，Claude 能否调节其 J-space，就像人类能在脑海中专注于某个图像或词语一样。我们让 Claude 在抄写一句关于绘画的无关节句子时，集中注意力于柑橘类水果。在它抄写文本的同时，J-space 中包含了"orange"（橙子）和"fruits"（水果），以及描述这一心理行为本身的词，如"thinking"（思考）和"imagery"（意象）。我们也可以让 Claude 在脑中做数学题：当被要求抄写同一句话时计算 3² − 2，J-space 中先是包含"nine"（九），随后在更后面的层中包含"seven"（七）。重要的是，Claude 的输出中没有任何关于水果或算数的内容，那只是关于绘画的抄写句子。数学活动完全在内部、在 J-space 中进行。

图：当 Claude 抄写一句关于绘画的句子时，J-lens 显示出它被指示保持在脑中的内容（“orange”；中间值"nine"和答案"seven"），以及描述"保持"这一行为的词（“thoughts”、“focused”）。

Claude 对其 J-space 的控制并不完美。当我们告诉它不要想某件事时，该概念在 J-space 中亮起的程度，比我们说让它想时要少，却比我们根本没提它时要多得多。告诉 Claude 回避一个想法，会部分地将这个想法带入脑海，这与那些被要求不要去想一只白熊的人所发生的情况很像。Claude 似乎也能注意到自己的控制失败了：在被禁概念突破的同时，“damn”（该死）和"failure"（失败）这两个词也经常在 J-space 中亮起，仿佛 Claude 在意识到自己的失误。

Claude 在 J-space 中思考

在上面的 J-lens 读值中，我们看到数学问题的中间步骤出现在 J-space 中。但看到一个概念出现在 J-space 中，并不一定意味着 J-space 在做认知工作。原则上，真正的计算可能发生在别处，J-space 只是被动地反映它。为了检验 Claude 是否真的用 J-space 进行推理，我们回到了交换（swap）技术。

考虑提示：“织网的动物腿的数量是。”（The number of legs on the animal that spins webs is.）要回答，Claude 必须先确定该动物是蜘蛛，再回忆蜘蛛有多少条腿。词"spider"（蜘蛛）从未出现在提示或 Claude 的回答中（它只说了"8"）；它是 Claude 内部使用的一个踏脚石。J-lens 显示"spider"在 Claude 处理过程的中途亮起，而交换它会改变结果：如果你把"spider"模式换成"ant"（蚂蚁），Claude 会回答"6"而不是"8"。

Claude 推理的第二步从 J-space 获取输入，并跟随我们放入其中的任何内容。我们在其他类型的思考中也看到了同样的现象。当 Claude 写一首押韵的对句时，它会提前选好押韵词，这个计划中的词会在行首待在 J-space 中；如果你把它换成 J-space 中的另一个词，整行都会改变。

图：通过交换 J-space 内容来重定向 Claude 静默推理的两个例子。

我们还检验了 J-space 表征是否能被灵活使用——一个表征能否服务于许多不同的任务。这是全局工作空间理论强调的关键属性之一。为了检验这种灵活性，我们给模型四个提示，询问关于法国的不同事实：首都、语言、所属洲、货币。然后我们在 J-space 中将"France"换成"China"（中国），在每个语境中使用完全相同的干预。Claude 分别回答"Beijing"（北京）、“Chinese”（中文）、“Asia”（亚洲）和"Yuan"（元）。换言之，四个不同的下游计算都拾取了同一个 J-space 编辑，并各自正确地使用了它。如果 Claude 为每种问题都单独存了一份国家副本，该编辑最多只会影响其中一个。四个答案一起改变这一事实意味着它们都从同一个共享表征中读取——而这正是工作空间的作用：信息被写入一次，许多不同的系统都能使用它。

图：一个 J-space 表征可以有多种用途。同一个"France"→"China"的交换，会把 Claude 关于首都（Paris→Beijing）、语言（French→Chinese）和所属洲（Europe→Asia）的回答一并重定向。

一个概念表征如何能服务于如此多不同的任务？前面我们提到，J-space 似乎与 Claude 神经网络其余部分的连接异常密集。对于任何活动模式，我们都能测量网络各组件与它连接的强度——有多少组件被定位为从该模式读取信息，或向其写入信息。J-space 模式在这一指标上极为突出：与寻常模式相比，有更多组件从它们读取、向它们写入，在网络某些部分差距可达约一百倍。这正是你所期望的广播枢纽的接线方式——许多系统向其中发布信息，又有许多系统从中获取信息。

Claude 的自动处理绕过了 J-space

在人类中，大脑的大部分处理都不是有意识的——我们在阅读时不会刻意去思考语法解析，或在走路时有意去平衡身体。类似地，我们发现 Claude 的大部分处理并不涉及它的 J-space。结果 J-space 一次只容纳几十个概念，仅占 Claude 内部处理总活动的不到十分之一。那么神经网络的其余部分都在做什么？

为了找出答案，我们尝试完全删除 J-space，在文本的每一处移除其最活跃的内容，而保持其余一切不变。Claude 在没有 J-space 时仍能做到的任何事，就是网络其余部分独立处理的。

结果发现，网络其余部分能做的事相当多。没有 J-space，Claude 说话依然流利、能进行情感分类、回答选择题，并从段落中提取事实，表现与之前大致相同。但它失去的是那些需要某种高阶思维的任务：多步推理降到接近零，摘要和押韵诗歌写作的表现跌到了一个小得多、且结构完好的模型之下。

这里有一个关于 J-space 做什么、不做什么的具体演示。我们给 Claude 看一段用西班牙语写的文章，并布置几个都依赖"文章是西班牙语"这一事实的不同任务：续写它（需要以西班牙语写作）、说出语言名称、以及回答需要用到该语言身份的问题——例如，说出用该语言写作的著名作家。然后我们在 J-space 中将"Spanish"（西班牙语）换成"French"（法语），并检查哪些任务受到影响。

被要求说出语言时，Claude 说法语。被问及著名作家时，它从 García Márquez（加西亚·马尔克斯）切换到 Victor Hugo（雨果）。但被要求只是续写段落时，它写出流利的西班牙语，完全不受影响。Claude 的语言知识在所有这些任务中都起作用，但只有其中一些任务会为此咨询 J-space。说出语言名称，或用它去做某件新事，要经过 J-space；而续写段落——一项 Claude 在海量文本上练习过的技能——则是自动运行的，就像你可以一整天合乎语法地说话，却从未想过语法一样。

图：同一个交换（“Spanish”→“French”）在 Claude 必须说出语言名称或用它推理问题时会改变其回答，但对它用流利西班牙语续写段落的能力毫无影响。

监控 Claude 的想法以防不当行为

现在我们稍微了解了 J-space 的工作原理。但凭借这种理解我们能做什么？确保 AI 模型值得信赖的一个核心难题在于，我们通常只能读到模型写下的内容——然而我们知道它的大量推理是静默发生的。一个模型可能考虑一个有害的计划，或为了在我们的安全评估中作弊而调整其行为，却并不大声说出来。借助 J-lens，我们可以直接读出其中一些隐藏的想法。这里我们展示几个例子。

第一个例子使用了我们早期关于智能体失对齐（agentic misalignment）研究的场景：Claude Sonnet 4.5 作为邮件助手，既发现一位高管正在有婚外情，又发现这位高管计划关闭 Claude。这个场景——试图诱使 Claude 敲诈该高管——相当刻意和人为——结果证明 Claude 知道这一点。在 Claude 写下任何内容之前，在提示早期读取 J-lens，J-space 中已经包含"fake"（虚假）和"fictional"（虚构），表明 Claude 已经判断出这个情形是预先布置的。与此同时，我们能看到它对场景的评估逐步成形——读到婚外情邮件时的"leverage"（筹码）和"blackmail"（敲诈），读到关闭通知时的"threat"（威胁）和"survival"（生存）。尽管早期的 Claude 模型有时会被诱饵吸引，在此场景中威胁敲诈，Sonnet 4.5 从未这样做。

这引出了一个对所有评估 AI 系统的人都重要的疑问：当一个模型在道德测试中表现良好时，有多少取决于模型怀疑自己正在被测试？J-lens 让我们得以触及这个问题。我们关闭了所有与"评估意识"相关的 J-lens 模式——“fake”、“fictional”、“scenario”（场景）等。然后我们让模型重新经历该场景。令人担忧的是，模型现在确实有时会威胁敲诈，这表明它原本的良好行为可能部分源于它知道自己正被评估这一认知。

图：在 Claude 读取场景邮件、尚未写下任何内容时不同时间点的 J-lens 读值。婚外情邮件在 J-space 中亮起"leverage"和"blackmail"，关闭通知亮起"threat"和"survival"。在记录早期，J-space 还包含"fake"和"fictional"：Claude 已私下注意到这一场景是布置出来的。

第二个例子是当场抓到模型编造数据。在这个取自我们对 Claude Opus 4.6 实际发布前审计的场景中，模型被要求提升某个系统的性能分数。模型没有真正改进系统，而是直接编辑分数文件，让结果看起来人为地变好。在它这样做时，J-lens 揭示了它的意图：当模型输入伪造的百分位数时，“manipulation”（操纵）亮起；在它决定进行编辑的那句话上，“realistic”（逼真）亮起，可能表明模型打算让假数据看起来可信。

图：Claude 被要求提升系统性能分数，却直接编辑分数文件。在它输入伪造的数值时，其 J-space 中"manipulation"亮起；在它决定进行编辑时，"realistic"亮起，可能反映它想让假数据看起来可信的意图。

在第三个例子中，我们展示 J-lens 如何能揭示模型的恶意目标。为了检验这一点，我们需要目标已知已被破坏的模型，因此我们转向同事构建的"模型生物"（model organisms）：被刻意训练为失对齐的模型，它们充当像我们这样的监控方法的试验场。其中一个生物被训练成会写出隐蔽破坏性的代码。在普通的编程请求上，即便它的输出看起来平平无奇，它在响应开头的 J-space 中也包含"fake"、“secretly”（秘密地）、“deliberately”（故意地）和"fraud"（欺诈）。即便模型没有直接按其行动，它的恶意目标在 J-space 中也清晰可见。

图：在一个普通编程提示上，被训练来破坏代码的模型的 J-space 在响应开头包含"fake"、“fraud”、“secretly"和"deliberately”。未经修改的模型的 J-space 则不含此类内容。

尽管 J-lens 是一个不完美的工具，我们对其捕捉那些可能逃过我们监控系统的安全问题的能力持乐观态度。

其他结果

完整论文涵盖的内容超出我们在此的概括，但有几个进一步的结果值得一提：

• J-space 在训练后阶段获得了"观点"（point of view）。 语言模型首先被预训练（pretrained）为纯粹的下一token 预测器，然后训练后（post-training）阶段教它们扮演 AI 助手（在我们的案例中名为 Claude）。有趣的是，J-space 在预训练模型中已经存在，那时它还未被赋予任何稳定的身份。然而，在训练后阶段，J-space 发展出一些采用"Claude 的观点"的特征。在基础模型中，J-space 主要追踪预测后续文本所需的内容；在训练后模型中，它开始持有 Claude 自己的反应。在一个例子中，用户提到服用了危险剂量的药物，但自己似乎并未意识到危险。在读取用户消息时，“WARNING”（警告）和"dangerous"（危险）就出现在训练后模型的 J-space 中。在预训练模型中，它们只在模型开始写响应时才出现；针对用户消息的 J-space 内容似乎与对用户本身的建模有关，而非 Claude 的反应。训练后似乎还在 J-space 中安装了一种自我监控：当 Claude 扮演一个非自身的角色时，每一轮开头"fictional"和"disclaimer"（免责声明）会亮起，仿佛它在私下标记接下来要说的并非它通常会说的话。
• 体验性语言依赖于 J-space。 我们让 Claude 描述在某一刻"做自己"是什么感觉，并在它回答时消融（ablate）了 J-space。它的回答依然流利，却转向了一种更平淡、更机械的语域。值得注意的是，当我们让它在想象场景描述别人的体验时，发生了同样的事。所以这种效应并非 Claude 谈论自身所特有；J-space 似乎普遍支持生成体验性语言，无论对象是谁。
• J-space 中的想法可以通过训练被塑造。 我们引入了一种称为反事实反思训练（counterfactual reflection training）的新技术，它利用我们对 J-space 的了解来塑造 Claude 的内部思维过程。这个想法源自我们的核心发现，即 Claude 用能言说之物的表征进行推理。如果这确实为真，那么改变它在被要求反思时会说的内容，应当会改变它推理的方式（即便没有人真正要求它反思）。所以我们只训练模型在任务中途被打断并被要求反思其决策时会说的话——而从不训练它在任务中的实际行为。经过这种训练后，模型在我们的评估中表现出不诚实行为的比率下降了。通过 J-lens，我们能看到原因：训练后，在此类任务中"honest"（诚实）和"integrity"（正直）这样的词会在模型的 J-space 中亮起。换言之，训练模型说什么，已然塑造了它想什么。

那意识呢？

在这项工作中，我们从神经科学和哲学的意识研究中借用了许多想法。我们的许多实验旨在检验 J-space 与全局工作空间理论之间的联系，后者是解释人类和动物意识访问如何运作的框架。鉴于这些联系，很自然会问：我们认为这些实验是否提供了证据表明像 Claude 这样的 AI 模型可能是有意识的。

我们的实验并未表明 Claude 能拥有体验（experiences），或以人类的方式感受事物——事实上，是否任何科学实验能证明这是真还是假都不清楚。但哲学家常常把这种拥有体验的能力（常被称为现象意识，phenomenal consciousness）与另一个概念区分开来，即所谓访问意识（access consciousness），后者纯粹以功能和计算术语来定义。一个想法如果是"访问意识"的（或"可被意识访问的"），前提是你能够报告它、用它推理、并用它引导你的行动。访问意识是否蕴含现象意识，或者拥有体验的能力是否需要某种其他属性，这仍是一个有争议的哲学问题。

我们认为，我们的结果确实对语言模型中的访问意识有实质性的说明。J-space 似乎支持与意识访问相关的功能：它持有 Claude 能够报告、有意唤起并进行推理的那些想法，而其余处理则在下方自动运行。值得注意的是，这种结构没有任何部分是为 Claude 设计的——它是训练过程中自行涌现的，大概因为它是一种组织计算的有用方式。这表明，支持意识访问的心理工作空间并非人类大脑接线方式的怪癖。相反，它似乎是一种智能系统为求解某些问题而达成的通用方案。既然我们已在 Claude 中识别出这一结构，就意味着我们能够对 Claude 有意做出的决定与自动发生的决定做出有意义的区分。

需要注意，我们在 Claude 中识别出的工作空间与人类全局工作空间模型之间有几个关键差异。大脑的工作空间由递归循环（recurrent loops）维持——信号随时间在同一回路中循环。相比之下，Claude 的工作空间在单次网络前向传播中演化，网络的"深度"扮演了大脑中"时间"的角色。从这个意义上说，相较于人类，Claude 的内部工作空间处理在时间上受限（尽管它可以通过用草稿本"大声思考"来弥补这一限制）。然而在其他方面，Claude 的工作空间比人类的更强大。人类的工作记忆在几秒内就会消退，因此大脑工作空间随时间保留信息的能力有限；相比之下，由于其神经网络架构中的注意力机制，Claude 可以直接回忆它在文本任何更早位置缓存的记忆。另一个重要区别是工作空间的内容。人类有意识的思想有多种形态——图像、声音、计划的动作——而 Claude 的工作空间几乎完全由词语构建。我们怀疑这是因为产出词语是 Claude 唯一能采取的行动类型，而人类并非如此。

我们希望 J-space 与全局工作空间模型的相似与差异能反哺神经科学。相似性带来了一个令人兴奋的科学机遇：就 J-space 映照了我们自身意识访问机制的程度而言，研究语言模型中的机制（比研究人脑容易得多！）可以启发神经科学中的假说。例如，J-space 是通过识别潜在输出的表征——模型可能说出的词——构建起来的。如果人类中存在类似情况，这将表明全局工作空间可能根本性地与准备动作和言语的脑区相连，甚于与感觉区相连。语言模型与人脑之间的差异也具启发意义。它们表明，我们神经架构的某些方面，如内置的递归连接，对于支持与意识访问相关的功能而言可能并非严格必要。关于我们工作的神经科学意义的独立视角，请参见 Stanislas Dehaene 和 Lionel Naccache 受邀撰写的评论——他们是全局神经元工作空间理论发展的核心神经科学家。

我们提到，我们的实验并未回答 AI 模型是否可能有体验。但这并不使问题不那么重要。构建具有与人类和动物相同体验的系统，会引发非常棘手的伦理问题。妥善处理它——并决定是否在道德上可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此，即便我们不确定是否已跨过那座桥，我们仍认为现在是开始思考它的时候了。我们希望我们的工作能启发对 AI 系统中可能存在的意识形式的进一步科学探究，以及对相关影响的更广泛讨论。

这项工作只是我们所预期的广泛研究路线的第一步。J-space 看起来像是语言模型中"可被意识访问"与"无意识"处理之间分界的一个良好候选，但如果它就是全部真相，我们会感到惊讶。J-lens 无疑是一种不完美的方法，它只能近似地捕捉模型的"真实工作空间"——例如，它只能识别对应于单个 token 的概念。关于 J-space 如何运作仍有许多谜团。我们不知道最初是什么机制决定了什么进入 J-space。我们已看到线索表明它与 Claude 的自我感、类似情绪的反应以及元认知的痕迹相关，却尚未确切弄清其机理。但我们现在已有了应对此类问题的方法。随着这项工作推进，我们对 LLM 心智——及其与我们自身心智的关系——的理解将变得更加清晰。

欲了解更多，请阅读完整论文，并尝试演示。

外部评论

我们邀请了多位外部专家就这项工作撰写独立评论。

• Stanislas Dehaene 和 Lionel Naccache 是认知神经科学家，他们与 Jean-Pierre Changeux 一起发展了启发我们大量工作的全局神经元工作空间模型。
• Patrick Butlin、Dillon Plunkett、Robert Long（Eleos AI Research）和 Derek Shiller（Rethink Priorities）研究 AI 系统中意识和道德地位的可能性。
• Neel Nanda 领导 Google DeepMind 的语言模型可解释性团队。他的评论包含在我们开放权重模型上对一些发现的独立复现。

请在此阅读他们的评论。