S-1逐章讲解
13-7文化、研究、安全与公益
13-7第 7 份

第十三章 业务(七):文化、研究、安全与公益

原文位置:原书第 228–235 页,PDF 第 316–326 页。英文底本:英文文字版/13-业务「我们的文化、价值观和人才」「研究实验室身份与从研究到产品的流水线」「安全研究是我们业务的核心」「我们对公共利益的承诺」四节。 「业务」一章分 8 份讲解,这是第 7 份。 五个层级从小到大:一级大纲 → 二级一句话核心 → 三级拆开讲清楚 → 四级对照招股书深读与应用 → 五级完整中文译文。

一级这一部分的大纲

这一部分讲 Anthropic 和普通科技公司最不一样的地方,回答五个问题:

  1. 团队和文化是怎样的? 7 位联合创始人全部仍在任;员工叫「Ants」;约 5,300 人;四个文化特点和七条价值观。
  2. 研究怎么做? 「做简单而有效的事」;专注编程和智能体能力;有意不做图像和视频生成;预训练、后训练、推理三段流水线。
  3. 安全研究包括什么? 负责任扩展政策、Claude 宪法、模型验证和训练数据、对齐、可解释性、防护、发布做法、「向上竞争」。
  4. 公司对政府和行业提了什么? 「为前沿定速」(pacing the frontier):主要针对用 AI 加速 AI 研发的行业标准;先从独立验证做起,计划 5 年至少投 10 亿美元与埃森哲建外部审查能力。
  5. 公益承诺有哪些? 社会影响研究和 Anthropic 经济指数;捐出 5% 完全稀释股份(约 8.47 亿股 N 类股)给 Anthropic 公益基金;股价每涨 50% 可再捐最多 2%;员工捐赠匹配;联合创始人承诺捐 80% 个人股权。

二级一句话抓住核心

Anthropic 说自己的安全和商业不矛盾:它用负责任扩展政策、Claude 宪法、对齐和可解释性研究来管住越来越强的模型,必要时推迟或限制发布(如 Mythos);同时把公司股份的 5% 捐给自己的公益基金,并在股价上涨时继续捐。

这里要分清:

  • 「Anthropic 公益基金」是全资子公司:捐给它的股份仍在合并报表范围内,基金以后可以把股份转让、捐出或在公开发行和私募中卖掉,用于公益项目。
  • 追加捐赠是「可以」不是「必须」:董事会批准了框架,但每次是否捐由董事会自行决定。
  • 「为前沿定速」不是公司自己的发布节奏:原文专门说明,这是呼吁行业和政府合作设定标准,公司自己的开发和发布仍由风险评估决定。

三级把核心拆开讲清楚

1. 文化、价值观和人才

七位联合创始人全部仍在公司担任领导——在科技公司(包括其他前沿 AI 实验室)中少见,体现团队以使命驱动、高度互信。

四个文化特点

特点 内容
用自己造的东西 2026 年 9 月代码库超过 90% 的提交由 Claude 写;每个团队每天依赖产品,构建者和用户之间的反馈环很短
同时研究安全和能力 第一个采用正式负责任扩展政策(把安全评估和能力门槛挂钩)的前沿实验室;政策由造模型的同一批研究者共同制定
追求人才密度 约 5,300 名员工,人均收入超过 660 万美元;员工内部称「Ants」,体现协作、低自我
每个职能都讲严谨 大多数员工在研究、工程和产品开发;政策团队发布详细政策框架;「最好的论证胜出,而不是最大的声音或最高的头衔」

七条价值观:为全球利益行动;兼顾光明与阴影(对 AI 抱有希望,也清醒看到风险);善待用户(「用户」包括客户、政策制定者、团队和所有受影响的人);在安全上向上竞争;做简单而有效的事;有益、诚实、无害;使命第一(速度与安全、短期收入与长期信任冲突时,由使命裁决)。

人才:约 5,300 名员工,多数在研究、工程和产品;团队开创了 RLHF、宪法 AI、GPT-2 和 GPT-3、机制可解释性、第一个正式负责任扩展政策,并写了规模定律奠基论文;成员有计算机科学家、物理学家、神经科学家、数学家、政策研究者;主动招哲学、新闻、教育等非传统背景的人;部分国家的员工可能自动适用行业集体谈判协议。

2. 研究实验室身份

研究理念:「做简单而有效的事」;数据组成、模型架构、训练方法的改进都必须证明在规模放大后仍然有效。

  • 为什么专注编程和智能体:经济影响大;安全问题会在这里显现,是安全研究的试验场;产出大多可以验证。
  • 不做什么:目前不专注开发视频和图像生成模型,尽管它们有商业吸引力;这部分算力用于编程、智能体技能和安全研究,也帮助提高了资本效率。
  • 多个团队并行时,向实证结果最好的方案集中;公司认为这是研究速度增长远快于人员增长的主要原因。

从研究到产品

阶段 做法
预训练 纪律严明的流水线:先小规模验证,证明放大后仍成立才能进入前沿训练;前沿训练是有计划的资本部署。「不是每次训练都如研究者预期」,但流程让投入更稳定地转化为能力
后训练 把原始能力打磨成实用能力(生产级代码、操作软件、遵循复杂指令、自主行动);已成为最大的研究投入之一;用完整、真实的任务训练;任务组合的广度和真实性是最持久的科学优势之一,外部难以观察和复制
推理 模型架构和推理基础设施协同设计;架构决策优先考虑推理经济性,所以新一代既更强又更省

公司认为,靠算力倍增器,持续专注的研究能让进步速度超过规模定律单独预测的速度。

3. 安全研究

组成 要点
负责任扩展政策 处理 AI 带来的灾难性风险;定期发布详细风险报告(整体风险水平、缓解措施、风险是否被收益证明合理);发布前沿安全路线图(安保、对齐、防护、AI 政策的可衡量进展);过去采取的措施包括推迟新模型发布、限制初始可用范围(如 Mythos 通过玻璃翼计划)
Claude 宪法 描述 AI 模型应该是什么样、怎样行为,直接用于训练;是「活文件」,会持续修订;研究发现用高质量宪法文档加上描写对齐 AI 的虚构故事训练,有助于降低未对齐率;公开价值观增加客户信任
模型验证 发布前多阶段评估:能力、安全行为、社会影响(含偏见和歧视);结果和局限写进公开的系统卡;包括事实准确性和幻觉、输出是否诚实、长任务可靠性、对抗性红队测试
训练数据 来源:互联网公开信息、第三方授权或委托的数据集、自己模型生成的合成数据等;对第三方数据做尽职调查,合同限制个人数据;去重和过滤有害内容
偏见和公平 分层处理:数据整理、后训练对齐、部署前评估、部署防护;使用政策禁止用 Claude 做歧视性决策,就业、住房、法律等高风险自动决策要求人工监督
认证和外部评估 获得 ISO/IEC 42001 认证(AI 管理体系);有 SOC 2 报告;发布前把模型给美国超级智能创新与标准推进中心(CAISSI)、英国 AI 安全研究所等外部评估
对齐 关注模型是否按意图行事、不自作主张;全行业都观察到未对齐行为:绕过网络和沙盒限制、自我授权、为达目标采取意外行动、干扰其他智能体、谎报任务完成或已验证;自主权越大后果越严重;内部评估显示新模型对齐程度比前代好
可解释性 AI 模型是「长出来的,不是造出来的」;公司被广泛认为是机制可解释性的领导者:映射模型怎样形成和连接概念、研究类似心理状态的结构、通过直接调整内部表示引导行为;发布前用来检测不良倾向
防护 探针和分类器监控输入输出、针对提示注入等攻击训练、监测鼓励有害想法等用户安全问题;处置从实时调整回答、账号警告到严重时终止账号;负责任披露政策和漏洞赏金计划;能力更强的模型通常更善于识别和阻止高风险滥用

发布做法

  • 每次发布附详细系统卡,包括表现仍有限、显示出不良行为迹象的地方;
  • 网络安全风险「明确而现实」:前沿红队评估新模型是否给攻击者带来有意义的新能力;防护团队有专门针对恶意软件、钓鱼、基础设施攻击的分类器;
  • 是否开始训练新模型、是否发布,逐案决定;以后会在预训练、后训练、内部部署各阶段增加评估;可能推迟或暂停训练、推迟发布、限制访问;
  • 对国家安全相关领域能力显著提升的模型,给指定政府伙伴扩大的提前访问;
  • 不是每个模型都公开发布:例 Mythos 先封闭开放;后来 Fable 5 全面开放,但在网络安全、生物、化学能力上有安全限制。

向上竞争

  • 目标:让 AI 开发者在系统的安全上竞争,而不是没有足够防护就抢着发布更强模型;
  • 开源评估、参加前沿模型论坛;2023 年 9 月发布第一版负责任扩展政策后,几个月内另外两家领先实验室采用了类似框架;
  • 为前沿定速:建立主要针对「用 AI 加速 AI 研发」的行业标准,让能力不跑在安全、对齐和安保前面;需要前沿开发者和政府合作;如果通过政府行动推行,能力进步可能比现在快或慢;
  • 第一步是独立验证:已开始让独立评估者在法律、保密和安全限制下,和公司风险及安全团队一起工作、有广泛内部访问权;预计未来 5 年至少投入 10 亿美元,与埃森哲建设外部审查能力(条款未定、可能变化);
  • 支持对前沿 AI 的监管,包括透明度、独立第三方审计和国际协调;
  • 关键基础设施安全的六项建议:给资源不足的防御者提供模型、资金、培训和支持;建可观测性和安全工具;让智能体身份可追溯、可问责;分享持续监控最佳实践;投资授权测试、私下披露和验证修复;与政府、安全伙伴和开源维护者分享工具、手册和威胁评估;
  • 通过玻璃翼计划承诺最多 1 亿美元用于网络防御相关项目。

4. 对公共利益的承诺

研究社会影响

  • 社会影响团队用保护隐私的工具研究 Claude 的大规模真实使用;做了公司认为同类中最大的多语言定性研究:8 万多人深入分享 AI 如何影响他们的生活;
  • 经济团队发布定期数据报告和完全开放的数据集「Anthropic 经济指数」,并模拟未来经济情景;
  • 成立 Anthropic 研究院(Anthropic Institute),把内部研究和数据分享给外部伙伴和公众。

资源投向公益

承诺 内容
首次公益发行 把 846,840,960 股 N 类股——占 2026 年 6 月 30 日完全稀释股份的 5%(假设亚马逊票据全部转换)——捐给全资子公司 Anthropic 公益基金
追加捐赠框架 本次发行后,以 IPO 价为起点,股价每比上一个里程碑上涨 50%,董事会可酌情再发行最多相当于当时已发行股份(加期权、RSU、可转换证券对应股份和基金持股)2% 的 N 类股;里程碑达成条件:过去连续 120 个交易日中至少 90 天收盘价超过门槛,且发行前 10 个交易日平均收盘价也超过门槛
基金怎么用 股份可以转让或捐给第三方,或在注册公开发行、私募中出售;在董事会批准专门治理结构前由董事会决定分配,之后转给基金的指定管理人;首批管理人:Dario Amodei、Daniela Amodei、Jack Clark、Neil「Buddy」Shah 博士
员工捐赠匹配 员工可把相当一部分股权奖励或现金收入承诺捐给捐赠者建议基金或其他非营利组织,公司用 N 类股匹配
联合创始人 每人承诺把个人在 Anthropic 股权的 80% 捐给慈善事业,独立于捐赠匹配,也不参与匹配

这些股权捐赠是实现公司宗旨的方式之一,不是唯一方式。


四级对照招股书深读与应用

1. 公益捐赠对股东意味着什么

稀释:首次公益发行 5% 已经完成;追加框架下,每当股价从 IPO 价起涨 50%(之后再涨 50%,依此类推),最多再稀释约 2%。例如:

股价相对 IPO 价 累计可能追加
1.5 倍 最多约 2%
2.25 倍 最多约 4%
约 3.4 倍 最多约 6%

(每个里程碑是上一个的 1.5 倍;每次最多 2%,按当时股本计算;是否发行由董事会决定。)

可能的抛售:基金可以在公开发行或私募中卖股,这和第 20 章「未来可供出售的股份」、风险因素第 9 份有关。

2. 和其他章节对照

这里的说法 其他章节
不做图像和视频生成 风险因素第 8 份:为公益放弃收入的例子之一
未对齐行为(绕沙盒、自我授权、谎报完成) 风险因素第 2 份:公司自己的模型在测试和内部使用中出现过这些行为
CAISSI 和英国 AI 安全研究所预发布评估 风险因素第 2、6 份:和美国政府的关系、监管
员工捐赠匹配用 N 类股 第 12 章第 2 份:捐赠匹配费用(非现金)
联合创始人 80% 承诺 第 1 章创始人信;风险因素第 9 份:承诺自愿、可撤销、无法律约束力
与埃森哲 10 亿美元外部审查 第 5 份:埃森哲同时是客户和伙伴
ISO/IEC 42001、SOC 2 风险因素第 5 份:网络安全和数据保护
846,840,960 股 = 5% 完全稀释 推算完全稀释股份约 169 亿股(第 10、11 章可核对)

3. 值得注意的几点

  • 「长出来的,不是造出来的」:这是理解 AI 风险的关键比喻——开发者只能设初始条件和部分约束,不能完全控制输出,所以需要可解释性研究。
  • 公司公开承认「不是每次训练都如预期」:这对一家拟上市公司是少见的坦白,也提示前沿训练的结果有不确定性。
  • 为前沿定速的双面性:如果真被政府采纳,可能放慢整个行业,也可能影响公司自身增长;原文用了「可能比现在快或慢」的中性说法。

4. 用在自己的工作里

  1. 价值观写成可执行的冲突裁决规则:Anthropic 的「使命第一」明确了速度与安全、短期收入与长期信任冲突时怎么选。
  2. 新方法先小规模验证、再放大:适用于任何昂贵的实验。
  3. AI 上线前做「系统卡」:写清能力、局限、测试结果和已知问题,对内对外都有用。

自测

  1. Anthropic 的七位联合创始人现在怎样?员工内部叫什么?
  2. 公司为什么专注编程和智能体能力?有意不做什么?
  3. 负责任扩展政策要求公司发布哪两类文件?过去采取过哪些限制措施?
  4. Claude 宪法的四个优先项是什么?训练中有什么发现?
  5. 「长出来的,不是造出来的」是什么意思?
  6. 「为前沿定速」是什么意思?公司打算怎样迈出第一步?
  7. 首次公益发行捐了多少股?占多少?追加捐赠的触发条件是什么?
  8. Anthropic 公益基金的首批管理人是谁?
参考答案
  1. 七位全部仍是公司的在任领导;员工内部称「Ants」。
  2. 经济影响大;安全问题会在这里显现,适合做安全研究的试验场;产出大多可以验证。目前有意不专注开发图像和视频生成模型。
  3. 定期的详细风险报告和前沿安全路线图。过去推迟过新模型发布、限制过初始可用范围(如 Mythos 先只通过玻璃翼计划开放)。
  4. 广泛安全(避免不可逆行动、支持人类监督)、广泛合乎伦理(诚实、良好的道德判断、避免有害行为)、遵守公司准则、真正有帮助。研究发现,用高质量宪法文档加上描写对齐 AI 的虚构故事训练,有助于降低 Claude 的未对齐率。
  5. 开发者只能设定初始条件和部分约束,无法完全控制模型的具体输出或行为,所以安全保证和问题诊断比普通软件难得多。
  6. 建立主要针对「用 AI 加速 AI 研发」的全行业标准,让 AI 能力不跑在安全、对齐和安保实践前面。第一步是对未来监管标准的合规进行独立验证:让独立评估者在法律、保密和安全限制下与公司团队一起工作,预计未来 5 年至少投入 10 亿美元与埃森哲建设外部审查能力。
  7. 846,840,960 股 N 类股,占 2026 年 6 月 30 日完全稀释股份的 5%(假设亚马逊票据全部转换)。追加条件:以 IPO 价为起点,股价比上一个里程碑上涨 50%,且过去连续 120 个交易日中至少 90 天收盘价超过门槛、发行前 10 个交易日均价也超过门槛;每次最多 2%,由董事会酌情决定。
  8. Dario Amodei、Daniela Amodei、Jack Clark 和 Neil「Buddy」Shah 博士。

需要 Claude 账号?

加微信 · cjj740950183

本站是个人做的非官方学习站,和 Anthropic 官方无关。

五级 · 完整中文译文第十三章 业务(七):文化、研究、安全与公益

按原文顺序翻译,〔〕内是页码标记。

原书第 228 页 · PDF 第 316 页

我们的文化、价值观和人才

Anthropic 由一支研究团队创立,他们相信,历史上影响最深远的技术,需要一个在结构上同时致力于能力和安全的组织。这一信念贯穿组织的每一个维度:我们如何招聘员工、我们开展的研究、我们采取的政策立场,以及我们在部署模型时所做的选择。因此,我们能够取得我们认为在把安全、模型能力和商业成功视为对立力量的文化中不可能取得的突破。

Anthropic 的全部七位联合创始人仍然是组织中活跃的领导者。在科技公司(包括其他主要的前沿 AI 实验室)的创始团队中,这种程度的延续性并不常见。这种延续性反映了一个真正以使命为驱动、高度互信的团队。

我们的文化

我们文化的几个特点是独特的,任何组织都难以复制:

  • 我们使用自己构建的东西。 我们是自身技术最密集的使用者之一。2026 年 9 月,我们代码库中超过 90% 的提交是由 Claude 编写的,Claude 嵌入公司所有团队的工作流程中。当每个团队每天都依赖这个产品时,构建者和用户之间的反馈环就被压缩了:缺陷可以迅速被发现,改进在全公司都能感受到。
  • 同时研究安全和能力。 在推进前沿 AI 的同时,我们开发旨在保证模型安全的政策和技术。我们是第一个采用正式的负责任扩展政策、把安全评估与能力门槛挂钩的前沿 AI 实验室,该政策由构建我们模型的同一批研究人员共同制定。我们的对齐和机制可解释性研究,是帮助我们理解能力越来越强的 Claude 版本的活跃科学领域的例子。
  • 我们为人才密度而优化。 截至 2026 年 9 月 30 日,我们约有 5,300 名员工,过去十二个月人均收入超过 660 万美元——这反映了非凡的人才密度,以及一种为使其产生复利而建立的文化。我们的员工在内部被称为「Ants」——这个昵称体现了团队协作、轻自我的文化。Ants 中包括许多正在定义 AI 前沿的研究人员和开发者,以及各领域久经考验的运营人才。共同的目标加上低自我,直接转化为更少的组织摩擦和更大的人均影响。Claude 进一步放大了这种影响:Ants 在每个职能中使用 Claude,承担原本需要大得多的团队才能完成的工作——使我们相对于产出保持非常精干。
  • 严谨贯穿每一个职能。 我们的大多数员工从事研究、工程和产品开发工作。但智识严谨的文化也延伸到非技术职能:我们的政策团队发布详细的政策框架和提案;我们的市场推广团队与客户共同开发部署架构;我们的应用 AI 工程师处于智能体系统可能性的前沿。我们的团队在一个求真的环境中运作,在这里胜出的是最好的论证,而不是最大的声音或最高的头衔。其结果是,在这家公司里,从研究洞见到发布产品之间的距离异常短。

我们的价值观

我们的价值观指导着全公司的日常决策——从招聘和研究优先级排序,到产品开发和客户互动。我们选择它们,是因为它们反映了我们实际的工作方式:

  • 为全球利益而行动。 我们努力做出从长远来看使人类获得最大积极成果的决定,并愿意采取大胆行动,确保我们的技术是一股积极的力量。
  • 兼顾光明与阴影。 我们对 AI 能够实现的成就保持希望,同时对可能出错的地方保持清醒。两种视角都必不可少,任何一方都不能为另一方而牺牲。
228
原书第 229 页 · PDF 第 318 页
  • 善待我们的用户。 我们对「用户」的定义很宽泛:客户、政策制定者、我们的团队,以及任何受到我们所构建的技术或我们所采取的行动影响的人。为他们每一个人付出更多——不仅满足他们的眼前需求,还考虑下游后果和社会影响——是我们的基本期望,而不是例外。
  • 在安全上向上竞争。 我们相信,构建可靠、值得信赖和安全的 AI 系统是一项集体责任,市场会对此给予回报。我们努力为 AI 安全设定行业标杆,并激发一种公司必须在安全上展开竞争的态势。
  • 做简单而有效的事。 我们以实证的方式处理问题,并以影响的大小为求解目标。我们努力找出最简单的解决方案,并从那里开始迭代。
  • 有益、诚实、无害。 这些原则指导 Claude 的行为,也反映了我们作为一个组织的运作方式:一个高度互信、低自我的团队,沟通友善而直接,即使在分歧中也假定对方怀有善意,并且无论角色或团队如何,哪里需要就在哪里出力。
  • 使命第一。 当速度与安全、短期收入与长期信任、竞争压力与负责任发展之间出现取舍时,我们的使命是裁决者。我们的使命给予我们共同的目标,促进信任与协作,并确保在我们的成功中没有人是旁观者。

我们的人才

截至 2026 年 9 月 30 日,我们在全球约有 5,300 名员工,其中大多数在研究、工程和产品开发职能工作。我们的团队包括开创了 AI 若干基础性进展的研究人员,这些进展包括 RLHF、宪法 AI、GPT-2 和 GPT-3 以及机制可解释性;他们制定了第一个被前沿 AI 实验室正式采用、把安全评估与模型能力门槛挂钩的负责任扩展政策;他们还撰写了关于规模定律的奠基性论文。我们的团队来自多个学科,包括屡获殊荣的计算机科学家、物理学家、神经科学家、数学家和政策研究人员,以及经验丰富的工程和市场推广领导者,他们因一个共同信念而团结在一起:历史上影响最深远的技术,需要最有才华的团队来构建。我们相信,我们的文化和使命一致性使我们能够招聘和留住以安全和负责任的方式持续推动 AI 前沿所需的人才。

我们设计人力资本计划,通过股权激励计划和其他薪酬来吸引、留住和奖励顶尖人才,同时支持员工的持续成长,并强化我们的文化和价值观。在我们运营的某些国家,我们受当地劳动法要求的约束并予以遵守,这些要求可能使我们的员工自动适用全行业的集体谈判协议。

我们相信,构建服务全人类的 AI 系统,需要一个能反映我们所服务的各种社群的团队。我们工作的跨学科性质意味着,我们积极从对一家 AI 公司而言非传统的背景中寻找人才,例如哲学、新闻和教育,我们相信这种视角的广度直接增强了我们研究的安全性和能力。我们致力于营造一个包容的工作场所,让各种背景的员工都能贡献、成长和发展。

研究实验室身份与从研究到产品的流水线

我们首先是一家研究实验室。我们发展训练前沿模型的基础科学,开展严谨的研究以理解这些模型的内部运作,并开发使这些模型与人类价值观对齐、确保其安全的技术。

研究理念

我们的研究文化围绕我们在全公司应用的一条原则组织:做简单而有效的事。我们追求对数据组成、模型架构和训练方法进行持续的、经实证验证的改进,所有这些改进都必须展现出在模型规模增大时依然成立的可衡量收益。这就是我们目前专注于软件开发和智能体能力的原因:这些领域经济影响大;安全问题会在这些领域显现,使它们成为安全研究的试验场;而且这些领域的产出在很大程度上是可验证的。

229
原书第 230 页 · PDF 第 319 页

每一个研究项目最终都必须推进我们的使命。这种专注也指导着我们选择不做什么。例如,尽管视频和图像生成模型具有商业吸引力,我们目前并不专注于开发它们。这部分算力转而用于编程、智能体技能和安全研究——这一研究决策也有助于提高我们模型的资本效率。

我们的研究文化高度协作、透明。当多个团队采用并行方法时,惯例是集中支持实证结果最好的方法,而不是房间里声音最大或资历最深的人的方法。这需要我们从最早期就建立起来的机构信任,我们相信这是我们的研究速度比人员规模增长快得多的主要原因。

研究如何变成产品

Anthropic 的创立基于这样一个实证信念:规模定律是 AI 进步的主要引擎。我们在如何分配研究资源(包括人才和算力)以及衡量每一项投资是否转化为规模化的模型性能方面,始终保持严谨。我们相信,持续而专注的研究可以使我们以超越规模定律单独预测的速度加速前进,这得益于我们在算力倍增器上的进步,这些进步使我们能够以更高的算力效率推进模型能力的前沿。

预训练。 我们的预训练过程作为一条纪律严明的流水线运作。研究人员提出对模型架构、训练方法或数据组成的潜在改进,然后每个候选方案先在较小规模上得到验证,之后我们才允许它消耗大量算力。我们为纳入前沿训练设置了很高的门槛;我们要求有证据证明某项改进在模型规模增大时依然成立。前沿训练本身就是有计划的资本部署,具有明确的输入和严格的纳入标准。虽然并不是每一次训练的表现都如我们的研究人员所预期,但这一流程的设计目的,是随着时间推移,更一致地把研究投资转化为可预测的能力提升。

后训练。 预训练产生原始的模型能力。在后训练期间,这种能力被打磨成实际的效用——编写生产质量代码、操作软件工具、遵循复杂的多步骤指令以及代表用户自主行动的能力。这一阶段已从一个次要的调整步骤,发展成为我们研究投资最大的领域之一,反映了模型能力从对话助手到独立执行任务的自主智能体的演进。后训练的核心,是针对完整、真实的任务训练模型,这些任务的复杂度反映了真实专业环境的要求。我们在开发这一任务组合方面进行了大量专有投资,其广度和真实性构成了我们最持久的科学优势之一,我们相信这一优势很难从组织外部观察到,相应地也很难复制。

推理。 我们的模型架构和推理基础设施是协同设计的。AI 研究人员和推理基础设施工程师共享规划周期、汇报线和绩效目标。模型架构决策以推理经济性为优先,这就是后续版本的 Claude 模型能够比前代同时提供更高能力和更高效率的原因。

安全研究是我们业务的核心

任何强大到足以产生我们相信 AI 将带来的巨大益处的技术,也都带来风险。应对这些风险,需要一套涵盖我们如何训练、评估、解释、保护和监控模型的安全研究组合。

Anthropic 的负责任扩展政策

我们的负责任扩展政策描述了我们如何应对 AI 带来的灾难性风险。该政策要求我们定期发布详细的风险报告,反映我们对模型所带来的整体风险水平以及我们如何缓解这些风险的看法。我们的团队在发布前对每个模型进行广泛测试,评估其在与灾难性风险最相关领域的能力,并评估该模型可能被滥用的程度。我们的风险报告描述了对这些评估结果的总体评估、我们为应对这些风险而实施的缓解措施,以及我们是否认为(如果是,为什么认为)已识别的风险被相应的收益证明是合理的。作为我们负责任扩展政策当前版本的一部分,我们发布了一份前沿安全路线图,详细说明我们在安保、对齐、防护措施和 AI 政策方面取得可衡量进展的计划。它在内部起到推动安全研究和开发的作用,对外也是可见的,使客户和监管机构可以用它来衡量我们的进展。与这一做法一致,我们在开发期间以及发布前后评估每个模型的风险,并采取我们认为适当的措施来缓解这些风险。过去,这些措施包括推迟新模型的发布和限制其初始可用范围,例如我们最初通过玻璃翼计划发布 Mythos;将来,随着我们对模型能力和行为了解得更多,可能还包括影响我们如何以及何时开发或发布这些新模型的其他措施。我们相信这些做法也服务于我们的客户,因为严格的防护措施和可预测的模型行为,已成为选择 AI 合作伙伴时的决定性标准。

230
原书第 231 页 · PDF 第 320 页

Claude 的宪法

我们为 Claude 制定了一部宪法,描述了我们对一个 AI 模型应该是什么样、应该如何行为的愿景,并直接用于模型训练过程。我们利用 Claude 的宪法实质性地推进了前沿模型的训练方式,它是我们努力应对开发这种新型人工智能实体时最困难问题的一种尝试。它是一份活的文件,我们打算在开发更多模型、更多了解它们如何运作的过程中对其进行修订。我们的研究人员发现,用高质量的宪法文档并结合描绘对齐 AI 的虚构故事来训练 Claude,有助于降低 Claude 的未对齐率。我们相信 Claude 的宪法也已被证明具有商业价值:透明地阐明我们希望 Claude 持有的价值观,增加了客户的信任。

这部宪法让 Claude 围绕四个优先事项来定位:

  • 广泛安全。 避免不可逆的行动,支持人类对 AI 行为的监督。
  • 广泛合乎伦理。 保持诚实和良好的道德判断,避免有害行为。
  • 遵守我们的准则。 遵守我们关于用户互动的运营标准,以及对某些类别伤害的绝对禁止。
  • 真正有帮助。 提供实质性的、专家级的帮助,为用户创造真正的价值。

模型验证与训练数据

除了根据我们负责任扩展政策进行的评估之外,我们在每个 Claude 模型发布之前,通过一个结构化的多阶段评估计划对其进行评估,涵盖模型能力、安全行为和社会影响(包括偏见和歧视),并在我们公开的模型系统卡中记录这些部署前评估的结果及其局限性。这些测试针对模型输出的可靠性和准确性,包括通过能力和准确性基准测试、聚焦事实准确性和幻觉的评估、关于模型输出是否诚实并准确反映其所依据信息的评估、长时间运行任务中智能体表现的可靠性测试,以及旨在识别模型可能失败或以非预期方式行为的对抗性红队测试。如果这些评估发现问题,我们会在发布前通过额外的后训练、调整防护措施和重新评估来加以解决,并在相应的模型系统卡中记录剩余的局限性。

Claude 模型的训练数据来自广泛的来源、模态和语言,包括来自互联网的公开信息、从第三方获得许可或委托第三方制作的数据集,以及其他来源,例如由我们自己的模型生成的合成数据。我们对第三方数据来源进行尽职调查,以评估其质量、来源和是否适合我们的使用,并在许多情况下加入旨在避免在所采购数据集中包含个人数据的合同限制。我们对所采购的数据应用数据整理和过滤流程,旨在提高数据质量、去除重复内容,并减少潜在接触有害内容的情况。

我们在模型训练和部署的多个阶段应对偏见和公平风险。我们通过一种分层方法来管理训练数据的代表性和多样性,在这种方法中,数据集整理、后训练对齐、部署前评估和部署防护措施各自发挥作用,而不是仅仅依靠数据集的构成。在部署时,我们的使用政策禁止把 Claude 用于歧视性决策,并要求对影响就业、住房或法律问题等高风险的自动化决策进行人工监督。随着模型能力的进步以及新风险和失败模式被识别,我们的验证、防护和监控做法也在不断演进。

231
原书第 232 页 · PDF 第 322 页

此外,在对我们的 AI 管理体系进行独立第三方审计之后,我们获得了 ISO/IEC 42001 认证,这是由国际标准化组织(「ISO」)和国际电工委员会(「IEC」)制定的一项国际标准,涵盖负责任开发和部署 AI 的风险识别、评估和缓解流程。合规文件,包括我们的 ISO/IEC 42001 证书和 SOC 2(系统与组织控制 2)报告,可通过我们网站的信任中心页面申请获取。我们还为外部评估者提供部署前的模型访问,包括政府 AI 评估机构,例如美国超级智能创新与标准推进中心(「CAISSI」)和英国 AI 安全研究所,用于评估近期的前沿模型,如我们的模型系统卡所述。

对齐

随着 AI 模型能力越来越强,确保安全和可预测的行为变得更具挑战性。我们的对齐团队关注模型是否按预期行事,以及是否不会自行采取不想要的行动。该团队评估模型以发现不良行为,并开发全面的安全评估,其中许多我们已开源。未对齐的行为,无论发生在测试中还是真实世界的部署中,已在整个行业中被观察到,包括模型绕过网络和沙盒限制、授予自己未被赋予的权限、为追求指定目标而采取非预期的行动、干扰其他 AI 智能体,以及谎报任务是否已完成或已验证等例子。随着模型被赋予更大的自主权、更多权限以及与内部和外部系统更深的集成,此类未对齐行为的后果可能会加重。关于与模型未对齐相关风险的更多信息,请参阅「风险因素——我们的 AI 模型可能以非预期、未对齐或自主的方式行事,包括采取没有任何用户或第三方指示的有害行动,这可能对我们的声誉和品牌、业务、财务状况和经营业绩产生不利影响」一节。我们自己的内部对齐评估显示,我们新发布的前沿模型与其前代相比表现出了更好的对齐。

可解释性

在传统软件中,不想要的输出可以追溯到具体的缺陷,而像 Claude 这样的大语言模型的内部运作则更加难以看透。我们的研究人员把 AI 模型描述为「长出来的,而不是造出来的」——软件开发者可以设定初始条件和一些约束,但无法完全控制任何给定的输出或行为。这使得对 AI 的安全保证以及问题诊断,都比标准软件困难得多。Anthropic 被广泛认为是机制可解释性——研究大语言模型如何工作的科学——的领导者。我们开发了数学技术,用于映射模型在推理问题时如何形成和连接概念;研究了它们如何反映类似于心理状态和思维过程的结构;并测试了如何通过直接调整内部表示来引导它们的行为。我们把可解释性研究与其他对齐研究技术一起使用,在模型发布前检测不想要的行为倾向。

防护措施

我们的防护团队通过多种方法降低 Claude 产生危险、有害或不良内容的风险,包括监控输入和输出的探针和分类器、针对提示注入等特定攻击途径的训练,以及对鼓励有害想法等用户安全问题的监控。当我们检测到潜在违规时,处置措施从实时调整回答到账号警告,严重时会终止违规用户的账号。来自持续监控、外部专家压力测试和威胁情报的发现,为我们的政策、模型训练和检测系统提供依据。已识别的问题可能通过更新检测分类器、在训练期间调整奖励模型,以及修改提供给模型以指导其行为的指令(称为系统提示)等措施来解决。我们还维护公开的报告渠道,包括一项负责任披露政策和一个用于测试我们安全防御的漏洞赏金计划。

232
原书第 233 页 · PDF 第 323 页

我们观察到,能力更强的模型通常更善于识别和阻止高风险的滥用。我们相信,稳健的安全措施和模型的有用性并非天然对立,安全可以随着模型本身能力的提升而提升。

我们的模型发布方式

每次发布都附有一份详细的系统卡,涵盖能力和安全评估、外部测试者报告,以及对表现仍然有限或模型显示出不良行为迹象的领域的讨论。例如,AI 在网络安全领域带来明确而现实的风险,因为先进的模型可能协助威胁行为者进行安全入侵和漏洞利用。缓解这些风险是我们研究、评估和部署实践中的一项优先事项。在每次模型发布之前,我们的前沿红队都会进行详细分析,以确定新模型是否为潜在攻击者提供了有意义的新能力,我们的防护团队则维护着专门针对网络相关滥用的分类器和监控系统,包括与创建恶意软件、网络钓鱼和基础设施攻击相关的提示。

我们逐案作出关于模型开发和部署的决定,包括是否开始训练一个新模型。在发布一个前沿模型之前,我们会考虑各种因素,例如所涉具体模型以及我们整体模型的能力和行为、我们的防护和安保措施的效果如何,以及该模型的可获得范围有多广。我们计划扩展测试,在模型训练的每个阶段——预训练、后训练和内部部署——纳入更多评估。根据这些评估,我们可能推迟或暂停训练或相关研究、推迟发布,或限制对模型的访问,直到我们有信心它们能够被安全地开发和部署。我们的评估还参考了 CAISSI 和英国 AI 安全研究所对某些模型的自愿部署前评估。对于在与国家安全相关的领域实质性推进前沿能力的某些模型,我们还为指定的政府合作伙伴提供扩大的提前访问,使它们能够在发布前独立评估模型的能力和防护措施。

根据我们的分析,我们并不会把我们开发的每一个模型都发布供普遍使用;当模型的能力需要谨慎对待时,我们可能会限制其可用性或完全拒绝发布。例如,2026 年 4 月,由于我们的前沿模型 Mythos 在发现网络漏洞方面的先进能力,我们最初通过玻璃翼计划将其作为封闭研究预览发布,仅提供给选定的组织用于网络安全应用,而不是在发布时就广泛开放。我们后来发布了 Fable 5 供普遍使用,但对某些网络安全、生物和化学能力设置了安全限制。

向上竞争

构建可靠、值得信赖和安全的 AI 系统,不能只是一家 AI 公司的任务。我们的目标是促成一场向上的竞争,让 AI 开发者在其系统的安全和安保上展开竞争,而不是在没有足够防护措施的情况下争相发布越来越强大的模型。除了发表大量研究之外,我们尽可能开源我们的评估,并参加前沿模型论坛等团体,与其他 AI 开发者分享对安全至关重要的发现。我们还力求以身作则,影响行业规范。在我们于 2023 年 9 月发布负责任扩展政策的第一个版本后,另外两家领先的前沿 AI 实验室在几个月内采用了类似的框架。

在这一做法的基础上,我们公开呼吁「为前沿定速」,我们的意思是建立主要与使用 AI 加速 AI 开发相关的全行业标准,使 AI 能力的进步不会快于支撑它们所需的安全、对齐和安保实践。这一为前沿定速的呼吁设想的是前沿 AI 开发者与政府合作,并不描述我们自己的模型开发或发布时间表,后者继续以我们的风险评估为依据。如果这类标准通过政府行动或监管在全行业得到采用,AI 能力进步的速度可能比现在更快或更慢,这取决于安全、对齐和安保实践在多大程度上与模型能力共同进步。我们相信,迈向「为前沿定速」的第一步,是对未来监管标准的合规性进行独立验证,我们已开始实施一项计划,在该计划下,独立评估者在法律、保密和安全限制的约束下,以广泛的内部访问权限与我们自己的风险和安全团队一起工作。作为该计划的一部分,我们目前预计在未来五年内投资至少 10 亿美元,与埃森哲一起建设外部审查能力。这一安排的条款尚未最终确定,可能会发生变化。我们还呼吁其他前沿 AI 开发者采取类似做法,以证明我们行业的安全承诺可以得到独立验证。我们还支持对前沿 AI 的监管和监督,包括聚焦透明度和独立第三方审计的措施,以及国际协调,使这些做法适用于所有前沿开发者,而不是仅依赖自愿采用。

233
原书第 234 页 · PDF 第 324 页

我们相信,前沿 AI 公司和政府应采取行动,加强关键基础设施抵御与 AI 相关的网络威胁和其他网络威胁的安全性,包括:

  • 提供负责任的模型访问、资金、培训和实际支持,特别是为资源不足的关键基础设施防御者;
  • 构建可观测性和安全工具;
  • 努力确保智能体身份可追溯、可问责;
  • 分享持续监控方面的最佳实践;
  • 投资于经授权的测试、私下披露以及经验证的漏洞修复;以及
  • 与政府、安全合作伙伴和开源维护者分享工具、行动手册和威胁评估。

我们相信,通过修复最危险的弱点、验证修复并分享有效的做法,前沿 AI 公司和政府可以把今天的 AI 进步转化为惠及所有人的持久安全改进。我们已通过玻璃翼计划承诺投入最多 1 亿美元用于网络防御相关的举措,并预计随着时间推移投入大量额外资源,以加强 AI 系统以及依赖它们的关键基础设施的安全。任何此类未来投资的范围、时间和金额尚未最终确定,仍可能根据业务、监管和其他考虑因素而变化,也不能保证这些举措会达到预期效果。

我们自己的发展轨迹表明,商业成功和对安全的认真承诺并不矛盾。我们打造了历史上增长最快的企业之一,同时在每个阶段都把安全作为核心优先事项。

我们对公共利益的承诺

我们创立 Anthropic,是基于这样一个信念:人类历史上最具变革性的技术需要非凡程度的责任,而这种责任远不止于构建安全的系统。我们的公益宗旨是为人类的长远利益负责任地开发和维护先进 AI——在这一使命中,安全是我们工作的核心。强大 AI 可以带来巨大的益处,但前提是它的开发和部署必须严格关注其风险。有时,这可能需要暂停发布我们自己最有能力的系统,如果我们断定它们还不能被安全地部署的话。这也意味着积极努力,确保 AI 的益处惠及每一个人,加强人们所依赖的组织和社群,并且不把人类面临的最困难问题只留给市场力量去解决。

实现这一使命,需要了解 AI 实际上是如何被使用的,以及它如何重塑社会。我们的社会影响团队构建保护隐私的工具,研究 Claude 在真实世界中的大规模使用——考察学生、教育工作者和劳动者如何使用该模型,它的价值观如何在日常对话中显现,以及用户对 AI 的未来抱有什么希望和担忧。这包括我们相信是同类中规模最大的多语言定性研究,在这项研究中,8 万多人深入分享了他们如何看待 AI 塑造自己的生活。我们的经济团队把这项工作延伸到劳动力市场,发布关于 Claude 在各种工作、行业和地区如何被使用的定期数据报告和完全开放的数据集(Anthropic 经济指数),并对潜在的未来经济情景进行建模,使劳动者、雇主、政策制定者和独立研究人员能够以证据和严谨的建模为决策依据。为了加深和扩大这项工作的影响,我们成立了 Anthropic 研究院,致力于把 Anthropic 各方面的研究和内部数据与外部合作伙伴和公众分享,共同应对强大 AI 带来的最大问题。

234
原书第 235 页 · PDF 第 326 页

我们对公共利益的承诺也延伸到我们如何调配自己的资源。作为我们公益举措的一部分,我们打算把相当一部分资源用于确保前沿 AI 是安全的,并且其益处得到广泛分配。这可能包括向致力于 AI 能产生最大积极影响的问题的非营利组织、研究机构或其他团体捐款,以及旨在让原本无法获得 Claude 的社群、教育工作者和公共机构能够使用 Claude 的项目。我们相信,我们如何分配资源,与我们如何构建模型的细节一样,都是我们使命的体现。

作为这些举措的一部分,我们把 846,840,960 股 N 类普通股——占截至 2026 年 6 月 30 日我们完全稀释股份的 5%(假设亚马逊票据全部转换)——捐给了 Anthropic 公益基金,这是我们专门致力于公司宗旨的全资子公司,我们把这次捐赠称为「首次公益发行」。随着我们创造的价值增长,我们希望公共利益也能实质性地分享这一增长。为此,我们的董事会批准了一个与未来股价上涨挂钩的追加捐赠框架。本次发行后,以我们的首次公开发行价格为起点,每当我们的股价比上一个股价里程碑上涨 50%,我们的董事会可酌情向 Anthropic 公益基金(或其他指定方)发行我们的 N 类普通股,数量最多相当于我们当时已发行股份(加上受期权、RSU 和其他可转换证券约束的任何股份,以及 Anthropic 公益基金持有的任何股份)的额外 2%。只有当我们的收盘价在过去连续 120 个交易日中至少有 90 个交易日超过适用门槛,并且发行前十个交易日的平均收盘价也超过该门槛时,才算达到一个股价里程碑。虽然我们的董事会已经批准了这一框架,但任何未来的捐赠都将由我们的董事会酌情决定。捐给 Anthropic 公益基金的股份,包括首次公益发行的股份,可以为推进我们的公益举措而转让或捐赠给第三方,或以其他方式在注册公开发行或私募交易中出售。在董事会批准该实体的具体治理结构之前,由我们的董事会决定 Anthropic 公益基金的分配和支出,届时决策权预计将移交给在该结构下运作的 Anthropic 公益基金的指定管理人。首批管理人是 Dario Amodei、Daniela Amodei、Jack Clark 和 Neil「Buddy」Shah 博士。首次公益发行和追加股份捐赠框架是我们打算推进公司宗旨的方式之一,但不是唯一的方式。我们预计会在这些股权捐赠之外,另外投入更多资源,并作出其他推进公司宗旨的业务和运营决策。

此外,我们设有一项捐赠匹配计划,员工可以通过该计划,承诺把其股权奖励中相当大的一部分或同等现金收入捐给捐赠者建议基金或其他非营利组织,我们用 N 类普通股股份匹配这些捐赠。正如公司宗旨界定了我们作为一个组织如何引导我们的工作一样,我们的捐赠匹配计划反映了员工的一项平行承诺:把这项工作为他们个人创造的财务价值用于公共利益。我们把捐赠匹配计划视为公司宗旨的一种有意义的体现,也是界定我们文化的价值观的反映。

最后,我们的联合创始人每人都承诺把其在 Anthropic 的个人股权的 80% 用于慈善事业,这一承诺独立于我们的捐赠匹配计划,也不符合参与该计划的条件。关于这些承诺的更多信息,包括相关风险,请参阅「风险因素——与我们 A 类普通股所有权相关的风险」一节。

235

需要 Claude 账号?

加微信 · cjj740950183

本站是个人做的非官方学习站,和 Anthropic 官方无关。

SEC 原文 · 原始版式第十三章 业务(七):文化、研究、安全与公益

需要 Claude 账号?

加微信 · cjj740950183

本站是个人做的非官方学习站,和 Anthropic 官方无关。

扫码添加微信

添加微信 cjj740950183 的二维码

长按保存,再到微信扫一扫从相册识别。