AI 使用研究要改你的路线图？先审计它到底有多独立

Anthropic 刚刚为真实 Claude 使用方式打开了一扇新窗口。Stanford、Oxford 和 METR 的三个外部研究团队各自设计研究问题，Anthropic 则用隐私保护方法，为每个团队分析了约 25 万条来自 2026 年 4 月至 5 月的 Claude.ai 或 Claude Code 对话。合作方拿到聚合结果后独立分析，而且即使结论对 Anthropic 不利，也有权发表。

这比“厂商自己选问题、分析私有日志，再发布一张好看的图表”明显更独立。但它仍不等于外部研究者掌握原始数据、能够完整复现实验流水线，也不等于研究对象就是你产品里的目标客户。

这个区别对 AI 应用构建者和小型产品团队很重要。创始人看到“人们会监督 Agent”“新模型可能更省时间”或“用户正在把重要任务交给 AI”，很容易立刻改变审批流程、自动化范围、定价或产品定位。

研究本身可能很优秀，你的产品决定却仍然缺乏依据。样本再大也修复不了人群错配；作者来自外部，也不能独立核验他们从未见过的数据；隐私保护分类器既能揭示重要模式，也会引入测量误差。

本文提供一份可复用的研究独立性收据，把“独立”拆成四层：谁决定研究问题，谁控制数据，谁能检查和复现方法，谁控制发表。我们会用它审计 Anthropic 这次试点，说明哪些判断成立、哪些不能成立，并给出一个具体产品场景、YAML 模板和决策矩阵。目的不是否定厂商支持的研究，而是让你只在证据真正覆盖的范围内使用它。

Anthropic 这次研究试点改变了什么

真实 AI 使用研究一直有一个难解的取舍。模型厂商能看到产品里的真实使用行为，却往往同时控制数据访问、研究设计和发表。外部研究者可以自由分析公开数据集，但公开数据可能偏向随意聊天、公开提示词或类似 benchmark 的互动，未必代表付费产品里的日常工作。

Anthropic 的外部独立研究试点尝试拆开其中一部分权力。Stanford 的 Social and Language Technologies Lab 研究任务重要性、人的主导权和协作摩擦；Oxford 的 Human Information Processing Lab 研究用户体验与 Claude 行为；METR 研究真实场景下 coding agent 的生产力。

每组研究者自己提出问题，Anthropic 再通过原名 Clio 的 Anthropic Insights，在独立抽取的样本上运行这些问题并生成隐私保护的聚合结果。

合作协议是这次发布里很重要的一部分。根据项目的12 页附录，Anthropic 的合同审查权仅限于用户隐私、可能帮助违反使用政策的信息、公司机密和研究准确性。除此之外，合作方自行决定研究内容，并可发表让 Anthropic 不舒服的结论。

限制也同样关键：外部研究者从未接触原始对话或用户标识。原始数据和计算始终留在 Anthropic 的服务器上；Anthropic 在分享前人工审查了每个聚类，也因安全原因删除或概括了部分输出。外部隐私审计人员尝试从发布的聚合数据中重新识别用户，但没有成功。不过，这项审计并不会把聚合结果变成可直接检查的原始证据。

这不是藏在脚注里的缺陷，而是整个设计本身。隐私和独立性并没有通过一个开关同时拉满，而是被分配到了研究流程的不同环节。

看图表之前，先把几个术语说清楚

下面五个概念很容易被混在一起。

• 真实使用数据来自正在运行的产品互动，而不是合成 benchmark。它并不会自动代表所有用户、套餐、市场或部署方式。
• 独立研究表示厂商之外的主体控制了一个或多个关键研究决定。它不是非黑即白的标签；问题、数据、分析和发表可以拥有不同程度的独立性。
• Facet（研究切面）是研究者写下、再应用到每条对话的问题，例如用户在完成什么任务，或用户保留了多少控制权。
• Cluster（聚类）把相似的 facet 回答归在一起，再由模型生成标签和描述。聚类是对对话的解释，不是一组可供研究者打开阅读的原始记录。
• 可推广性指一项发现能否合理延伸到样本之外的人群、产品版本、时间窗口和测量流程。

对创始人来说，最稳妥的理解是：使用研究是一种建立在产品日志之上的测量工具。日志有自己的样本人群，工具有自己的假设，研究者拥有特定程度的控制权，论文则提出具体主张。四者都说清楚以后，才轮到你判断这个结果对产品意味着什么。

用四层“研究独立性收据”拆开判断

不要只问“这是不是独立研究”。请填写下面四行。

这四层不是一个“四项全绿就一定为真”的评分表。隐私敏感研究可能故意限制原始数据访问，却把较强的问题权和发表权交给外部团队。一个完全公开的数据集也可能给足数据权和方法权，但根本不代表商业用户。收据的作用，是告诉你信心来自哪里，以及你自己的产品验证必须从哪里开始。

每份收据还要补上三个字段：

1. 人群边界： 套餐、产品、地区、是否选择加入、时间和排除项。
2. 测量边界： 哪些标签来自人工观察、机械计数、模型判断或分析推断。
3. 决策边界： 这份证据最多可以影响到哪一级产品动作。

把这份收据用在 Anthropic 试点上

Anthropic 这次试点值得肯定，恰恰因为很多边界都可以检查。发布的数据集说明包含合作方收到的聚合输出、不同配置文件、聚类字段、数量、置信区间、交叉 facet 列、限制条件和 CC BY 4.0 许可。

小团队可以这样记录：

因此可以做出一个有边界的判断：外部研究者真正获得了问题、分析和发表方面的控制，而原始数据访问与执行仍由 Anthropic 控制。

赞助关系也必须写进收据。Anthropic 选择首批团队时，部分依据是已有合作关系和信任；所有 Anthropic Insights 运行费用由其承担，并在需要时提供用于 WildChat 迭代的 API credits。这些安排让试点得以发生，也意味着合作方选择和研究基础设施并不独立于数据持有者。资金来源不是干预的证据，但如果不记录，就会隐藏一个重要依赖。

这并不支持不加限定地说“研究完全独立”，也不支持反过来说它只是一篇厂商软文。真正有价值的信息，是控制权到底如何分配。

如果一项发现主要依赖轮数、时长这类机械计数字段，聚合结果可能足以支持有限的描述性判断。如果结论依赖 Claude 判断任务是否成功、用户是否沮丧或任务有多重要，那么无法检查底层对话就会显著降低证据上限。

隐私保护访问会改变“什么可以被核验”

隐私保护研究是在解决真实问题。原始对话可能包含个人资料、客户机密、代码、凭据、健康或财务背景，也可能包含用户从未预期会交给外部研究者阅读的内容。“把全部日志公开”不是负责任的默认答案。

Anthropic 的 Clio 说明描述了多层保护：自动抽象、最小数量阈值、聚合、层级聚类，以及对过度具体内容的最终检查。新试点又加入人工聚类审查和第三方重新识别测试。附录定义了隐私伤害，假设攻击者完全知道公开方法，也列出红队可使用的数据和旁侧信息。

保护隐私的代价，是证据存在一个上限。研究者可以看到聚类标签、描述、规模、相关聚合字段和不确定性，却不能打开十条底层对话，判断一个奇怪标签究竟代表整个群组、一个特别显眼的样本，还是某个措辞有问题的 facet。他们无法直接裁定一条“任务成功”分类是否错误，也不能在同一原始样本上随意追加问题重新运行。

因此要分开两种核验：

• 隐私保证： 发布结果会不会暴露个人、小群体、组织或敏感行为？
• 测量保证： 发布结果是否准确测量了结论中命名的概念？

所以收据必须写清楚审计对象。“经过第三方审计”这句话并不完整。要记录审计测的是隐私、安全、统计分析、标签准确性、抽样、因果推断，还是发表完整性。

样本再大，也修复不了错误的人群

每项研究约有 25 万条对话，足以发现小型访谈很难看到的模式。样本量能降低某些抽样不确定性，却不会让样本自动代表你的付费客户。

数据集说明明确写到：试点包含 Free、Pro 和 Max 使用，不含 Team、Enterprise 或 API 客户数据；Claude Code 样本来自选择允许 Anthropic 将数据用于模型改进的消费者用户。每项研究都是 2026 年 4 月至 5 月固定窗口的一次性快照，各团队使用不同样本。此后产品、模型、政策和用户行为都可能变化。

假设你的应用服务医院运营团队，并通过 API 集成运行。在选择加入的 Claude Code 消费者样本中发现的模式，可以提示一个值得研究的失败方式，却不能估计医院用户遇到它的频率。两边的任务、监督方式、组织激励、数据保留要求和后果都不同。

采取动作前，先填一张人群迁移表：

只要有两个或更多维度属于高风险，就应把外部发现视为“提出假设的证据”。在改变不可逆产品边界前，先做本地研究。

模型判断数据时，问题措辞可能直接变成结果

Anthropic 对这个失败模式说得相当直接。研究者写下一个 facet，Claude 为每条对话回答，开放式回答再被整理成模型命名的聚类。如果问题强迫模型做判断，那么即使对话没有足够依据，系统也可能给出一个类别。

附录给出了很实用的警告：如果 facet 要求批评每一条对话，即使助手表现正常，模型也可能硬找出问题。试点还删除了一个 Oxford facet，因为错误措辞很可能产生误导性聚类。在 WildChat 上表现正常的问题，到了真实 Claude 流量中也可能失效，因为两边的人群和使用方式并不相同。

数据集说明又增加了一层边界：最初 Clio 验证中，约 3% 的对话无法被所属聚类清楚描述，而且聚类标签倾向突出群组中最令人担忧的例子。更重要的是，当时公开的准确率主要针对“对话主题”一类 facet，不能拿来替新的模型行为或用户情绪标签背书。

这不是用一句“AI 会幻觉”草率否定研究，而是可以定位的测量误差：

1. 要测量的概念本身没有定义清楚；
2. facet 措辞强迫模型选择类别；
3. 评判模型误读对话；
4. 聚类把不同案例放在一起；
5. 标签过度突出少数样本；
6. 分析者把描述性聚类误写成精确比例或因果结果。

一个具体场景：差点让团队删掉审批的研究

假设 CedarOps 是一家六人团队，为小型物业管理公司构建 AI 助手。助手读取维修请求、起草给供应商的消息、建议费用分类，并可以在经理批准后预约维修人员。

创始人读到一项真实使用研究：人们与 AI 协作时通常会主导和监督工作，也会修改输出，而不是原样采用。她据此认为用户已经懂得监督 Agent。为了减少摩擦，团队准备取消发送普通供应商消息前的明确批准步骤。

研究独立性收据改变了这个决定。

团队没有丢掉这项研究，而是把它从授权证据降为设计证据。CedarOps 做出两种原型：传统逐条审批，以及速度更快的合并审批收据，后者明确显示收件人、物业、工单、支出上限和完整消息。团队用 30 个匿名维修场景向 12 名目标用户测试，记录理解程度、发送前纠正、错误收件人尝试、遗漏约束、耗时和用户信心；此阶段没有任何消息真正发出。

如果合并审批在减少时间的同时没有削弱错误发现能力，它才有资格进入一个小规模真实 cohort。外部研究帮助团队提出了更好的产品问题，却没有直接回答“能不能上线”。

复制这份研究独立性收据

一条主张使用一份收据，不要整篇论文只填一张。同一篇论文可能很能支撑描述性结论，却很难支撑因果产品决策。

research_receipt:
  claim: "目标用户能安全监督普通的对外 Agent 操作"
  source:
    title: "Human-AI Collaboration at Scale"
    sponsor_or_data_holder: "Anthropic"
    external_researcher: "Stanford SALT Lab"
    publication_status: "公开研究说明"
  question_rights:
    owner: "外部研究者"
    preregistered_or_frozen_before_results: "如已知则记录"
    vendor_review_scope: [privacy, safety, confidentiality, research_accuracy]
  data_rights:
    source_population: "Claude.ai Free/Pro/Max"
    sample_window: "2026 年 4-5 月"
    sample_size: 249834
    raw_access: false
    sample_selected_by: "Anthropic"
    exclusions: [Team, Enterprise, API]
  method_rights:
    facet_prompts_public: true
    configurations_public: true
    raw_rerun_by_researcher: false
    labels: "由 Claude 判断后聚合"
    uncertainty_reported: true
  publication_rights:
    inconvenient_results_allowed: true
    incomplete_companion_work: "分别检查 Oxford 和 METR 状态"
  transfer:
    target_users: "小型物业管理运营人员"
    target_surface: "CedarOps 对外供应商操作"
    high_risk_mismatches: [population, surface, external_effect]
  allowed_use: "提出假设和设计原型"
  prohibited_use: "删除审批或宣称安全已获证明"
  local_evidence_needed:
    - "目标用户理解测试"
    - "固定场景评估"
    - "错误收件人与遗漏约束比例"
    - "带回滚的小范围生产 cohort"
  owner: "产品负责人"
  review_date: "2026-09-10"

把原始来源 URL、版本和访问日期与收据一起保存。如果后续论文、数据集修订或勘误改变了关键字段，就新建一个收据版本。不要一边静默更新结论，一边继续沿用旧决策记录。

用决策矩阵选择产品动作

产品动作要匹配最弱的相关证据层，而不是最亮眼的标题。

这个原则与 NIST AI Risk Management Framework 的 Measure 部分一致：测试集、指标、不确定性、独立评估者、部署条件和可推广性限制都应被记录。NIST 也指出，独立审查可以减少内部偏见和潜在利益冲突，但它从未说外部作者身份可以抹掉人群或方法限制。

针对自动化评估，NIST 的benchmark 实践草案同样强调有效性、透明度和可复现性。三者彼此独立。一项评估可以很透明地说明为什么无法从原始数据完全复现；这种透明度仍会改善决策，因为它准确告诉你应该在本地补什么证据。

阅读 AI 使用研究时的常见误读

这份收据适合什么，不适合什么

当你评估厂商使用报告、外部研究合作、生产力研究、模型行为分析、安全摘要、客户 cohort 报告或聚合产品遥测时，可以使用这份收据。尤其是在准备改变 AI 应用的审批方式、目标市场、自治程度、定价、onboarding 或信任宣称前，它很有用。

它不能代替统计同行评审、隐私法律意见、研究伦理审查或领域验证。四人创业团队没有必要假装自己能裁定每个模型和抽样选择。收据的作用，是找出哪种不确定性真正影响你的决定，以及什么本地证据可以降低它。

当公开原始对话会违反用户信任或法律时，不要把“必须公开日志”当成独立性的唯一标准。高质量研究可以使用安全数据环境、受审计访问、差分隐私、聚合或其他保护设计。关键在于，论文是否准确说明这些保护让研究者和读者无法检查什么。

它也不是给机构打分的万能榜单。数据权受限的研究仍可能提供罕见且宝贵的证据；完全开放的研究也可能与你的用户毫无关系。要判断的是“主张到决策”的证据链，而不是研究机构声望或绿色勾选的数量。

小团队可执行的 48 小时流程

Anthropic 的试点很有价值，不是因为它已经回答了“人们到底怎样使用 AI”，而是因为它把一个更难的安排公开出来：外部研究者可以在不接触原始私人对话的情况下获得真正的独立性，但最终证据仍依赖厂商运行的测量系统。创始人需要同时保留这句话的两半。前半句代表进步，后半句则是边界，避免一项研究发现被直接包装成没有依据的产品承诺。

参考资料

1. Anthropic：Enabling independent research on how people use Claude
2. Anthropic：Enabling independent research appendix
3. Anthropic 数据集：Enabling independent research
4. Stanford SALT Lab：Human-AI Collaboration at Scale
5. Clio: Privacy-Preserving Insights into Real-World AI Use
6. Anthropic：Clio system overview
7. Anthropic Privacy Center：How Clio protects user data
8. NIST AI RMF：Measure
9. NIST：Practices for Automated Benchmark Evaluations