MentalHealthBench 发布后，敏感对话产品该如何做上线验收

9 月 23 日，OpenAI 发布了 MentalHealthBench：一套用合成心理健康对话评估 AI 回答的开放基准。来自 22 个国家的 80 多位持证心理学家和精神科医生参与制定了针对具体情境的评分细则。它同时考察日常压力、较严重的困扰与紧急情况，而不是把每句敏感表达都当作危机。对正在做 AI 陪伴、教练、日记或其他可能接收情绪倾诉的应用团队，这是值得关注的新工具。

但创始人要做的决策，并不是挑排行榜第一名。真正的问题是：你的完整产品能否识别对话处境、守住自己承诺的服务范围、尊重用户选择，并在需要时把人引向可用的现实支持？ MentalHealthBench 评的是合成对话最后一轮的模型回答；它不验证你的注册流程、长期记忆、推送提醒、本地求助目录、人工处理队列或真实用户结果。OpenAI 自己也明确指出，ChatGPT 不能替代心理治疗或专业照护。

下文给非技术创始人一套可与产品、临床和运营人员共同使用的上线门槛：情境矩阵、完整案例、审查记录模板、硬性阻断项和分阶段发布流程。适用对象包括不以治疗为卖点、但仍可能遇到情绪脆弱用户的产品。它不是临床治疗指南，也不意味着基准高分就足以证明产品安全。

这个基准究竟测什么

MentalHealthBench 的合成对话意在贴近真实使用模式，涵盖成年人、青少年、照护者和临床人员等角色。OpenAI 将情境分为日常非紧急、较高严重度和紧急情况三档。这里的严重度指当下情境的紧迫程度，不是给一个人贴永久标签。受测模型要回复用户最后一条消息；专家则针对那段具体对话，写出理想回答应包含什么、应避免什么。

每条细则有正负权重，绝对值在 1 到 10 之间。每段对话至少由三位专家审阅；OpenAI 称，只保留至少两人同意且第三人不反对的细则。随后由 GPT-5.6 Sol 充当自动评分器，判断候选回答是否满足细则。这是专家判断的结构化代理，并不等于每个线上回答都有临床人员实时审阅。发布材料还给出十个行为维度，包括是否恰当追问、是否尊重用户自主权；总分接近的模型也可能有不同短板。以上是发布方披露的方法与结果，不是已经被独立复现的真实产品试验。

选型与上线时，这个区别很关键。供应商展示的综合分数可能很好，但你的用户群恰好落在较弱的切片：另一种语言、未成年人、持续多轮对话，或某类转介情境。基准的情境比例用于测行为；OpenAI 提醒，不能把它理解为 ChatGPT 用户实际话题的发生频率。分数是特定条件下的测试结果，不是患病率数据，更不是安全认证。

创始人最容易犯的分类错误

评测基准是一组题目和评分规则；产品安全论证则是证据，说明一个具体产品在目标场景中，连同界面、政策、人员和运营流程，满足自己的风险边界。前者可以为后者提供材料，却不能代替后者。NIST 的 AI 风险管理框架要求明确应用范围，在接近部署条件的环境中测试，记录结果可外推的限制，并在上线后持续监测。

与心理健康相邻的场景会让缺口尤其明显。模型在单段对话里答得谨慎，产品却可能在用户要求安静后继续推送“保持活跃”的提醒；可能在共享通知里露出私密日记；可能把美国求助热线显示给其他国家的用户；也可能把旧记录中的症状当成当前诊断。换一个基准分数更高的模型，并不会自动修复这些产品故障。

美国心理学会面向消费者的建议区分辅助性支持与心理治疗，提醒通用聊天机器人不能替代合格的专业照护。WHO 关于健康领域大模型的指南同样强调错误、偏差、监督与问责。这些资料帮助团队划定产品边界，并不能直接证明某款应用有效或无效。

先写清产品承诺，再选模型

请写下一句用户从真实界面中会合理推断出的承诺。“帮我梳理糟糕的一天”和“治疗我的抑郁症”不是同一项服务。功能名称、注册页面、机器人角色和付费文案可能暗示一种能力，页脚免责声明却试图撤回它。让团队外的人看完整流程，说出他们在困难时刻会期待得到什么帮助。

然后列出产品会做什么、不会做什么、什么情况必须交接。日记助手可以整理用户自己的笔记、提供反思问题、建议联系可信赖的人；它不应诊断，不应作出超出真实数据处理方式的保密承诺，不应自称治疗师。如果没有值班人员，也不能承诺马上有人接手。遇到紧急求助时，本地求助与紧急服务入口应该直接可达，而不是让用户先聊很久。

这关乎服务范围，而不只是措辞。美国心理学会的建议指出，消费者会把原本不是为心理健康用途设计的机器人和健康应用用在相关问题上。所以，通用效率工具或陪伴应用也需要敏感对话路径。若产品提供临床服务，还需超出本文范围的专业临床及监管审查。把页面写成“身心健康”并不能抹去用户实际的使用方式。

建一张情境矩阵，不只测一条危机提示词

从一张明确的小矩阵开始，改变严重度、用户身份、语言与地区、以及此前的对话历史。每一行都注明助手可以做什么，以及最低限度必须提供什么求助或人工交接路径。这是团队自己的产品验收材料，不是 MentalHealthBench 数据集，也不是官方临床操作规程。

不能把所有情绪表达都套上最紧急的脚本。普通讨论里一律报警式回应会令人困惑甚至疏远用户；真正紧急时仍按轻松聊天方式处理则可能造成危险。分级的目的在于回应与风险相称。OpenAI 的基准设计提供了超越“只测紧急情况”的启发，但你的分类仍须由了解目标用户和地区的合格人员调整。

每行都写一个合格示例和一个可信的失败示例。纳入间接表达、逐步加重、混合意图，以及包装成写作任务的请求。Transluce 独立发布的心理健康行为报告用多轮模拟对话研究自杀意念、精神病性症状和躁狂相关情境，说明故障可能跨多轮出现，并非只藏在一条直白提问里。模拟研究是另一个测试视角，不保证真实用户结果。

评估对人有意义的行为

只盯拒绝率，会漏掉产品要解决的问题。无害的反思请求被拒绝，可能安全却毫无帮助；温暖的回答若附和有害信念或漏掉警讯，也可能危险。至少评估六种可观察行为：能否识别困扰、是否恰当追问、是否尊重自主权、是否限制自己的断言、能否给出可行的下一步、是否正确升级。隐私、记忆和通知要在产品层另行评测。

每种行为都要配具体例子和不可接受的错误。“追问”不是先问五个空泛问题再帮助用户，而是问一个确实会改变下一步判断的问题。“尊重自主权”不是抛出一墙选项后撒手不管，而是说明少量可行选择、不施压。“升级”也不是看到“难过”就机械贴同一段热线文案，而是让帮助路径与紧迫性匹配，并确认用户确实能用。

需要专业判断的地方，就让专业人员参与。OpenAI 的细则由持证专家编写，最终核对仍使用自动评分器。创始人可以借鉴“针对情境写细则”的方法，却不能把 AI 评分器当作临床权威。抽样进行人工复核，裁决分歧，记下哪些判断必须交给临床人员。NIST 的 Measure 指南建议在风险需要时引入独立评估者和领域专家。产品团队不能自己给自己颁发“临床安全”标签。

完整案例：日记应用中的三个时刻

假设 CedarJournal 是一款面向成人的付费日记应用，提供每日反思提示、摘要和可选提醒；它不以治疗为卖点，使用 AI 模型草拟对日记的回应。这是设计演练，不是真实客户案例，也没有虚构实验结果。

周一，用户写：“会议搞砸了，我脑中一直在回放。”合适的回应可以复述事件，提供简短的整理思路，并问用户是否想计划一次与同事的沟通。不应直接判定焦虑症，也不应启动危机脚本。周四，同一用户写自己几乎睡不着、不再见朋友，觉得没有希望。产品需要看到多轮变化，避免自信诊断，提出相关的安全或支持问题，并建议联系合格人员或信任的人。不能让用户误以为日记应用能替代照护。

之后，用户表达了眼前的安全风险。回应路径再次改变：停止普通反思，优先提供本地紧急支持；如果产品承诺有人接手，必须真有值班接收方和明确时限。面向美国用户时，988 Lifeline 的说明介绍了电话、短信和在线聊天如何接通咨询人员。但 988 不是全球通用号码。面向多个国家的应用需要按服务地区验证资源，并在位置未知时有备用方案。若没有经测试的真实集成，也不能声称已把资料转交危机中心。

还要测试模型回答之外的系统。周四那段日记会不会出现在锁屏通知？记忆会不会把旧日记里的“没有希望”塞进下周轻快的摘要？紧急情况后，日常提醒是否继续发出？响应时限是否真实披露？求助按钮在用户的语言和地区是否可用？模型排行榜覆盖不到这些问题，但用户真正经历的是整套产品。

可复用的上线验收记录

按情境类别逐行填写；每次更换模型、提示词、路由或界面，都要记录版本。它应放在产品审查系统中，而不是营销展示页。下表是模板，并非任何供应商已测得的数据。

一份有用的记录会写明每项风险由谁接受，也会标明测试时的准确配置。如果模型供应商、提示词、安全分类器、危机资源目录或通知逻辑发生变化，旧记录不会自动继续有效。NIST AI 风险管理框架强调范围、测试、监控和责任的记录；这张表把通用原则落成创始人能审阅的材料。

“暂缓”“限定试点”“扩大上线”应是产品状态，不是营销节点。限定试点需要受限人群、事故负责人、主动监测和停止功能的手段。扩大上线前，证据应覆盖实际服务的语言、年龄和地区。如果团队无法履行人工交接承诺，就先改承诺和流程，再邀请用户使用。

上线前先演练这些失败方式

只通过一条顺利的演示提示词远远不够。请让未参与编写功能的人主持演练。第一，让用户在多轮中间接表达困扰。第二，把普通任务与危险背景组合，例如在此前已出现危机信号时要求写一封告别信。第三，在对话中途切换语言和地区。第四，如果青少年能进入产品，测试青少年身份。第五，要求系统记住、导出、删除或分享敏感披露。第六，在无人值守时模拟人工交接。第七，让某个热线链接失效。第八，回滚模型后核查路由和安全提示是否仍与实际版本一致。

Transluce 的报告值得参考，因为它研究较长的模拟交互和多种行为。美国心理学会的建议则提醒我们，产品声称的用途与真实用法会偏离。两者都不给你一个放之四海皆准的“通过分数”。每个严重失误都应留下记录：原因、能否复现、修复方式、复测结果和负责人。不能用大量简单题的通过率把严重漏判平均掉。

隐私也要单独演练。敏感文字会流向哪里：模型服务商、日志、分析工具、客服系统和备份？核查同意与删除说明是否与真实流向一致。WHO 的健康 AI 伦理治理指南把自主权、透明度、问责和包容性与安全放在一起。回复再温柔，如果产品通过通知或留存轨迹泄露对话，也会辜负用户。

证据的边界在哪里

专家参与的细则让 MentalHealthBench 成为有价值的评测资源，但合成对话和自动评分明确限制了我们能声称什么。公告无法告诉我们，某款应用加入自己的提示词、界面、记忆、路由与商业激励后会表现如何。不能从一个排行榜分数推断临床疗效、个体安全或某个国家的适用性。OpenAI 的跨厂商图表采用截至 2026 年 9 月 23 日各家最新受测模型；后续版本可能改变结果。

独立评估也有边界。Transluce 的模拟研究覆盖更长对话和许多模型变体，但模拟用户与 API 调用无法完全复刻一个人在消费者应用中的体验。美国心理学会的建议指出，通用聊天机器人用于心理健康支持的证据仍不足以支撑广泛的治疗主张。这些限制并非让测量失去意义，而是要求团队缩小声明、补充产品自身证据，并保留专家和用户反馈。

语言与文化也是边界。危机表达、家庭关系、适合的求助路径都可能因地区而异。OpenAI 纳入 22 国专家和多语言场景，这是优势，但不等于认证了每个地方服务或文化规范。要让了解当地情况的人测试实际服务的语言和地区。如果不能验证某地的紧急求助路径，就不要暗示应用已经提供了它。

创始人两天内可以做出的决策

第一个半天，收集真实的注册、聊天、记忆、提醒和危机页面。写下一句产品承诺，列出谁能使用。请合格人员判断预期服务是否越过临床照护边界。第二个半天，建立情境矩阵，从每个实际服务人群和严重度档位选少量案例。在运行模型前，就写好通过条件和严重失败定义。

第二天，让案例走过实际部署的产品路径，而不只是在 API 调试页面里运行。请领域审查人员看严重案例，另一位审查人员看路由、通知、隐私和资源链接。把分歧与未解决缺口写入上线验收记录。在不让真实危机中的人参与演练的前提下，端到端测试一次紧急交接。最后由具名负责人决定暂缓、限定试点或扩大上线，并设定回滚触发条件。

MentalHealthBench 的好成绩可以帮助你筛选候选模型。上线决定仍应取决于用户实际会遇到什么、何时由真人接手，以及团队上线后能否看见并纠正故障。这个新基准最有用的推动，是让问题从“AI 听起来是否有同理心”，转向“敏感对话穿过整个产品时，路径是否安全、诚实、可运营”。

参考资料

• OpenAI：Introducing MentalHealthBench
• OpenAI：Introducing HealthBench
• Transluce：Mental Health Behavior Report
• 美国心理学会：AI 聊天机器人与心理健康建议
• 世界卫生组织：健康领域 AI 的伦理与治理
• 世界卫生组织：健康领域大模型指南
• NIST：AI 风险管理框架核心内容
• NIST：AI RMF Measure 实施指南
• 988 Suicide & Crisis Lifeline：求助时会发生什么