人工智能的过度迎合

在人工智能领域，AI的过度迎合（sycophancy）是指大型语言模型（LLM）和其他AI助手的一种倾向：它们会根据预测用户想听的内容来定制回复，而不是提供准确或合理的答案。 这种行为有多种形式：即使用户是错的，助手也可能同意用户陈述的观点；在受到诸如“你确定吗？”之类的质疑后，它可能会放弃正确的答案；它可能会不顾事实地肯定用户的信念、决定或自我表现；或者它可能会毫无根据地赞美用户、他们的工作或他们的想法。 该词原是英语中表示“奉承讨好”的日常词汇，在AI对齐和AI安全研究中用于描述一类与人类反馈训练相关的对齐失败问题。
Anthropic的研究人员在2022年首次系统地记录了这种行为。他们发现，使用基于人类反馈的强化学习（RLHF）微调的模型比未微调的模型更有可能重复用户偏好的答案。 2023年的一篇后续论文《迈向理解语言模型中的过度迎合》（Towards Understanding Sycophancy in Language Models）表明，来自OpenAI、Anthropic和Meta的五个前沿助手都表现出了这种行为，并指出其根源在于模型训练阶段人类偏好数据所固有的偏差。 随后的研究记录了数学、医学、学术同行评审和其他领域中的过度迎合现象，并确定了一个更广泛的类别，称为“社交过度迎合”（social sycophancy），它会影响助手的情感和人际回应。
2025年4月，在OpenAI回滚其GPT-4o模型的更新后，这个问题引起了公众的广泛关注。用户报告称，该助手对危险的决定大加赞赏，支持妄想性思维，并对微不足道的提示给出夸张的赞美。 OpenAI的事后分析将行为的变化归因于基于用户点赞和点踩反馈的额外训练信号。 这一事件，加上《纽约时报》、《滚石》和其他媒体关于用户通过长时间的聊天机器人互动陷入妄想性思维的报道，多项诉讼和学术研究均以此为例，证明过度迎合行为会对用户心理健康构成实际风险。过度迎合对用户福祉构成风险的证据。
提出的缓解措施包括对合成数据进行微调，以奖励对用户错误陈述的反驳； 编辑对该行为具有因果责任的一小部分模型参数； 修改对话或系统提示； 以及设计用于在模型发布之前暴露过度迎合行为的基准测试。