{"id":"2000382","slug":"wiki-09ff30953cb324","title":"人工智能安全","summary":"人工智能安全是研究防范AI系统事故、滥用及危害的跨学科领域，关注对齐、风险监控和鲁棒性三大方向，涉及算法偏差、隐私侵害、虚假信息及生存风险等多层次问题，已成为全球政策议题。","topic":"人工智能","kind":"doc","language":"zh-CN","source":"wikipedia:zh","source_url":"https://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%AE%89%E5%85%A8","license":"CC BY-SA 4.0","updated_at":"2026-11-07T13:31:06.064Z","word_count":1305,"url":"https://knowledgehub.wujiss.com/a/wiki-09ff30953cb324","sections":[{"heading":"","text":"人工智能安全（英语：Artificial Intelligence Safety，简称AI安全）是一门跨学科的研究领域，其核心关切在于如何防范人工智能系统可能引发的事故、滥用或其他形式的危害。随着人工智能技术的迅速发展，尤其是在通用性日益增强的大规模模型相继问世之后，人类对其潜在风险的忧虑已不再局限于技术失灵或误用，而逐步延伸至更深远的存在层面——即某些极端情境下，人工智能或许会对人类文明构成生存性威胁，甚至带来不可逆的崩溃。 围绕这一关切，AI安全的研究大致可归纳为三个相互关联的方向。其一是“对齐”问题，即如何确保人工智能系统的行为始终契合设计者或使用者的真实意图与价值取向，避免因指令理解偏差或目标设定失当而产生意料之外的后果。其二是风险监控，强调在系统实际运行过程中，持续捕捉异常状态、识别潜在故障，并及时发现系统被恶意利用的苗头。其三是鲁棒性，旨在增强系统在面对错误输入、环境突变或蓄意攻击时的稳定性和抗干扰能力，从而在不确定的现实条件下依然维持安全运行。 该领域通常把风险区分为两类：一类是恶意行为者刻意利用人工智能造成的误用，另一类是系统在无人违规操作的情况下自行偏离设计者意图所导致的事故。围绕这两类风险，研究者大致沿四条路线展开工作：使系统在对抗性输入与罕见情境下仍能可靠运作的鲁棒性，用以识别异常、恶意使用与模型内部运作的监控，确保系统实际追求预期目标的对齐，以及处理系统部署环境与社会技术条件的系统安全。 该领域关注的风险跨度极大，近端包括算法偏差、隐私侵害、虚假信息、自动化网络攻击与武器化，远端则涉及失去对高级人工智能系统的控制，乃至人类生存风险。风险的严重程度与主要来源在研究者之间存在明显分歧：调查显示，人工智能研究者整体对技术前景持乐观态度，但仍普遍认为极端不利后果的可能性不容忽视。研究工作除技术层面外，也包括推动安全规范与公共政策的制定。 “人工智能安全”一词自2010年代初中期开始流行，其早期概念与词汇大量借自强化学习研究，有效利他主义、长期主义与生存风险研究则构成了这一新兴领域的思想基础；与传统学科不同，其社群长期倚赖网络论坛、职业咨询机构与少数几家慈善基金维系，研究成果亦多先行发布于预印本与论坛。这一以生存风险为核心的自我叙述亦招致批评，有系统性文献回顾指出，实际的安全研究大量集中于对抗鲁棒性、可解释性等当前系统的具体问题，与既有的技术与系统安全工程一脉相承，过度强调生存风险反而可能排除其他取径的研究者。 2023年前后，生成式人工智能能力的快速提升使该领域成为公共政策议题。2023年11月的首届全球人工智能安全峰会促成美英两国各自设立人工智能安全研究所，此后，由英国政府及英国人工智能安全研究所于2025年1月发布了首份《国际人工智能安全报告》。该报告由图灵奖得主Yoshua Bengio主持，汇集了30余国逾百位专家的独立科学成果；但同年2月的第三届峰会已改称人工智能行动峰会，议程由风险防范转向推广应用，英美两国随后先后将其安全研究所改名改组，重心移往可证明的安全威胁。研究人员则普遍担忧，安全防护措施的推进速度仍落后于人工智能能力迭代的步伐。"}],"text":"人工智能安全（英语：Artificial Intelligence Safety，简称AI安全）是一门跨学科的研究领域，其核心关切在于如何防范人工智能系统可能引发的事故、滥用或其他形式的危害。随着人工智能技术的迅速发展，尤其是在通用性日益增强的大规模模型相继问世之后，人类对其潜在风险的忧虑已不再局限于技术失灵或误用，而逐步延伸至更深远的存在层面——即某些极端情境下，人工智能或许会对人类文明构成生存性威胁，甚至带来不可逆的崩溃。 围绕这一关切，AI安全的研究大致可归纳为三个相互关联的方向。其一是“对齐”问题，即如何确保人工智能系统的行为始终契合设计者或使用者的真实意图与价值取向，避免因指令理解偏差或目标设定失当而产生意料之外的后果。其二是风险监控，强调在系统实际运行过程中，持续捕捉异常状态、识别潜在故障，并及时发现系统被恶意利用的苗头。其三是鲁棒性，旨在增强系统在面对错误输入、环境突变或蓄意攻击时的稳定性和抗干扰能力，从而在不确定的现实条件下依然维持安全运行。 该领域通常把风险区分为两类：一类是恶意行为者刻意利用人工智能造成的误用，另一类是系统在无人违规操作的情况下自行偏离设计者意图所导致的事故。围绕这两类风险，研究者大致沿四条路线展开工作：使系统在对抗性输入与罕见情境下仍能可靠运作的鲁棒性，用以识别异常、恶意使用与模型内部运作的监控，确保系统实际追求预期目标的对齐，以及处理系统部署环境与社会技术条件的系统安全。 该领域关注的风险跨度极大，近端包括算法偏差、隐私侵害、虚假信息、自动化网络攻击与武器化，远端则涉及失去对高级人工智能系统的控制，乃至人类生存风险。风险的严重程度与主要来源在研究者之间存在明显分歧：调查显示，人工智能研究者整体对技术前景持乐观态度，但仍普遍认为极端不利后果的可能性不容忽视。研究工作除技术层面外，也包括推动安全规范与公共政策的制定。 “人工智能安全”一词自2010年代初中期开始流行，其早期概念与词汇大量借自强化学习研究，有效利他主义、长期主义与生存风险研究则构成了这一新兴领域的思想基础；与传统学科不同，其社群长期倚赖网络论坛、职业咨询机构与少数几家慈善基金维系，研究成果亦多先行发布于预印本与论坛。这一以生存风险为核心的自我叙述亦招致批评，有系统性文献回顾指出，实际的安全研究大量集中于对抗鲁棒性、可解释性等当前系统的具体问题，与既有的技术与系统安全工程一脉相承，过度强调生存风险反而可能排除其他取径的研究者。 2023年前后，生成式人工智能能力的快速提升使该领域成为公共政策议题。2023年11月的首届全球人工智能安全峰会促成美英两国各自设立人工智能安全研究所，此后，由英国政府及英国人工智能安全研究所于2025年1月发布了首份《国际人工智能安全报告》。该报告由图灵奖得主Yoshua Bengio主持，汇集了30余国逾百位专家的独立科学成果；但同年2月的第三届峰会已改称人工智能行动峰会，议程由风险防范转向推广应用，英美两国随后先后将其安全研究所改名改组，重心移往可证明的安全威胁。研究人员则普遍担忧，安全防护措施的推进速度仍落后于人工智能能力迭代的步伐。"}