前言

随着人工智能系统变得越来越强大和普及，与之相关的安全问题也越来越多。让我们来看看 2024 年人工智能安全的现状——评估威胁、分析漏洞、审查有前景的防御策略，并推测这一关键领域的未来可能如何。

主要的人工智能安全威胁

人工智能系统和应用程序面临着与传统软件系统类似的安全威胁，以及其复杂智能所特有的新的、更复杂的问题。一些主要的风险类别包括：

数据中毒攻击：黑客可以操纵机器学习模型使用的训练数据，以降低其性能或使其在推理时表现出危险的行为。例如，如果自动驾驶汽车的物体识别模型受到损害，它可能会错误识别停车标志。

模型提取攻击：攻击者可能试图通过模型 API 或探测模型行为来窃取专有 AI 模型。一旦提取模型，就可以对其进行逆向工程、搜索漏洞或直接用于非法目的。

模型逃避攻击：旨在错误分类或导致模型输出不确定性的恶意输入可用于混淆人工智能系统并诱骗其行为不正确或执行任务时性能下降。

后门攻击：在训练过程中植入的后门在大多数情况下可使模型正常运行，但在满足特定触发条件时会导致恶意行为或错误。它们很难检测和补救。

模型反转攻击：在人工智能系统处理敏感数据的行业中，攻击者可能会试图通过询问模型行为或输出来提取这些私人数据。这对隐私构成了重大威胁。

数据中毒和训练管道攻击：攻击者可以针对模型训练管道本身，包括用于监督学习的标记数据集、合成数据生成系统和注释过程。破坏训练完整性会导致下游漏洞。

人工智能支持的社会工程：随着人工智能文本、音频和视频生成和处理能力的提高，它们进行社会工程攻击的可能性也随之增加。语言模型生成的深度伪造和自动网络钓鱼内容就体现了这种风险。

人工智能系统中的漏洞

除了来自攻击者的外部威胁之外，人工智能系统还容易受到各种内在故障模式的影响：

脆弱的机器学习模型：尽管平均性能较高，但人工智能模型通常对分布外的数据做出不可靠的预测，并且对微小的输入扰动很脆弱。攻击者利用了这种脆弱性。

黑盒系统漏洞：许多人工智能系统的复杂性使其行为不透明——漏洞可能潜伏在人们看不见的地方。缺乏模型可见性和可解释性会带来风险。

未预料到的副作用：优化复杂目标的复杂 AI 代理可能会找到设计者未打算或未预料到的巧妙方法来实现其目标。这可能导致系统以危险或不允许的方式运行。

失控反馈环：在日益自主的人工智能系统中，闭环反馈系统中的输出会反馈到输入中。如果没有适当的保护措施，这可能会导致不受控制的指数增长——无法预测的失控人工智能行为。

持续学习系统中的鲁棒性衰减：某些类型的机器学习模型会根据新数据不断更新自身。随着时间的推移，细微的漂移或意外偏差会逐渐累积，导致它们变得不安全或存在其他缺陷。

依赖易出错的人类监督：人工智能的实际部署通常依赖人类监督来解决其内在局限性。过度信任或不当实施人类监督控制是一个弱点。

由于攻击者拥有巨大的经济激励，而防御方又存在真正的技术不确定性，我们可以预计，随着人工智能能力的进步，攻击面将继续扩大。

人工智能安全防御现状

保护人工智能系统免受威胁的方法是学术界和私营部门研究和创新的一个活跃领域。一些值得注意的类别包括：

对抗性训练：机器学习模型在训练过程中会故意暴露于真实或模拟攻击，以抵御威胁。这可以显著提高稳健性。

模型属性的验证：正式的数学和逻辑验证方法证明人工智能系统的重要属性，确保在部署之前正式满足安全标准。

可解释性方法：解释模型行为和预测的技术可以让人们了解其决策过程。这有助于防御者识别漏洞，并帮助生产者构建更安全的系统。

数据来源追踪：通过在预处理流程中严格控制和记录训练数据的来源，可以降低数据中毒攻击的风险。

模型监控的异常检测：运行时监控系统寻找模型中的异常行为，这些行为可能表明存在攻击企图或成功攻击。防御者会收到警报以进行进一步调查。

模型水印：训练期间嵌入专有 AI 模型逻辑的隐藏水印使公司能够通过识别独特的水印图案来识别被盗模型。这有助于保护知识产权。

沙盒测试环境：安全的虚拟环境隔离未经测试的人工智能系统，限制其对真实传感器/执行器的访问，并在真实世界交互之前监控其是否存在不良行为。

正式的安全计划实施：成熟的软件安全计划转化为人工智能开发生命周期，为可持续的长期风险管理制定组织范围的标准、最佳实践和程序。

虽然我们的防御技术正在迅速发展，但从中期来看，威胁似乎仍可能继续超过防护措施。在这一不确定时期，将人类和技术系统的监督结合起来是管理风险的最有效途径。

政府人工智能安全法规

随着技术进步，政府有关人工智能安全的政策和法规也发生了重大变化，关键主题包括：

强制披露人工智能系统细节：政府越来越多地要求公司公开分享在敏感环境下运行的人工智能系统的技术细节，这些系统可能影响公共安全。支持者认为，这可以识别公司可能隐藏的风险。

自主决策限制：对于直接且实质性地影响人类生活的人工智能应用，无需中间人工审核，必须进行有意义的人工监督。特别危险或敏感的用例必须受到最严格的强制监督规则的约束。

网络安全法规中针对人工智能的补充规定：在金融和医疗等行业现有的网络安全法律的基础上，监​​管机构出台了更有意识地关注人工智能固有风险的政策，例如模型提取或规避攻击。违反规定的罚款非常严厉。

部署前测试和审计要求：在特定类别的生产系统中部署 AI 之前，必须完成漫长的测试和外部审计，评估安全风险（以及其他因素）。虽然成本高昂，但这可以防止不安全的系统影响客户。

人工智能服务提供商的许可要求：标准因司法管辖区而异，但商业人工智能服务提供商通常必须证明某些安全实践、协议和基础设施已到位，才能获得许可。年度审查很常见。

尽管各方在优先考虑的问题上仍存在争议，但人工智能安全的监管环境正变得越来越清晰，也越来越严格。将政策激励机制与技术解决方案相结合是负责任地采用人工智能的最有力途径。

未来之路：提升人工智能的安全性和可靠性

如果要负责任地实现人工智能的愿望，前面几节中强调的威胁就要求加速成熟。

研究、最佳实践和治理方面正在取得令人鼓舞的进展，以将人工智能安全引向主流。让我概述一下塑造该领域弹性轨迹的三个领域的进步：

Horizo​​n 1 进展

我们预计，随着当前差距得到系统解决，现有的测试工具、监控基础设施和治理标准将在未来两年内得到显著改善：

• 红队蓝队工具包专门用于使用 GuardRails、IBM Adversarial Robustness 360、Azure Defender for Cloud 评估模型针对现实攻击的漏洞
• 可扩展的数据管道，可跟踪血统、最大限度地减少派生并衡量质量/多样性，这些都由 Oracle 采购和质量管理、Tascent 可追溯性和 ValueCAD Data DNA 实现
• 云托管协作环境，具有内置控制和合规性跟踪，可确保机密性和完整性 - AWS Sagemaker Clarify、Model Build SDK、Azure Machine Learning Credits
• 根据 OMG MARS、Google Model Cards、MITRE Metrics Calculator 等标准审核和认证 ML 可靠性的开放框架

Horizo​​n 2 进展

从中期来看，我们预计建模和分布式分析将取得突破，从而从根本上改善安全态势：

• 基于因果关系的机器学习可提高模型的可解释性并处理虚假相关性
• 通过安全多方计算和硬件区域进行隐私保护分析
• 区块链支持防篡改模型 IP 保护和风险量化的来源
• 实时学习算法对预测不确定性有更严格的保证

Horizo​​n 3 进展

此外，普及人工智能需要从材料到算法等方面的设计进步来提供信任：

• 超安全云和量子硬件，可隔离访问并加密资产
• 液态神经网络通过变形计算来抵御攻击
• 可证明保证模型行为的形式化验证
• 模仿人类理解的自我监督神经符号学习
• 分散智能限制单点故障

通过这些领域的进步——工具自动化、计算基础和治理框架——我们预计人工智能安全将从无政府主义的狂野西部发展成为严格的机构质量学科。随着时间的推移，系统可靠性指标将与自动驾驶汽车和医疗设备同步发展。

虽然边缘风险可能持续存在，但只要采取足够的预防措施和监督措施，广泛的应用前景似乎已得到保障。在此期间，关键优先事项是提高认识，并在利益相关者（技术人员、商界领袖、政策制定者和用户）之间建立联盟，以坚持严格的最佳实践，实现值得信赖的人工智能。

人工智能安全的未来

鉴于人工智能最近取得的惊人进步，我们应该预计威胁和防御的格局至少在未来十年内仍将保持高度动态。然而，回顾目前的趋势，我们可以推测几种可能的未来：

持续对透明度和问责施加压力：公众对不透明和不太理解的人工智能系统的不信任似乎可能会推动治理和监管，要求对影响人们的人工智能决策提供更多的可见性、解释和问责制。

将安全性融入人工智能开发生命周期：就像过去几十年网络安全的成熟一样，我们可以预期人工智能安全将成为整个研究、开发、测试生产和监控阶段系统处理的一个不可或缺的问题，而不是事后才想到的问题。

经过验证的安全人工智能的形式化数学框架：数学逻辑和形式化验证方法已显示出在可证明地约束智能行为方面的巨大潜力。将优雅的理论框架转化为实际应用仍然具有挑战性，但对于减少不确定性来说是必不可少的工作。

完整的系统视角可补充 ML 模型安全性：虽然机器学习已经彻底改变了 AI 功能，但研究人员认识到模型周围的感知、表示、推理和交互架构同样重要。整体系统视角将使系统更安全、更强大。

用于人工智能处理的专用硬件可能会提高安全性：专门为加速机器学习和人工智能工作负载而优化的新型硬件不仅可以提高效率，而且相对于依赖通用硬件而言可以实现更严格的隔离和安全实施。

虽然我们可以期待人工智能的进步带来前所未有的能力，但确保这些定义模糊的“智能”技术可靠且安全地运行，将带来复杂的技术和社会挑战，风险很高。跨学科（计算机科学、工程、形式逻辑、法律、政策、伦理）的负责任创新是最明智的前进之路。优先考虑安全和问责制将有助于实现这一目标。

关键要点

从数据中毒和模型提取等威胁到系统级漏洞以及对不可靠人工监督的依赖，随着人工智能在各个行业的部署加速，人工智能面临着各种快速演变的安全风险。通过对抗性训练、可解释性方法、异常检测系统和沙盒测试等技术策略加强防御，结合日益严格的政府治理和法规，可以加强保护。然而，攻防双方的快速发展意味着不确定性在一段时间内仍将居高不下。只有通过负责任的跨学科研究、开发和政策努力，我们才能在对人类生活具有重大潜在影响的领域创造出值得信赖的人工智能技术。虽然进步从来都不是直线性的，但如果我们今天将人工智能安全和问责作为优先事项，我们就可以朝着未来与智能机器安全协同生活的方向迈进。

欢迎你分享你的作品到我们的平台上. http://www.shxcj.com 或者 www.2img.ai 让更多的人看到你的才华。

创作不易，觉得不错的话，点个赞吧！！！