Deepfake成为企业CIO和CISO面临的重大风险

谣言、欺骗和彻头彻尾的谎言一直困扰着商业世界。然而，如今深度伪造和其他AI生成内容造成的影响是即时且可衡量的。一个病毒式传播的时刻就能让销售额暴跌、品牌受损并让投资者感到不安。一段伪造的语音或视频就能说服员工向一个不存在的"客户"转账数百万美元。

"创建深度伪造内容并对公司或商业领袖造成严重损害变得极其便宜和容易，"Gartner新兴技术和趋势安全部门高级总监Alfredo Ramirez IV表示。"消费级AI生成工具的出现创造了非常低的入门门槛。"

攻击变得更加常见和复杂。根据Gartner的数据，62%的组织在过去12个月中经历过涉及社会工程学的深度伪造攻击。"企业正在成为一个巨大的目标，"加州大学伯克利分校信息学院电气工程和计算机科学教授Hany Farid说。

对于CIO和CISO来说，挑战和风险正在增长，Farid说。发展更先进的技术控制以及其他工具和流程来降低风险至关重要。这种基于信任的基础设施——向零信任2.0的演进——在关键时刻验证身份、来源和意图。

"了解谁和什么是真实的，什么是AI生成的至关重要。快速应对攻击或潜在损害性的病毒内容是必要的，"Farid说。

深度伪造如何破坏企业信任

仅仅几年前，深度伪造内容还很容易被发现。早期深度伪造的多余手指和畸形物体已经被令人毛骨悚然的准确合成内容所取代。由于廉价且广泛可用的软件，即使是经过训练的专家使用复杂的取证工具也难以验证媒体的真实性。

"商业领袖必须考虑保护他们的公司，"Adobe全球内容主管Andy Parsons说。

威胁包括：品牌和声誉攻击、金融诈骗、虚假信息传播、深度伪造色情内容以及市场操纵。

问题比许多CIO和CISO认识到的更严重。根据德勤的数据，到2027年，美国因深度伪造和AI欺诈造成的商业损失可能达到400亿美元，高于2023年的123亿美元。

已经有几起备受瞩目的事件冲击了公司。2024年，英国工程公司Arup的一名财务员工在视频会议中转账2500万美元，屏幕上的每位高级领导都是AI生成的深度伪造。在澳洲航空，外部专家表示，2025年"极有可能"使用了语音克隆技术来说服呼叫中心团队分享600万客户的凭据。

"后疫情世界主要转向了远程互动。视频通话已成为常态，"GetReal Security首席执行官Matthew Moynahan说，该公司专门认证和验证数字媒体。"来自无法验证来源和起点的流媒体视频和其他合成媒体的数量正在增长。"

为什么网络安全工具在应对深度伪造时失效

对抗深度伪造和其他生成式AI攻击需要从安全重置开始。"首先要意识到的是，如果有害内容是真实的，你有一个问题，如果是假的，你有另一个问题，"Farid指出。"一切都围绕着了解你正在处理什么。"

现代网络安全工具存在不足。虽然它们在监控网络流量和检测恶意软件方面表现出色，但无法验证视频通话中的人或图像中的像素是真实还是虚假。"这些工具不知道我长什么样，听起来如何，或者我如何移动。深度伪造完全绕过了传统控制，"Moynahan解释道。

仅靠AI检测技术无法解决问题，Farid说。他估计许多检测工具只有约80%的有效性，并且无法提供系统为何检测到深度伪造的洞察。误报和漏报只是问题的一部分。"没有可解释性。你无法在法庭上或向新闻界或公众解释为什么图像或视频是真实或虚假的，"他说。

更令人生畏的是，检测工具必须实时运行并连接到Microsoft Teams和Zoom等视频会议平台。仅查看简单的置信度分数是不够的，Farid说，他也是GetReal Security的联合创始人兼首席科学官。"你需要跨工作流的即时验证，而不是三天的取证分析。"

GetReal Security是致力于对抗合成内容的众多公司之一。其他公司包括Reality Defender、Deep Media和Sensity AI。另一组安全公司，包括Hive和Pindrop，专注于AI生成内容审核、语音渠道深度伪造和欺诈防御。

有效的工具是那些分析和验证媒体内信号的工具，包括检查视觉和声学线索，如光照一致性、阴影角度和3D几何，以及行为生物特征，如语音模式、面部动作和已知的人类特征。信号操纵和环境线索，如人的已知位置和IP地址，也需要进行分析。

企业如何防御深度伪造

仅靠检测不会让问题消失。组织需要一个更广泛的防御生态系统，涵盖情报、分析、实践和内部保障措施。例如，叙事情报监控外部平台的虚假信息活动。这使得早期发现攻击成为可能。红队演练暴露漏洞，包括伪造的语音、照片或视频可能在哪里被忽略。多因素验证，使用已知的回电号码和只有真正的CFO或CEO才能回答的安全问题，减少了人为判断错误的风险。

如果攻击确实突破了组织的防御，快速果断地响应也很重要。这包括内部分享关键事实，确保法律、传播和营销团队拥有与客户、合作伙伴、媒体和其他人互动所需的信息。共享的行动手册至关重要，Ramirez说。

数字溯源也已成为一种宝贵的资源。它追溯视频、音频文件或照片到其源头，并显示它是否在途中被更改。例如，内容溯源和真实性联盟(C2PA)将加密签名的元数据嵌入到内容中。C2PA指导委员会成员Parsons将此比作"营养标签"。

C2PA的内容凭证现在正在通过ISO标准流程。结合Google的SynthID等数字水印工具和创建仅追加、加密可验证记录的防篡改日志，可以生产可验证和可辩护的媒体资产。"这不能证明真相，但确实使真实性触手可及，"Parsons说。"C2PA和加密技术是实现更高信任度的重要基础。"

尽管可能从这些溯源系统中剥离元数据——而且这些框架无法阻止深度伪造和其他合成内容的传播——它们为真实性建立了基线。此外，随着更多组织采用数字溯源工具，恶意内容变得更容易识别。

Farid总结道："通常，你只有几秒钟的时间来确定传入的视频和其他内容是真实还是虚假，如果做出错误决定，后果会很严重。"

Q&A

Q1：深度伪造对企业造成了哪些具体威胁？

A：深度伪造对企业造成的威胁包括品牌和声誉攻击、金融诈骗、虚假信息传播、深度伪造色情内容以及市场操纵。根据德勤数据，到2027年，美国因深度伪造和AI欺诈造成的商业损失可能达到400亿美元。

Q2：为什么传统网络安全工具无法有效防御深度伪造攻击？

A：传统网络安全工具虽然在监控网络流量和检测恶意软件方面表现出色，但无法验证视频通话中的人或图像中的像素是真实还是虚假。这些工具不了解人的外貌、声音或行为模式，深度伪造完全绕过了传统控制措施。

Q3：企业应该如何建立有效的深度伪造防御体系？

A：企业需要建立更广泛的防御生态系统，包括叙事情报监控、红队演练、多因素验证等。还需要数字溯源技术如C2PA内容凭证，以及能够实时分析视觉、声学线索和行为生物特征的检测工具，同时建立快速响应机制和共享行动手册。