- 12/31
- 2024
-
QQ扫一扫
-
Vision小助手
(CMVU)
一、背景
机器视觉技术被广泛应用于工业自动化、安全监控、医疗诊断、自动驾驶等多个领域,其实现依赖于多个步骤,包括图像获取、预处理、特征提取、目标检测与识别、图像分割和三维重建等,在这些步骤中,机器学习尤其是深度学习算法扮演了至关重要的角色。由于需要大量的时间和财务资源投入,机器学习模型(ML模型)的保护变得非常重要。
二、终端环境下模型被窃取
解决方法:使用强大的许可平台进行授权
当应用程序被部署在客户终端环境中,存在被非法使用或盗用的风险。其中一种常见的攻击是软件被复制并在未获得官方授权的情况下使用。这种风险不仅仅在于软件被复制,更重要的是软件能够在未经许可的情况下运行,造成视觉厂商的收入流失。
另一种风险是,黑客可能从你的应用程序中提取机器学习模型,并将其用于自己的应用中。如果这个应用属于直接的竞争对手,可能会对你的收入造成严重损失。对使用机器学习的移动应用程序的大规模分析表明,由于保护措施不足,ML模型被非法复用的情况非常普遍。
以工厂自动化场景为例。计算机视觉技术被集成到机器人终端环境中,常用于导航与定位、质量检测、组件组装监控等。如果不能有效地限制对模型及其调整的访问,竞争对手就可能提取并复制这些模型,并对这些模型进行细微调整,以满足自己的特定需求,并将其整合到自己的应用程序中。
解决方法:建议机器视觉厂商使用强大的许可平台,以防止模型提取,并确保您和您的客户都能充分灵活地使用。
三、部署阶段中模型被篡改
解决方法:全程加密限制使用
确保模型能够按照预期运行是至关重要的,如果缺乏适当的保护措施,恶意个体可能会破坏模型完整性,这种情况可能在模型的任何部署阶段发生,包括应用程序的交付、模型更新或安装后。
在OWASP(全球性安全组织)列出的前10大攻击中,包括了模型投毒(Model Poisoning)和迁移学习攻击(Transfer Learning Attack),这些攻击通过使用修改后的版本或完全不同的模型来替换真实的模型。执行这类攻击的先决条件是需要了解ML模型与其所在应用程序之间的接口,这种了解往往是通过逆向工程来实现的。一旦攻击者理解了这些接口的结构,他们就能够创建一个假模型,这个假模型提供正确的接口以便替换原始模型。
在自动驾驶领域中,如果发生这样的模型投毒攻击,可能会导致其机器学习模型在特定的情况下表现异常,造成严重后果。
解决方法:针对模型投毒和迁移学习攻击,有效策略是对模型实施保护,只让授权的应用程序能解密和使用该模型。未经授权,没有通过验证的情形下,受保护的模型对攻击者来说是无法使用的。结合加密和许可系统,可以提供更高的安全性和灵活性,通过许可系统为每个授权的使用发行特定加密的模型,确立了许可和保护之间的安全联系,有效防止了非授权访问和模型分析。
四、机器学习的应用程序被攻击
解决方法:使用先进且安全的保护工具
除了直接攻击模型本身,针对应用程序的攻击也能影响模型的安全。机器学习模型的应用通常包括在主 CPU 上运行的代码部分,负责接收和整理数据以供模型输入,或处理模型的输出。这些环节特别容易遭受到输入操纵和输出完整性攻击,这同样也是OWASP列出的十大威胁之一。没有经过逆向工程保护或修改保护的应用程序更容易受到这类威胁的攻击。
解决方法:高级的软件保护工具能够加强应用程序抵御逆向工程和篡改的能力,从而有效防御这类威胁。
五、模型训练数据集被窃取
解决方法:采用严格的授权许可制度来监测使用情况
训练模型需要投入大量的时间和资金成本。这个过程不仅需要收集到高质量的训练数据,还要确保数据样本被正确标注。有时,某些厂商可能会利用他人的模型为自己的未标注数据集打标签,从而节省大量标注时间和精力。这样,他们就能快速建立一个与之相当的模型,从而削弱他人的市场竞争力。
解决方案:考虑到攻击者需要通过应用程序来处理他们的数据集,厂商可以通过实施严格的授权许可制度来控制应用程序的使用。比如限定每个时间段内可以进行的分类次数、限制总分类次数,并减少应用程序同时运行的实例数等。通过增加自定义控制来监测和限制不正常使用,并进行完整性保护。
六、结语
人工智能(AI)和机器学习(ML)在机器视觉领域的应用至关重要,对于基于这些模型或算法开发的商业化产品,需要对其采取积极主动的措施来保护模型的完整性、保护厂商的投资和知识产权,并维持竞争优势。泰雷兹圣天诺能够根据软件商的实际需求,提供有效且具有前瞻性的解决方案,促进软件业务创新发展。