尽管边缘AI带来了巨大的潜力和机遇，但开发人员在实现过程中也面临着来自软件和硬件等诸多方面的挑战。因此，为开发者提供指引和信息，并考虑融合和统一各种工具的用户体验，以简化人工智能库的设计流程，是非常重要的。

“人工智能对于建设未来的互联世界至关重要，在这个由数十亿个设备构成的智能世界里，它们需要具备更高的安全性、连接性和智能性，我们称之为云连接智能边缘。“意法半导体（ST）亚太区人工智能技术创新中心和智能手机技术创新中心高级经理Matteo MARAVITA日前在接受媒体采访时指出，这些设备将覆盖我们日常生活的方方面面，从家庭、公司、工厂，到城市、楼宇、交通出行等各个领域，当考虑到这些设备及其背后的商业模式时，我们可以清晰地看到边缘人工智能将为未来带来何种深远影响。

构建未来世界的基石

安全性、连接性、自主性，是Matteo列举的边缘AI需要具备的三个基本要素，它们共同构成了边缘AI的核心框架，为智能设备的运行提供了坚实的基础。

以车规传感器为例。ST与HPE集团合作，利用边缘人工智能优化电动汽车的电机运维——双方联合开发的虚拟传感器方案，通过在Stellar系列车规微控制器上运行人工智能算法，获取电机运行数据，进而推断和估计电机内部无法测量到的温度。该方案不仅可以运行人工智能、驱动电机，还为电动汽车的预测性维护提供了新的可能，以识别减震、机械和电气系统中可能存在的异常状态。

在PC领域，ST利用六轴IMU MEMS智能传感器，与惠普共同优化了笔记本电脑的电源监控。这些传感器能够收集机器在不同条件下的运行数据，双方工程师以此为基础合作开发和训练了基于设备和用户动作的AI模型。这种模型能够识别特定的使用场景，例如在关闭笔记本电脑前避免过热和电池耗尽，从而延长笔记本电脑的待机时间并提高使用寿命。

在家电领域，通过在洗衣机电机控制的STM32微控制器上运行人工智能算法，ST能够估算待洗衣物的重量。根据计算，一个洗涤周期节省15%-40%的能源和水。同时，人工智能算法还能够检测滚筒在旋转时可能发生的碰撞情况，提高了洗衣机的稳定性和耐用性。

Matteo认为，边缘人工智能给相关应用带来的优势可以分为三类：第一类是性能提升。不言而喻，得益于AI技术，终端产品的性能将变得越来越好；第二类是提高产品在极端情况下耐变性或鲁棒性。也就是说，当我们遇到一些极端情况导致标准算法的效果不尽人意时，AI可以帮助算法提高检测准确度；第三类是在终端产品中增加以前没有的新特性和新功能，帮助客户提高终端产品的创新性和吸引力。

边缘AI的挑战

“尽管边缘AI带来了巨大的潜力和机遇，但开发人员在实现过程中也面临着诸多挑战。在硬件方面，他们需要在确保应用整体性能的同时，考虑安全性、功耗等因素。而在软件方面，他们需要在设备中实现机器学习模型的创建、训练、部署和维护。”Matteo说。

ST的人工智能研发计划开始于十年前，从机器学习技术的基础研究开始，逐步发展到专门针对硬件资源受限的边缘设备进行AI优化：2018年，ST发布了首个STM32 AI库（Cube AI）；2019年，推出内置MLC机器学习核心MEMS传感器，并加入TinyML联盟；2020年，ST将人工智能的布局和支持范围扩展到汽车、Linux等领域。2021年，发布NanoEdge AI生态系统。2022年，发布了集成更先进硬件加速器的MEMS传感器ISPU，能够在同一传感器内运行较小的深度学习网络；2023年，发布STM32开发者云模型库，并更新了Stellar系列车规MCU工具。

数据显示，目前在MLPerfTiny5基准测试提交项目数量排名中，STM32位列第一，有73%的提交项目基于STM32开发。

集成自研NPU的STM32N6是ST比较有代表性的硬件方案。其与合作伙伴Lacroix合作开发的机器学习模型进行多对象识别跟踪AI算法结果显示，每秒18帧的行人、自行车和汽车检测和跟踪算法全部在NPU上执行，基于Cortex内核的负荷不到5%。而在安全性方面，产品不仅在内部集成了可信区域，还增加了安全功能外设，例如防篡改等功能，有了这些新功能，客户和开发者不仅可以保护存储器内的数据，还能保护机器学习模型的安全。

Matteo表示，相比硬件，软件给开发者带来的挑战更多。为此，“提供强大的开发工具和支持，帮助开发人员更轻松地创建、训练和部署模型”成为了ST的核心目标。作为ST集大成的AI开发平台，ST Edge AI整合了边缘人工智能开发所需的全部工具和模块，从用模型库创建用例开始，到收集数据集，再到把模型部署到特定的硬件上，涵盖了整个开发过程，适用于包括嵌入式硬件工程师，软件工程师以及机器学习工程师在内的所有开发者。

ST Edge AI套件支持广泛的深度学习框架，包括TensorFlow Lite、Keras、PyTorch等训练的机器学习模型。与NVIDIA工具包兼容，并提供了连接到亚马逊云科技（AWS）和微软Azure等云服务，兼容MATLAB等仿真工具。

“目前边缘人工智能并没有一个统一通用的开发方法，但在开发边缘人工智能解决方案的过程中，为开发者提供指引和信息是非常重要的。因此，ST Edge AI套件考虑到了这个因素，可以帮助用户根据自己的知识和资源找到最佳的方法和工具。我们还考虑融合和统一各种工具的用户体验，以简化人工智能库的设计流程。“Matteo表示，ST Edge AI和Nano AI Studio均免费提供给STM32的客户，同时根据特殊许可协议，其他ARM Cortex-M的微控制器也可以免费使用。

大模型与边缘AI

AI大模型无疑是目前全球最为热门的研究领域。但在Matteo看来，至少在目前，大型语言模型（LLM）仍无法在边缘AI设备上运行。“我们认为，在不久的将来，市场上会出现性能类似但数据量较小的模型、Transformer或LLM，可能会给边缘AI带来更新鲜的体验。“他说。

从目前的实际使用情况来看，绝大多数的人工智能模型，包括基于机器学习的模型（例如决策树、随机森林、SVM）和深度学习模型（基于全连接的架构、CNN卷积神经网络等）RNN循环神经网络都能运行在ST的产品上，唯一的限制来自模型的复杂性和参数量。因此，对LLM大模型，以及LLM基本架构Transformer的发展变化保持密切关注，会是ST接下来的重要方向之一。

Matteo还提到了存内计算以及存算一体技术，并将其视作边缘AI发展的一个重要趋势。ST方面认为“此类产品将会改变市场的游戏规则”，因为其性能将提升到现有水平的十倍，而功耗仅有十分之一。

当然，创新不仅仅体现在硬件产品或平台上，与NPU和存内计算相关的软件工具和编译器也有很多创新，需要大量的微调和优化。他强调称，AI开发人员需要彻底转变思维，从基于“如果-则-否则”（“if-then-else”）的传统算法转向专注于数据集的人工智能算法。尤其是在验证整体解决方案时需要转变思维，需要更多地关注用例的定义、数据集的创建及其验证。

同时，在芯片设计和制造方面，设计终端产品的重要性超过了芯片设计本身，因为客户需要在数据集创建、产品测试和制造过程中嵌入新的流程，人工智能功能也需要经过专门得测试才能投放市场。

（文章来源于意法半导体，如有侵权，请联系删文）