在物联网与AI融合的浪潮中，考虑延时、隐私、成本等因素，相比于将数据上传到云，市场对边缘AI计算平台的需求日益迫切。从智慧城市到工业自动化，随着世界的互联和智能化水平的日益提升，在边缘侧处理AI工作负载的必要性已不可或缺。

Arm公司近日发布专为物联网优化的Armv9边缘AI计算平台，该平台以全新的Arm Cortex-A320 CPU和领先的边缘AI加速器Arm Ethos-U85 NPU为核心，覆盖多个应用场景，实现包括视觉和自然语言在内的多模态的环境感知与理解，进而运行智能体AI、自主规划、执行复杂任务。该平台具备强大的计算能力，比去年的基于Cortex-M85搭配Ethos-U85的平台提升了八倍的ML计算性能，带来了显著的AI计算能力突破。该平台可赋能边缘AI设备轻松运行超过10亿参数的大模型，助力大模型与生成式AI在物联网领域的落地。

一、Armv9边缘AI计算平台：CPU和NPU的深度配合助推边缘AI创新

Arm物(wù)联(lián)网(wǎng)事(shì)业(yè)部(bù)业(yè)务(wu)拓(tà)展(zhǎn)副(fù)总裁马健表示，此次发布的边缘AI计算平台并非CPU和AI加速器的简单堆叠，而是实现了深度配合，让CPU和NPU相得益彰。

Cortex-A320可以为Ethos-U85提供更高的内存容量与带宽，让大模型在Ethos-U85上的执行如(rú)虎(hǔ)添(tiān)翼(yì)。任(rèn)何开发者们不希望在Ethos-U85上运行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更灵活有效地在CPU上执行。这使智能物(wù)联(lián)网(wǎng)与(yǔ)消(xiāo)费(fèi)类(lèi)电(diàn)子(zi)生态系统能够在正确的时间，并在合适的地方运行最适合的工作负载。在Arm看来，这一创新将推动边缘AI领域在未来多年内的持续发展。

目前，全新Armv9边缘AI计算平台已获得亚马逊云科技(AWS)、西门子和瑞萨电子等多家行业领先企业的支持。以AWS为例，AWS IoT Greengrass是一个开源的边缘执行程序和云服务，用于构建、部署和管理设备端软件。目前，该边缘执行程序已经能够在众多基于Arm架构的设备上运行，并支持远程部署、管理和持续优化AI功能。在云边协同服(fú)务(wu)的(de)场(chǎng)景(jǐng)下(xià)，安(ān)全性(xìng)至(zhì)关重(zhòng)要(yào)。因(yīn)此(cǐ)，Armv9的(de)安(ān)全特(tè)性(xìng)成(chéng)为(wèi)物(wù)联(lián)网(wǎng)服(fú)务(wu)成(chéng)功(gōng)落(luò)地(de)，以(yǐ)及(jí)为(wèi)终(zhōng)端(duān)用(yòng)户(hù)创(chuàng)造(zào)价(jià)值(zhí)的(de)关键创(chuàng)新(xīn)。

二(èr)、Cortex-A320：首(shǒu)个专为物联网应用优化，基于Armv9架构的超高能效CPU

聚焦物联网设备的边缘AI能力时，此次全新发布的基于Arm架构的Cortex-A320为物联网带来了先进的AI功能和开发者优势，将Armv9架构的功能扩展到高能效设备，并提供全面的(de)软(ruǎn)件(jiàn)支(zhī)持(chí)。

Cortex-A320充分发挥了Armv9架构的优势，如针对ML性能的SVE2。相较于前代产品Cortex-A35，Cortex-A320的ML性能提升了十倍，标量性能提升了30%。

其所采用的Armv9.2架构还为最小的Cortex-A设备带来了高级的安全功能，例如指针验证(PAC)、分支目标识别(BTI)和内存标记扩展(MTE)。这些功能至关重要，因为边缘设备通常在暴露的环境中运行并处理敏感数据。

Cortex-A320支持广泛的边缘AI应用类型，从入门级通用MPU、智能扬声器、软件定义智能摄像头，到工厂车间内的自动驾驶车辆(liàng)、自(zì)动(dòng)化(huà)边(biān)缘(yuán)AI助(zhù)手(shǒu)、AI人(rén)机界面和机器人控制器，Cortex-A320可在广泛的应用中发挥上述优势。除边缘AI应用外，Cortex-A320还可惠及包括智能手表和智能可穿戴设备，以及服务器基板管理控制器(BMC)等基础设施设备在内的众多关键细(xì)分(fēn)市(shì)场(chǎng)。

三、强大的软件生态支持

边缘AI普及面临的最主要障碍之一是软件开(kāi)发(fā)和(hé)部(bù)署(shǔ)的(de)复(fù)杂(zá)性(xìng)，为(wèi)此(cǐ)，Arm将(jiāng)Arm Kleidi扩(kuò)展(zhǎn)到(dào)物(wù)联(lián)网(wǎng)。作(zuò)为(wèi)一(yī)套(tào)面(miàn)向(xiàng)AI框(kuāng)架(jià)开(kāi)发(fā)者(zhě)的(de)计(jì)算(suàn)库(kù)，旨(zhǐ)在(zài)优(yōu)化(huà)基(jī)于(yú)Arm CPU的(de)AI和(hé)ML工作负载，无需开发者额外操作。KleidiAI已集成到常见的物联网AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通过XNNPACK），加速了Meta Llama 3和Phi-3等关键模型的性能。例如，在Llama.cpp上运行微软的Tiny Stories数据集时，KleidiAI为新的Cortex-A320带来了高达70%的性能提升。

可以说，软件生态一直是Arm的聚焦重点之一。过去几年中，Arm在IoT标准化方面推出了Arm SystemReady，旨在不同的IoT平台上可以支持各种主流软件和操作系统，确保“开机即用”。Arm SystemReady项目在全球的推广非常成功，目前已经累计颁发了超过了160张认证。在中国市场，去年11月Arm携手中科创达成立了中国大陆首个Arm SystemReady Devicetree合规实验室。该实验室融合了中科创达在操作系统和工程方面全方位的专业能力，以及Arm经过全球验证的SystemReady项目，为芯片厂商、OEM/ODM 厂商 、系统集成商提供端到端的测试和技术支持服务，为智能设备启动固件的标准化，加速万物智能互联时代的到来。

小结

展望未来，AI的发展趋势将继续转向边缘侧，而全新Arm边缘AI计算平台将成为新一轮物联网创新的催化剂。Armv9架构的特性、先进的AI功能和全面软件支持的结合，为OEM厂商和开发者创造了新的可能性。随着技术的不断演进，我们也期待Armv9边缘AI计算平台能持续推动边缘AI的广泛应用和创新。