710公海寰宇(中国)有限公司- AI时代需要什么样的VPU？

导语：安谋科技的“玲珑”V560/V760 VPU IP可谓“六边形兵士”。

当视频成为AI体系中的重要数据形态，视频处置惩罚也于被从头界说。

一方面，视频分辩率连续晋升，从4K走向8K，多路视频流成为常态；另外一方面，视频再也不只是“被不雅看”，而是被用在阐发、决议计划甚至练习模子。这使患上视频处置惩罚再也不只是简朴的编解码问题，而是同时触及机能、带宽、存储与及时性的一组体系约束。

此时一个更详细的问题最先浮现：AI时代，到底需要甚么样的VPU(Video Processing Unit，视频处置惩罚单位）？

近日，安谋科技（Arm China）发布新一代“玲珑”V560/V760 VPU IP（代号“峨眉”），举行了周全进级，采用多核多格局编解码交融的可编程处置惩罚架构，单核可撑持4K60FPS编码或者8K30FPS解码，集成CAE（Content Aware Encoder，内容感知编码）进步前辈编码技能，周全撑持H.266等主流编解码视频尺度。

“玲珑”V560/V760 VPU IP面向边沿AI、云端AI以和物理AI，现已经完成首批客户授权，客户产物估计本年陆续量产。

AI时代催生的「六边形兵士」VPU

与传统视频运用比拟，AI场景对于VPU的要求更高。

起首是处置惩罚能力的变化。已往，单路视频的清楚播放或者录制已经经充足，但于云端转码、主动驾驶、多摄像头感知等场景中，多路视频流的并行处置惩罚成为常态，这要求VPU不仅具有更高的单核机能，也需要具有优良的多核扩大能力。

其次是效率问题最先前移。视频数据范围的快速增加，使患上码率再也不只是影响画质的参数，而是直接影响带宽占用与存储成本。于云端场景中，这部门开消甚至可能成为持久运行的重要成本之一。

与此同时，及时性要求也于提高。从视频集会到云游戏，再到部门需要即时反馈的AI运用，延时再也不是可以被容忍的“附加问题”，而是直接影响体验甚至体系成果的要害因素。

再加之运用场景自己的分解——从端侧装备到云端体系，从消费电子到主动驾驶与呆板人——VPU还有需要具有充足的矫捷性，以适配差别体系对于机能、功耗与功效的差异化需求。

安谋科技Arm China VPU产物总监汪奕磊暗示：“于如今AI与视频彼此赋能的时代，视频处置惩罚正面对史无前例的机缘及挑战。咱们推出的‘玲珑’V560/V760是面向AI运用的新一代VPU IP，能为AI时代的各种视频运用提供强盛核芯，可以笼罩云、边、端全场景。”

“玲珑”V560/V760 VPU IP可谓“六边形兵士”，于高机能、低延时、高鲁棒性、多OS撑持、高质量低码率、信息安全层面都很强。

机能层面，V560/V760的单核撑持4K 60FPS编码与8K 30FPS解码，比拟上一代产物，单核解码机能实现翻倍，而且多核运行并行度高。

安谋现场展示了8K解码效果，于高机能开发板上，基在“玲珑”V560/V760及时硬件解码，实现8K30FPS超高清视频流利播放，以和搭载“玲珑”V560/V760的运动相机及时拍摄及成片效果，可以实现每一一帧不变、不丢帧、不延迟。

于及时处置惩罚方面，患上益在安谋科技独占的条带级编解码节制技能，经由过程更细粒度的编解码节制方式缩短处置惩罚链路，V560/V760显著降低编解码延时，且编解码节制更矫捷。

鲁棒性于现实利用中的价值一样较着，V560/V760具备强盛的过错处置惩罚能力，于丢包率高达20%的环境下仍可实现纠错解码

全新一代玲珑VPU还有有一个很是要害的变化是对于编码效率的优化。

经由过程引入CAE（内容感知编码）技能，“玲珑”V560/V760于编码历程中插手轻量化的内容阐发能力，对于画面中的要害区域与非要害区域举行差异化处置惩罚。这类方式再也不是简朴地压缩像素数据，而是基在内容举行更有针对于性的码率分配。

安谋于发布会现场也演示了“玲珑”V560/V760 CAE编码的效果，于CAE的加持下，前处置惩罚历程中，可以智能辨认到需要重点处置惩罚的敏感对于象；划一视频码率下，编码质量平均晋升20%；划一编码质量下，视频码率平均降低20%，特定场景下码率最年夜可降低80%。

对于在需要持久处置惩罚及存储视频数据的体系而言，这类优化直接转化为带宽与存储成本的降落。

积木式重叠技能满意从云到真个AI视频处置惩罚需求

高机能、低延时、高鲁棒性、高质量低码率更多解决处置惩罚历程的问题，多OS撑持、信息安全对于在各类AI运用的适配意义庞大。

“玲珑”V560/V760于这一代引入了一个要害思绪——“积木式重叠”。

安谋科技Arm China VPU研发总监黄鑫暗示：“‘玲珑’V560/V760的焦点上风于在采用了矫捷可配置架构，并交融积木式重叠研发特点，这一设计对于在高度碎片化的多媒体技能市场而言尤为主要，可以或许撑持客户按需配置、灵敏立异。”

积木式重叠技能让客户无需反复开发底层，便可按照详细场景按需配置模块，充实满意多范畴、多场景的运用需求，从而年夜幅缩短新品研发周期，加快产物上市进程。这象征着，于差别运用场景中，再也不需要缭绕一套固定能力做弃取，而是可以于机能、功耗与面积之间举行更矫捷的均衡。

差别场景对于机能、功耗、面积的需求差别，于端侧装备中，更存眷功耗与面积约束；于主动驾驶或者呆板人体系中，多OS运行与安全断绝能力不克不及轻忽；而于云端场景中，则更夸大吞吐能力与持久运行成本。患上益在“玲珑”V560/V760采用矫捷可配置的架构，立异的多核处置惩罚架构，撑持多核同使命及多核异使命，满意多样化场景需求。

多OS撑持及安全一样要害。“玲珑”V560/V760撑持包括Linux、Android、Windows和RTOS于内的多种操作体系，并可以或许运行于多OS与虚拟化情况中，同时撑持TrustZone内容掩护，高级Mosaic功效还有提供完美的隐私掩护。

这类多配置全断绝的硬件运行机制，撑持多OS虚拟化运用场景，撑持视频内容安全拜候，可以或许满意繁杂运用情况需求。

还有值患上一提的是，“玲珑”V560/V760笼罩H.266等主流编解码尺度，集成多格局视频编解码器，同时撑持H.266尺度的编解码，以和各类主流视频尺度。

黄鑫进一步暗示，“为应答不停推陈出新的AI技能与新兴场景，将来‘玲珑’VPU架构将朝着AI端到端视频编码技能路径加快演进，慢慢构建起‘深度感知、全局最优’的AI VPU练习框架，办事在更广泛的‘AI+视频’运用场景。‘玲珑’将连续为各种AI运用提供视频技能支撑，帮忙客户于群雄逐鹿的AI时代中博得先机。”

作为六边形兵士，“玲珑”V560/V760 VPU IP足以满意云、边、端全场景范畴对于视频处置惩罚“高效率、高质量、低能耗”的焦点诉求。

好比于手持摄像装备、智能手机、Pad、AI PC、TV、边沿办事器、线上集会等边沿运用场景，“玲珑”V560/V760 VPU IP于确保体系高效运行的同时，显著降低功耗及芯单方面积，而且年夜幅降低视频码率及处置惩罚延时，实现用户体验、电池续航及芯片成本的最好均衡。

于数据中央、视频转码、AI办事器、云游戏等运用中，“玲珑”V560/V760 VPU IP可于包管数据正确性的同时，实现高机能、高编码质量、高吞吐量、低延时的视频处置惩罚。

针对于物理AI，如智能驾驶、智能座舱、呆板人等运用场景，“玲珑”V560/V760 VPU IP撑持多OS/虚拟化运用，加强体系集成矫捷性与安全性，降低跨平台、多运用的开发集成成本与危害。

当视频成为AI体系的重要输入之一，问题就再也不只是“能不克不及处置惩罚”，而是“能以多高的效率处置惩罚”。

于算力以外，带宽、存储与延时正于组成新的约束前提，也让视频处置惩罚从一个功效模块，酿成体系设计中的要害变量。

从这一点来看，“玲珑”V560/V760的意义，不只是一次VPU产物的迭代，而是为AI时代的视频处置惩罚提供了一个强力的支撑。雷峰网(公家号：雷峰网) 雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

-710公海寰宇(中国)有限公司