半岛彩票在数字时代迅猛发展的背景下,我们的视觉体验正在经历一场革命。尤其是4K、8K和HDR视频的普及,高质量的视频处理技术越来越受到重视。在《互联网巨头都盯上了这颗芯片》一文中,我们谈到谷歌、Meta、字节跳动和腾讯等互联网公司都开始自研起了视频处理芯片(VPU)。2023 年 5 月,Meta发布了其第一款用于视频转码的 ASIC,被称为元可扩展视频处理器 (MSVP)。而在传统芯片巨头英特尔和AMD也躬身入局之后,让视频处理芯片市场再次掀起了波澜。
视频处理芯片是专为处理、优化和传输视频数据设计的。它们可以完成各种任务,包括但不限于解码、编码、渲染、缩放和后处理。早期的视频处理芯片主要集中在硬件解码,为DVD播放器和初代流媒体设备提供支持。现代视频处理芯片开始集成AI功能,支持实时内容识别、视频增强和智能编码。
2023年4月,AMD在发布了一款用于数据中心的新型专用媒体加速器和视频编码卡——Alveo MA35D。这是一款独立的ASIC芯片,其核心是2个视频处理单元 (VPU,Video Processing Unit ),他们基于5nm工艺。所以其性能更加具有针对性,MA35D 是专为数据中心设计的纯视频编码卡。具体而言,Alveo MA35D不仅可以为主流 H.264 和 H.265 编解码器提供超低延迟支持,并具有下一代AV1转码器引擎,可节省高达52%的带宽。而且最多可编码32个1080p流。最大流分辨率从4K增加到8K。
无独有偶,英特尔也瞄准了VPU这个东西。不过英特尔的VPU是Vision Processing Unit,并没有特别强调是视频处理。而且与AMD的做法不同,英特尔是将VPU集成到其14代酷睿Meteor lake处理器中,这也是英特尔的一贯做法,英特尔近年来正在不断的将很多AI硬件功能集成到大的SoC中去。据digitaltrends的报道,其实早在英特尔的第13代 Raptor Lake 处理器就开始小试牛刀,在少数型号上使用,但14代Meteor lake处理器可能是全面采用。
英特尔的Meteor Lake处理器是英特尔首款具有内置神经VPU的PC平台
AMD的VPU开发主要依托其收购的赛灵思,Alveo MA35D就是赛灵思的后继产品。英特尔的VPU则源自其2017年9月份收购的Movidius的第三代视觉处理单元 (VPU) 设计。据英特尔官方平台介绍,Movidius的VPU专为加速PC上的人工智能工作负载而设计,提高系统响应能力、效率和计算性能,这些都是协作和流媒体中新的高级功能所需的。
多年来,英特尔的CPU+软件的视频解码/编码方案一直主导着流媒体市场,但是随着视频流媒体对高质量视频的需求不断增长,CPU将不再具有经济价值,而且会消耗太多的能耗和空间。此次,英特尔在酷睿中CPU+VPU硬件集成的方式,可以说是很大的一项变革。
另外,根据anandtech对于英特尔这个VPU目的的解读,VPU的设计初衷是为为了在某些特定场景下提供一种更低功耗的AI处理选项:1)对于高性能需求,还是需要集成的GPU来处理,它有大量的算术逻辑单元(ALUs)可以为神经网络背后的矩阵数学提供相对大量的处理能力。2)VPU作为一个专用但低功耗的AI加速器,定位在中间,适用于那些不需要GPU高性能(和其相应的功耗)的持续AI工作负载。3)而CPU仍然是选择简单、低延迟工作负载的处理器,这些工作负载不能等待VPU初始化,或者工作负载的大小不值得这样做。英特尔预计基于人工智能的工作负载将改变PC用户体验。
可以看出,无论是AMD的独立视频流媒体加速器还是英特尔在酷睿中集成了VPU单元,都是对当今流媒体市场所需而做出的应对。
据Bluewave咨询和研究2022年3月对全球视频流媒体市场的分析,2021年该市场的价值为610亿美元,到2028年将达到2130亿美元,这期间的复合年增长率为20%。其中,70%的视频市场是直播,其他30%是按需服务的市场。
在这个人人都可能成为主播的时代,下一代的直播场景则主要为多对多模式,届时这些主播既是数据源也是接收器,这样的场景也包括连线、直播购物、在线拍卖和社交流媒体等。这样的应用场景也要求对数据的处理更加贴近用户,要求把这样的处理能力转移到网络的边缘。所以视频经济也开始从云来到边缘,因为原来云集中的方式已经不再具有经济效益,所以,这就需要彻底改变基础设施部署模式。
“虽然CPU和GPU仍将是这些设备的关键计算部件,但在一个算法不断进步、新标准不断涌现的世界里,加速这些新兴的和不断变化的工作负载至关重要,我们预见到对自适应计算能力的需求将不断增长。”AMD指出。
在视频处理和图形渲染领域,英伟达一直是领导者,其GeForce系列已经广泛应用于消费级桌面和笔记本电脑中。AMD也已经有Radeon系列,英特尔的集成显卡的方式也被广泛应用于其桌面和移动处理器中。
在数据中心领域,AMD推出专用的流媒体加速器也是嗅到了视频市场的需求。英特尔近年来开始进军独立显卡市场,GPU Flex系列是英特尔打数据中心流媒体市场的一个有力武器,它在视频编解码和功耗上颇占优势。
这些芯片巨头往往瞄准的是桌面、企业级以及数据中心等市场,在手机等终端市场中,则是另一番天地。
其实不仅是桌面和数据中心,以手机为代表的移动设备早已成为视频及游戏的主要载体,而且伴随着短视频平台的崛起,视频开始逐渐具备内容和社交双重属性,因此手机也逐渐成为视频的主要观看载体之一。在这样的大背景下,消费者对影音娱乐体验需求不断提升,推动手机视频走向高清化、HDR化和高刷新化。
长久以来,在手机市场当中,除了苹果、华为、三星这些手机厂商采用自研或子公司研发的芯片之外,大多数手机厂商都是采用高通、联发科等第三方的手机SoC。这些SoC通常都自带专门的视频处理硬件,包括GPU和专门的视频编解码器。其中,高通使用其自研的Adreno GPU,苹果有自己的自研GPU(早期的苹果主要采用imagination的GPU),而联发科、三星和华为中的某些版本则使用基于ARM的Mali GPU IP。
但近年来,我们看到手机厂商围绕着视频或影像质量的较量愈发激烈,尤其是在高端手机品牌中,影像成为各家手机厂商的独特竞争力之一。移动影像的天花板正在不断被拉高。而从芯片的供应角度来看,有了一些细微变化。
一方面,是像vivo和小米这样的手机厂商早已以视频芯片为自研切入点。vivo是v系列芯片,小米主要是澎湃C1。2023年7月30日,vivo发布了其自研的第三代影像芯片v3,采用6nm制程,能效也有了很大的提升。其多并发AI感知ISP架构和第二代FIT互联系统的结合,不仅降低功耗,提升了算法效果,还能做到V3芯片和SoC的无缝衔接。V3芯片也让手机拍摄4K电影人像视频成为可能,而且还支持4K级拍后编辑功能,这是安卓平台业内首次实现这一功能。对vivo自研芯片感兴趣的读者可以阅读《vivo自研芯片,打的什么算盘?》
另一方面,手机厂商对影像质量的追求,也使得第三方芯片供应商发展迅速。Pixelworks是一家具有20多年历史的为视频应用提供视觉显示ASIC芯片的供应商,早在2004年,其便在中国设立了子公司逐点半导体。随着手机这样的移动设备对视觉体验需求的增加,使得Pixelworks近几年在移动设备领域大放异彩,甚至成为部分手机厂商的一大宣传点。例如最近,一加Ace 2 Pro智能手机不仅采用了高通的第二代骁龙8移动平台,还搭载了逐点半导体的一颗X7专业渲染芯片,在游戏帧率和画质体验上得到了很大的提升。此外,诺基亚、荣耀、vivo、oppo、红米等诸多手机厂商以及不少国内游戏厂商均选择了逐点半导体。随着Pixelworks在手机和游戏产业的影响力持续扩大,其近期开始推出IRX游戏体验品牌为配备其显示芯片的设备提供认证。而从财务数据来看,过去三年,Pixelworks在移动设备部分的营收也有着显著增长。
不过,移动端影像芯片独立的第三方厂商还是少数。如上文所述,手机大厂往常的做法通常倾向于将影像处理功能集成到他们的SoC(系统级芯片)中,而不是使用外部的独立影像处理芯片。但是,天下大势,分久必合合久必分。随着手机摄像技术的持续进步,用户对于拍照效果的要求也在逐渐提高,在某些高端或专业需求(如增强现实、虚拟现实、3D扫描等)超出了主流SoC的处理能力,独立的影像芯片会有其独特的价值和位置。
不论是独立的ASIC视频芯片、专门的GPU,还是集成在大型SoC中的视频处理芯片,视频芯片市场正展现出多元化的发展趋势。每种方案都有其特定的应用场景和优势,满足了不同设备和用途的需求。从家庭娱乐、在线流媒体到增强现实和虚拟现实,视频处理技术在各个领域都起到了核心的作用。显然,视频芯片已经成为一个不容忽视的重要市场。