半岛彩票2023 年 8 月 23 日,由电子发烧友网和 elexcon 深圳国际电子展联合主办的 2023 第七届人工智能大会在深圳召开。以“智向远大,能者千面”为主题,本届大会汇聚行业顶尖的专家、学者、企业代表,共同寻找人工智能产业发展新机遇。
爱芯元智 AI 推理引擎总监唐琦受邀出席大会,发表《Transformer 视觉大模型在边缘侧的部署》主题演讲,分享基于爱芯通元混合精度 NPU 部署 Transformer 视觉模型的落地实践,并正式发布开发者套件 —— 爱芯派 Pro。第四届人工智能卓越创新奖同期颁发,凭借在边缘 AI 赛道的强大自研实力和突出落地成果,爱芯元智 AX650N 获评“最具创新价值产品奖”。
自 2015 年,AI 模型的物体识别准确率在 ImageNet 的图像分类比赛中首次超过人类以来,人工智能行业便正式进入到新航海时代。而近年来,伴随着芯片行业制程的进步以及 AI 模型小型化、轻量化的趋势,AI 模型在扫地机器人、家用摄像头、智能音箱等产品的本地化部署成为现实,端侧智能得到普及。
“到现在为止,基于传统 CNN 模型的云、边、端三角互补的算力主线已经完成”,唐琦在演讲中表示。而在 AI 模型从云端往端侧迁移的过程中,Transformer 网络结构也在不断进步,并随着 ChatGPT 的火爆备受关注。回顾 Transformer 视觉模型的发展历史,从基于 Transformer 网络结构的语义分割模型应用于自动驾驶场景,到分割万物的 SAM 和基座视觉大模型 DINOv2,Transformer 视觉模型的应用正走向新的高度。
致力于打造世界领先的人工智能视觉芯片,爱芯元智专注于高性能、低功耗的边缘侧、端侧人工智能处理器芯片开发,布局智慧城市、智能驾驶和 AIoT 三大业务市场。基于智慧城市的升级改造,L2 / L2 + 智能驾驶的应用大规模落地,以及终端设备智能化需求的扩大,爱芯元智将在边缘感知智能芯片上持续投入,持续打造感知和计算基础能力。
从智慧城市到智能驾驶再到 AIoT, 爱芯元智之所以能做到三大应用场景全覆盖,依托于公司自研的爱芯智眸 AI-ISP 和爱芯通元混合精度 NPU 两大核心技术。
爱芯智眸 AI-ISP 是将深度学习算法与传统的 ISP 处理单元相结合,作为万物智能的“眼睛”感知更多信息,特别是暗光全彩的刚需。其拥有六大技术亮点:AI 星光全彩、AI HDR 成像、AI 多光谱融合、AI 防抖、AI 场景增强、AI 多传感器融合,在暗黑道路、隧道出口、颠簸路段等多个行车场景下可全面提高画质,实现更优质的视觉效果。
爱芯通元混合精度 NPU 作为爱芯元智另一大核心自研技术,支持 INT4 / INT8 / INT16 三种计算精度,具有高性能、低成本、易使用的突出优势。值得一提的是,在汲取前两代产品的市场反馈并结合行业前沿技术的发展趋势之下,第三代爱芯通元混合精度 NPU 进一步增强了算子支持种类和不同精度的混合计算,优化了内部内存调度机制,同时可高效率支持 CNN 网络和 Transformer 网络模型。而针对爱芯通元 3.0 NPU 研发的工具链 ——Pulsar2 则进一步完善了工具链的功能和易用性,支持主流深度学习训练框架的模型部署,支持 PTQ、QAT 两种不同的量化操作,满足各种场景的量化调优功能。
Transformer 模型在爱芯元智 NPU 上部署非常简单高效,以 SwinT 模型为例: 从 PyTorch 的官方 ModelZoo 上直接下载 SwinT 的 ONNX 模型,不需要做任何模型或算子修改,就可以实现 SwinT 的量化压缩和编译,达到 199 FPS / W 的高能效比。而会上获评“最具创新价值产品奖”的 AX650N 作为爱芯元智在今年推出的高性能芯片产品,基于第三代 NPU, 在边缘侧、端侧部署 Transformer 具有高性能、高精度、易部署、低功耗等特性,是业内首屈一指的 Transformer 落地平台。
大会上,爱芯元智正式推出开发者套件 ——“爱芯派 Pro”,这款联合硬件生态伙伴共同打造的开发者套件,意在为社区开发者低成本地体验视觉大模型在边缘侧、端侧的便捷部署。爱芯派 Pro 搭载 AX650N, 拥有高算力和超强编解码能力,可满足行业对高性能边缘智能计算的需求,实现视频结构化、行为分析、状态检测等应用,高效率支持 CNN 模型和 Transformer 视觉大模型。
在爱芯派 Pro 发售的同时,爱芯元智还将释放集成模型量化、模型编译、模型部署三合一功能的新一代 AI 工具链 Pulsar2 的社区版本以及丰富的开发文档,方便用户快速进行产品原型验证和二次开发,帮助用户在智慧城市、智慧交通、智慧教育、智能制造等领域发挥更大的价值。
目前,爱芯元智已经量产了四代多颗应用于不同行业领域的视觉感知芯片,并坚持基于算法、芯片、产品的垂直整合,为合作伙伴提供全栈式解决方案,帮助客户实现最新技术的快速落地。面向人工智能产业的高速发展,爱芯元智也将通过持续的技术创新,提高芯片性能、降低成本,让边端智能更加普惠,最终实现“普惠 AI 造就美好生活”的使命。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。